twMVC#58

  • 活動時間:
  • 活動地點:台北市大安區金華街199巷5號
  • 參加人數:34 人參加
twMVC#58 活動封面

從 Hello World 看懂 AI 開發工具的計費結構(如何省得到錢)

講師:Duran Hsieh 初階~中階

活動內容

當 AI 開發工具從「固定次數」改為「用量計費」,開發者第一次需要理解:我送出去的那句話,究竟被算了什麼錢?

這場議程從一個實驗開始:在 VS Code 送出同一句 Hello World,第一次花掉 6.64 個計價單位,第二次卻不到 1。拆開來看,你打的字其實只佔一小部分——真正的成本來自工具在背後組出的那份長請求:常駐指令檔、工具與 MCP schema、對話歷史。而前面沒變的部分可以走快取重用,一旦前綴變了就得整段重算,照原價收費。

弄懂這個結構之後,省錢的優先順序就清楚了:先控 output、再瘦身結構性 input、最後養成快取友善的操作習慣。我會實機示範幾個最常打斷快取的日常動作——讓計價數字自己說話,並補上台灣開發者容易忽略的相關案例。

內容以 GitHub Copilot 與 VS Code 實作,機制本身跨工具通用。帶走一份個人與團隊都能當天套用的檢查清單。

適合已在日常使用 AI 開發工具、想弄懂帳單為何居高不下的開發者與 Team Lead。

AI 計費結構:下載簡報
Copilot 實戰工作坊:下載簡報

自己刻 Agent 框架:最難的不是呼叫 LLM

講師:Jamis Liao 初階~中階

活動內容

自己刻 Agent 框架時,很多人第一時間會想到的是 Prompt 和 LLM API;但當流程開始串起來後,才會發現框架還需要處理許多一開始可能不會想到的事情。

當 Agent 執行長任務、資訊整理或分析輸出時,焦點已從『模型能否回答』轉為『產出是否精確』。同時,過程的可觀察性、可評估性,以及是否支援後續調整,也是非常重要考量。

開發會遇到的痛點,通常在實際把 Agent 跑起來之後,最常卡住的不是「如何拿到模型的回答」,而是這幾類問題:

  • 幻覺產生:LLM 回答的內容摻雜了幻覺,讓結果無法直接使用。
  • 定位困難:結果不如預期時,不知道該從哪裡開始調整——是 prompt 寫得不好?工具回傳的資料有問題?還是某一個過程把 context 搞壞了?
  • 過程黑盒:多步驟流程中,很難定位是哪一個環節出錯,因為中間狀態沒有留下來,只看得到最後輸出。
  • 缺乏基準:每次調 prompt 或換流程後,沒有客觀依據判斷這次到底是變好還是變壞,只能靠人工的操作後主觀的認定。

本場分享將從 Agent 框架的實作經驗出發,介紹幾個對應這些痛點的框架層能力:

  • Context 管理-資訊節流:關注模型每一步應該看見哪些資訊,而不是把資料全部塞進 prompt,避免模型被無關內容干擾或漏掉關鍵資訊。
  • Guardrails-品質防線:用於摘要與分析型任務,協助建立基本的品質防線,讓明顯不合格的輸出在框架層就能被攔下來。
  • Trace Log-過程留痕:保留執行過程,讓後續能回放流程、定位問題,並找到優化框架的方向。
  • Eval-量化判準:讓每次 prompt 或流程的調整都有依據可以判斷,而不是只能靠主觀感覺。

剛開始做 Agent 框架時,我們對框架的想像往往只有 480P 的畫質。一旦遇到輸出不穩定,很容易陷入盲目調整 Prompt 的無限迴圈。

這場分享的目標,就是幫各位把這張模糊的草圖,升級成高解析度的系統藍圖。當你的框架具備了『可追蹤、可防禦、可量化評估』的能力。

面對模型的黑盒,你手邊就有了明確的除錯指標。這能確保我們每一次的迭代,都是朝著讓系統真正落地的方向前進。

← 所有活動回顧