做過、量過,
再寫下來。

Twincoal 的技術文章:從真實產品出發,記下 AI、架構、測試與部署中值得被重複使用的判斷。

文章列表

組裝說明書風格插圖:左側灰色資料庫模組有一排插座,只有兩個插著線;底板上十台藍色回答機頂端的齒輪正在轉,各自把電線捲好掛在側面、沒有插上,只有前排兩台吐出紙卡的橘色機器把線接回資料庫,一條虛線箭頭表示藍色機器做完才會去插空著的插座。
系統設計

瓶頸是連線池,不是語言:模型在回答時別握著資料庫連線

AI 客服的 CPU 只忙了 8%,卻拒絕了幾乎所有同時發問的人。問題不在程式語言,而在一輪對話從頭到尾握著同一條資料庫連線。本文整理怎麼用假模型零成本量出天花板、在每次呼叫模型前把連線還回去,以及付過錢之後為什麼反而要耐心等。

輸送帶上的方塊依序經過查表格柵、四格快取櫃與單支細針機台分揀,後方的大型齒輪機器拔掉插頭,前方托盤留著一塊沒分類的方塊
系統設計

表一定會漏,補洞不必付整輪的錢:記帳分類的三層降級

記帳捷徑不經過模型,分類只能查關鍵字表,35 個常見講法漏了 24 個。補洞不必退回整輪對話:先查表、再查快取、最後才打一次 194 tokens 的極小呼叫。本文整理三層怎麼分工,以及上線後能驗證與不能驗證的。

檢索轉盤的黃色指針被後方舊對話卡拉出的細繩扯向天氣文件,偏離虛線標示、原本該指向的那一疊服務文件
AI 工程

前一題會搶走這一題的查詢向量:RAG 的對話歷史污染

把前幾輪對話摺進檢索查詢,看起來只是給一點線索,實際上是讓前一題的主題跟這一題搶同一個向量。本文整理正式站量到的兩個案例、修法,以及為什麼相似度門檻救不了這件事。

手機上的橘色按鈕送出一張打孔卡,沿虛線繞過中間代表模型的玻璃方塊,直接進入印表機印出天氣卡
AI 工程

按鈕不該再讓模型理解一次:postback 與程式組卡片

意圖按鈕送出的那句話是我們自己寫的,卻每按一次就付幾千個 token 請模型再讀懂一次,有時還讀錯。本文整理改走 postback、由程式直接執行並組卡片之後,哪些事要自己補回來,以及上線後量到的數字。

橘黃方塊堆成的階梯上畫著一條虛線斜坡,對話泡泡沿階梯越走越疏,最高一階由天藍閘門擋下、暫停在門前
系統設計

成本是階梯不是斜線:閒置會員的推播降頻與凍結

跨過訊息額度的那一階,斷的不是慢郎中的訊息,是整個月、連付費會員一起斷。這篇整理怎麼從實測資料決定門檻、怎麼設計一個上線第一天就不能誤傷任何人的狀態機,以及一次真實的資料回填事故。