Twinchat 是我們放在網站上的 AI 客服。它的流量平常很平:訪客一個一個來,問完就走。但只要發一次促銷,幾十個人會在幾分鐘內同時湧進來。
我們算了一下那個時刻:這個服務同時能產生的回答只有五則。第六位之後的訪客,都會拿到「服務忙碌,請稍後再試」。
第一個冒出來的問題是:要不要換一個更快的語言?後端是 Python,單執行緒的事件迴圈聽起來就像天花板。
量完的答案是不用。一則約兩秒的回答裡,我們自己的程式只佔約 3%;處理器只忙了 8%,卻幾乎把每個人都擋在門外。天花板是資料庫連線池。
先量,而且量的時候不能花錢
要回答「是不是語言的問題」,得先知道一則回答裡有多少時間花在自己的程式上。真的呼叫模型去壓測,每跑一輪就是一筆帳單,還會吃掉正式帳號的每分鐘額度。所以我們寫了一支只在本機跑的壓測腳本:
- 應用程式是真的:同一份程式碼、真的 PostgreSQL、真的串流端點。
- 模型是假的:照正式站的中位延遲回應,算查詢向量 430 ms、第一個字約 1 秒、其餘的字約半秒,一輪合計約兩秒。
- 伺服器釘在一顆核心上,壓測程式與資料庫不在那顆核心上,量到的 CPU 才是應用程式自己的。
「不花錢」要靠設計保證,不能靠小心。伺服器啟動前就把模型供應商換成假的,啟動後再檢查一次拿到的確實是假的;交給應用程式的設定裡,兩組 API 金鑰都是空的;程式在一個空目錄裡啟動,讀不到任何 .env;資料庫不在本機、或名字裡沒有 loadtest,就拒絕執行。因此這支腳本隨時可以重跑,不會花到一毛錢。
改動之前,在一顆本機核心上:
| 同時訪客 | 每秒回答 | 被拒絕 | 開銷中位數 | 每則 CPU |
|---|---|---|---|---|
| 5 | 2.22 | 8 | 63 ms | 26.1 ms |
| 20 | 2.36 | 303 | 68 ms | 32.9 ms |
| 50 | 2.36 | 903 | 66 ms | 35.1 ms |
「開銷」是一輪的中位時間減掉假模型花掉的時間,也就是我們自己的程式花的時間。這張表說了三件事:
- 訪客從 20 位加到 50 位,每秒回答數一動也不動,多出來的人全部被拒絕。
- 開銷只有六十幾毫秒,約是一則回答的 3%。
- 那顆核心只忙了 8%。處理器閒著,請求卻被拒絕,卡住的是別的東西。
一條連線,從開頭握到結算
一輪對話會碰到模型三次:非中文的問題先改寫成中文、算查詢向量、生成回答。資料庫的部分則是開頭讀這位租戶的預算、中間做向量搜尋、最後記下回答與費用。
問題在於開頭開啟的那個交易,一直到最後記帳才 commit。三次模型呼叫期間,這條連線都握在手上,什麼事也沒做。
一則回答要兩秒,一句 SQL 只要幾毫秒。握著連線等模型,等於讓連線池的大小直接變成「同時能回答幾則」。我們在入口設了一個從連線池推算出來的上限(池子減二,留一條給背景工作、一條給其他頁面),算出來就是五則。
這不是意外。8 月訂下這個上限時,決策紀錄的「否決的做法」裡就寫了:不握連線才是長遠正確的做法,但現在不做,因為它會把「取連線」移到錢花掉之後,那是最糟的失敗位置。紀錄裡也寫好了觸發條件:等到「五則」真的成為瓶頸的那一天,就做這個改動。促銷那一刻就是那一天。
那把連線池加大呢?那份紀錄也否決過:小主機上的 PostgreSQL 能開的連線本來就有限,每條閒置連線都吃記憶體。池子加大只是把懸崖往後挪,形狀不變,上限一到,下一位訪客還是直接被擋。
每次呼叫模型之前,把連線還回去
改法本身很短:答題路徑上每一次呼叫模型之前,都先 commit,把連線還給連線池。改寫之前、算查詢向量之前、規劃完成之後(涵蓋生成)各一次。
它能這麼短,靠的是幾個細節:
- 用 commit,不用 rollback:這一輪可能已經寫入了東西(某一版提示詞第一次被用到時會登記它),rollback 會把它丟掉。
- commit 之後,讀進來的資料仍然能用:session 設成 commit 時不讓物件過期(SQLAlchemy 的
expire_on_commit=False),不必重查。 - 沒有開著的交易時,commit 什麼都不做:中文問題不需要改寫,那一次釋放就不會多付一次資料庫往返。
代價是每則回答取用連線的次數從 2 次變成 4 次。量出來,每則回答的 CPU 沒有因此上升。
花錢之前快速失敗,花錢之後要有耐心
8 月那個顧慮是真的。以前記帳時連線早就握在手上;現在模型已經生成完、訪客已經讀完整則回答,才要回頭跟連線池要一條連線。這時候拿不到,這則回答就會被記成錯誤,而它的費用已經付出去了。
所以兩種回合用不同的耐心:
- 還沒花錢的回合,拿不到連線就立刻失敗,回 503 請訪客稍後再試。這時沒有任何損失。
- 已經付費的回答,拿不到連線就排隊等,最多等滿三次連線池逾時。現在沒有任何回答會在模型呼叫期間握著連線,連線池滿了,就代表前面排的是一串幾毫秒的 SQL,等它們跑完才是正確的反應。
等待本身也要保護。訪客在這時關掉頁面,請求會被取消;取消如果落在等待或讀價格的中間,一筆已經計費的生成就會從帳上消失。所以等待與讀價格都放在一個不受取消影響的範圍裡(anyio 的 CancelScope(shield=True)),取消打不斷它。也因為關機訊號同樣打不斷這個範圍,這段等待一定要有上限。
真的等不到時(那代表資料庫出事了,不是流量大),這一輪會改由一個專門收尾的小連線池寫下結果:狀態記為錯誤、保留訪客讀到的文字,這一輪的費用照樣進帳。
費用晚一點記,但一筆都不能漏
模型呼叫期間不握連線,那費用該在什麼時候寫進帳裡?直覺是呼叫完當下就記。但那代表每一次模型呼叫之後都要多取一次連線,又是在錢花掉之後,而且那幾個點既沒有耐心、也沒有 shield。改寫那一步還會因此有機會讓整輪失敗,而我們的設計是改寫失敗絕不拖垮這一輪。
所以改成:費用在「下一次拿到連線時」才記帳。每次模型呼叫回來,用量先放進這一輪在記憶體裡的清單,不碰資料庫;結算時一起記,其他任何結束方式則由收尾流程記。
查詢向量是例外的一步:它的用量用一個 callback 在呼叫回來的當下就交出去,因為緊接著的向量搜尋可能失敗,不能讓那次失敗把前面已經花掉的錢一起帶走。
併發會叫出原本就在的死鎖
記帳是對每日用量表做 upsert,每一筆會鎖住「那個模型、那一天」的那一列,直到 commit。如果照呼叫順序記:
- 有改寫的一輪:改寫模型、向量模型、回答模型。
- 沒有改寫的一輪:向量模型、回答模型。
改寫和回答預設用同一個模型。於是有改寫的一輪先鎖回答模型那列、再鎖向量模型那列,沒有改寫的一輪剛好相反,兩種回合以相反的順序鎖同樣兩列。這是教科書上的死鎖:PostgreSQL 會中止其中一個交易,而被中止的會是一則訪客已經讀完的回答。
這個死鎖一直都在,只是在等併發,而這次的改動正好提供了併發。修法是記帳前一律依模型名稱排序,讓所有交易都用同一個順序上鎖。
改完之後的數字
同樣一顆本機核心,把入口的上限暫時開到 200,讓真正的瓶頸自己出現:
| 同時訪客 | 每秒回答 | 開銷中位數 | 每則 CPU | 核心使用率 |
|---|---|---|---|---|
| 5 | 2.49 | 53 ms | 20.4 ms | 5% |
| 20 | 9.69 | 58 ms | 18.8 ms | 18% |
| 50 | 22.59 | 70 ms | 18.9 ms | 43% |
| 100 | 39.57 | 410 ms | 18.3 ms | 72% |
四個級距都沒有任何拒絕。50 位同時訪客,從每秒 2.36 則、拒絕 903 次,變成每秒 22.59 則、0 次。到 100 位訪客時,尖峰連線數仍然只有 6 條;記憶體從 138 MB 變成 151 MB。
100 位訪客那一列,開銷從幾十毫秒跳到 410 ms,核心用了七成多。現在先被填滿的是 CPU,不是連線池。直到這一步,程式本身的效率才開始有意義。
預設值要比量測保守
本機的一顆核心,不等於正式主機的一顆核心。所以我們用同一段純 Python 基準程式比較兩邊的速度,再把伺服器放進一個 CPU 與記憶體都比照正式主機配額的容器,重跑一次,找出開始排隊的地方。
即使是那一輪,也在三個地方把主機看得太好:
- 假模型不處理 TLS,也不解析 SDK 的回應,真的供應商 SDK 會花這些 CPU。所以上面的「每則 CPU」是下限。
- PostgreSQL 不在那個 CPU 配額裡。
- 反向代理也不在。
所以同時回答數的預設值,選在應用程式只吃掉不到一半 CPU 的位置,另一半留給上面那三樣。上限仍然在入口檢查,超過一樣回 503 並附 Retry-After;不同的是它現在可以依主機設定,CPU 多的主機調高,並且在那台機器上重跑同一支腳本來決定數字。
選這個數字時還要對上下一個天花板:模型供應商的每分鐘呼叫上限。同時回答數乘上每則回答每分鐘能跑完的輪數,不能超過那個額度,否則多放進來的訪客,只是改到供應商那一端去排隊。
每個保證都拿掉一次
這次的改動帶進來一串保證:每一次釋放連線、付費回答的耐心等待、等待時的重試、用 commit 而不是 rollback、讀價格外面的 shield、入口改讀設定值、在收尾連線池上記費用、查詢向量的 callback、依模型順序記帳。
測試的寫法是把每一種模型呼叫「停住」,趁停住的時候讀連線池借出了幾條連線,必須是 0:二十個同時進行的生成、有改寫與沒有改寫時的查詢向量、非串流的 JSON 端點、改寫本身。之後二十輪都必須以「完成」結束,費用都必須在帳上。另外三個測試分別讓連線池滿一段比一次逾時更久的時間、滿到超過耐心上限,以及在等待連線時取消請求。
測試寫完之後,我們把這些保證一次拿掉一條,確認每一次測試都會轉紅。少了這一步,測試可能一直在檢查一件不可能失敗的事,那比沒有檢查更糟,見監控那篇。
可以帶走的原則
- 先量出哪一個是天花板,再談要不要改寫或換語言。CPU 閒著、請求卻被拒絕,瓶頸就不在運算。
- 壓測可以不花錢:真的應用程式,加上照正式延遲回應的假模型。但「打不到模型」要用程式保證,不能靠小心。
- 等外部服務時不要握著資料庫連線。一句 SQL 是毫秒,一次模型呼叫是秒,握著等於讓連線池變成併發上限。
- 留下「之後再還」的債時,連觸發條件一起寫下來。那一天來的時候,就不必重新論證一次。
- 花錢之前快速失敗,花錢之後才耐心等。耐心要有上限,等待要防得住取消。
- 費用可以晚記,但每一種結束方式都要記得到。
- 併發會把原本就在的死鎖叫出來。一個交易要鎖多列時,一律用固定的順序。
- 量測環境一定比真實主機好看。預設值要留餘量,並讓每台主機用同一支腳本重量自己的數字。
- 測試寫完,把每個保證一次拿掉一條,確認測試真的會紅。
