Twinchat 是我們放在網站上的 AI 客服。它的流量平常很平:訪客一個一個來,問完就走。但只要發一次促銷,幾十個人會在幾分鐘內同時湧進來。

我們算了一下那個時刻:這個服務同時能產生的回答只有五則。第六位之後的訪客,都會拿到「服務忙碌,請稍後再試」。

第一個冒出來的問題是:要不要換一個更快的語言?後端是 Python,單執行緒的事件迴圈聽起來就像天花板。

量完的答案是不用。一則約兩秒的回答裡,我們自己的程式只佔約 3%;處理器只忙了 8%,卻幾乎把每個人都擋在門外。天花板是資料庫連線池。

先量,而且量的時候不能花錢

要回答「是不是語言的問題」,得先知道一則回答裡有多少時間花在自己的程式上。真的呼叫模型去壓測,每跑一輪就是一筆帳單,還會吃掉正式帳號的每分鐘額度。所以我們寫了一支只在本機跑的壓測腳本:

  • 應用程式是真的:同一份程式碼、真的 PostgreSQL、真的串流端點。
  • 模型是假的:照正式站的中位延遲回應,算查詢向量 430 ms、第一個字約 1 秒、其餘的字約半秒,一輪合計約兩秒。
  • 伺服器釘在一顆核心上,壓測程式與資料庫不在那顆核心上,量到的 CPU 才是應用程式自己的。

「不花錢」要靠設計保證,不能靠小心。伺服器啟動前就把模型供應商換成假的,啟動後再檢查一次拿到的確實是假的;交給應用程式的設定裡,兩組 API 金鑰都是空的;程式在一個空目錄裡啟動,讀不到任何 .env;資料庫不在本機、或名字裡沒有 loadtest,就拒絕執行。因此這支腳本隨時可以重跑,不會花到一毛錢。

改動之前,在一顆本機核心上:

同時訪客 每秒回答 被拒絕 開銷中位數 每則 CPU
5 2.22 8 63 ms 26.1 ms
20 2.36 303 68 ms 32.9 ms
50 2.36 903 66 ms 35.1 ms

「開銷」是一輪的中位時間減掉假模型花掉的時間,也就是我們自己的程式花的時間。這張表說了三件事:

  • 訪客從 20 位加到 50 位,每秒回答數一動也不動,多出來的人全部被拒絕。
  • 開銷只有六十幾毫秒,約是一則回答的 3%。
  • 那顆核心只忙了 8%。處理器閒著,請求卻被拒絕,卡住的是別的東西。

一條連線,從開頭握到結算

一輪對話會碰到模型三次:非中文的問題先改寫成中文、算查詢向量、生成回答。資料庫的部分則是開頭讀這位租戶的預算、中間做向量搜尋、最後記下回答與費用。

問題在於開頭開啟的那個交易,一直到最後記帳才 commit。三次模型呼叫期間,這條連線都握在手上,什麼事也沒做。

一則回答要兩秒,一句 SQL 只要幾毫秒。握著連線等模型,等於讓連線池的大小直接變成「同時能回答幾則」。我們在入口設了一個從連線池推算出來的上限(池子減二,留一條給背景工作、一條給其他頁面),算出來就是五則。

這不是意外。8 月訂下這個上限時,決策紀錄的「否決的做法」裡就寫了:不握連線才是長遠正確的做法,但現在不做,因為它會把「取連線」移到錢花掉之後,那是最糟的失敗位置。紀錄裡也寫好了觸發條件:等到「五則」真的成為瓶頸的那一天,就做這個改動。促銷那一刻就是那一天。

那把連線池加大呢?那份紀錄也否決過:小主機上的 PostgreSQL 能開的連線本來就有限,每條閒置連線都吃記憶體。池子加大只是把懸崖往後挪,形狀不變,上限一到,下一位訪客還是直接被擋。

每次呼叫模型之前,把連線還回去

改法本身很短:答題路徑上每一次呼叫模型之前,都先 commit,把連線還給連線池。改寫之前、算查詢向量之前、規劃完成之後(涵蓋生成)各一次。

它能這麼短,靠的是幾個細節:

  • 用 commit,不用 rollback:這一輪可能已經寫入了東西(某一版提示詞第一次被用到時會登記它),rollback 會把它丟掉。
  • commit 之後,讀進來的資料仍然能用:session 設成 commit 時不讓物件過期(SQLAlchemy 的 expire_on_commit=False),不必重查。
  • 沒有開著的交易時,commit 什麼都不做:中文問題不需要改寫,那一次釋放就不會多付一次資料庫往返。

代價是每則回答取用連線的次數從 2 次變成 4 次。量出來,每則回答的 CPU 沒有因此上升。

花錢之前快速失敗,花錢之後要有耐心

8 月那個顧慮是真的。以前記帳時連線早就握在手上;現在模型已經生成完、訪客已經讀完整則回答,才要回頭跟連線池要一條連線。這時候拿不到,這則回答就會被記成錯誤,而它的費用已經付出去了。

所以兩種回合用不同的耐心:

  • 還沒花錢的回合,拿不到連線就立刻失敗,回 503 請訪客稍後再試。這時沒有任何損失。
  • 已經付費的回答,拿不到連線就排隊等,最多等滿三次連線池逾時。現在沒有任何回答會在模型呼叫期間握著連線,連線池滿了,就代表前面排的是一串幾毫秒的 SQL,等它們跑完才是正確的反應。

等待本身也要保護。訪客在這時關掉頁面,請求會被取消;取消如果落在等待或讀價格的中間,一筆已經計費的生成就會從帳上消失。所以等待與讀價格都放在一個不受取消影響的範圍裡(anyio 的 CancelScope(shield=True)),取消打不斷它。也因為關機訊號同樣打不斷這個範圍,這段等待一定要有上限。

真的等不到時(那代表資料庫出事了,不是流量大),這一輪會改由一個專門收尾的小連線池寫下結果:狀態記為錯誤、保留訪客讀到的文字,這一輪的費用照樣進帳。

費用晚一點記,但一筆都不能漏

模型呼叫期間不握連線,那費用該在什麼時候寫進帳裡?直覺是呼叫完當下就記。但那代表每一次模型呼叫之後都要多取一次連線,又是在錢花掉之後,而且那幾個點既沒有耐心、也沒有 shield。改寫那一步還會因此有機會讓整輪失敗,而我們的設計是改寫失敗絕不拖垮這一輪。

所以改成:費用在「下一次拿到連線時」才記帳。每次模型呼叫回來,用量先放進這一輪在記憶體裡的清單,不碰資料庫;結算時一起記,其他任何結束方式則由收尾流程記。

查詢向量是例外的一步:它的用量用一個 callback 在呼叫回來的當下就交出去,因為緊接著的向量搜尋可能失敗,不能讓那次失敗把前面已經花掉的錢一起帶走。

併發會叫出原本就在的死鎖

記帳是對每日用量表做 upsert,每一筆會鎖住「那個模型、那一天」的那一列,直到 commit。如果照呼叫順序記:

  • 有改寫的一輪:改寫模型、向量模型、回答模型。
  • 沒有改寫的一輪:向量模型、回答模型。

改寫和回答預設用同一個模型。於是有改寫的一輪先鎖回答模型那列、再鎖向量模型那列,沒有改寫的一輪剛好相反,兩種回合以相反的順序鎖同樣兩列。這是教科書上的死鎖:PostgreSQL 會中止其中一個交易,而被中止的會是一則訪客已經讀完的回答。

這個死鎖一直都在,只是在等併發,而這次的改動正好提供了併發。修法是記帳前一律依模型名稱排序,讓所有交易都用同一個順序上鎖。

改完之後的數字

同樣一顆本機核心,把入口的上限暫時開到 200,讓真正的瓶頸自己出現:

同時訪客 每秒回答 開銷中位數 每則 CPU 核心使用率
5 2.49 53 ms 20.4 ms 5%
20 9.69 58 ms 18.8 ms 18%
50 22.59 70 ms 18.9 ms 43%
100 39.57 410 ms 18.3 ms 72%

四個級距都沒有任何拒絕。50 位同時訪客,從每秒 2.36 則、拒絕 903 次,變成每秒 22.59 則、0 次。到 100 位訪客時,尖峰連線數仍然只有 6 條;記憶體從 138 MB 變成 151 MB。

100 位訪客那一列,開銷從幾十毫秒跳到 410 ms,核心用了七成多。現在先被填滿的是 CPU,不是連線池。直到這一步,程式本身的效率才開始有意義。

預設值要比量測保守

本機的一顆核心,不等於正式主機的一顆核心。所以我們用同一段純 Python 基準程式比較兩邊的速度,再把伺服器放進一個 CPU 與記憶體都比照正式主機配額的容器,重跑一次,找出開始排隊的地方。

即使是那一輪,也在三個地方把主機看得太好:

  • 假模型不處理 TLS,也不解析 SDK 的回應,真的供應商 SDK 會花這些 CPU。所以上面的「每則 CPU」是下限。
  • PostgreSQL 不在那個 CPU 配額裡。
  • 反向代理也不在。

所以同時回答數的預設值,選在應用程式只吃掉不到一半 CPU 的位置,另一半留給上面那三樣。上限仍然在入口檢查,超過一樣回 503 並附 Retry-After;不同的是它現在可以依主機設定,CPU 多的主機調高,並且在那台機器上重跑同一支腳本來決定數字。

選這個數字時還要對上下一個天花板:模型供應商的每分鐘呼叫上限。同時回答數乘上每則回答每分鐘能跑完的輪數,不能超過那個額度,否則多放進來的訪客,只是改到供應商那一端去排隊。

每個保證都拿掉一次

這次的改動帶進來一串保證:每一次釋放連線、付費回答的耐心等待、等待時的重試、用 commit 而不是 rollback、讀價格外面的 shield、入口改讀設定值、在收尾連線池上記費用、查詢向量的 callback、依模型順序記帳。

測試的寫法是把每一種模型呼叫「停住」,趁停住的時候讀連線池借出了幾條連線,必須是 0:二十個同時進行的生成、有改寫與沒有改寫時的查詢向量、非串流的 JSON 端點、改寫本身。之後二十輪都必須以「完成」結束,費用都必須在帳上。另外三個測試分別讓連線池滿一段比一次逾時更久的時間、滿到超過耐心上限,以及在等待連線時取消請求。

測試寫完之後,我們把這些保證一次拿掉一條,確認每一次測試都會轉紅。少了這一步,測試可能一直在檢查一件不可能失敗的事,那比沒有檢查更糟,見監控那篇。

可以帶走的原則

  • 先量出哪一個是天花板,再談要不要改寫或換語言。CPU 閒著、請求卻被拒絕,瓶頸就不在運算。
  • 壓測可以不花錢:真的應用程式,加上照正式延遲回應的假模型。但「打不到模型」要用程式保證,不能靠小心。
  • 等外部服務時不要握著資料庫連線。一句 SQL 是毫秒,一次模型呼叫是秒,握著等於讓連線池變成併發上限。
  • 留下「之後再還」的債時,連觸發條件一起寫下來。那一天來的時候,就不必重新論證一次。
  • 花錢之前快速失敗,花錢之後才耐心等。耐心要有上限,等待要防得住取消。
  • 費用可以晚記,但每一種結束方式都要記得到。
  • 併發會把原本就在的死鎖叫出來。一個交易要鎖多列時,一律用固定的順序。
  • 量測環境一定比真實主機好看。預設值要留餘量,並讓每台主機用同一支腳本重量自己的數字。
  • 測試寫完,把每個保證一次拿掉一條,確認測試真的會紅。