
前一題會搶走這一題的查詢向量:RAG 的對話歷史污染
把前幾輪對話摺進檢索查詢,看起來只是給一點線索,實際上是讓前一題的主題跟這一題搶同一個向量。本文整理正式站量到的兩個案例、修法,以及為什麼相似度門檻救不了這件事。
閱讀文章TWINCOAL ENGINEERING NOTES
從真實產品出發,記下 AI、架構、測試與部署中值得被重複使用的判斷。
最新文章

把前幾輪對話摺進檢索查詢,看起來只是給一點線索,實際上是讓前一題的主題跟這一題搶同一個向量。本文整理正式站量到的兩個案例、修法,以及為什麼相似度門檻救不了這件事。
閱讀文章
意圖按鈕送出的那句話是我們自己寫的,卻每按一次就付幾千個 token 請模型再讀懂一次,有時還讀錯。本文整理改走 postback、由程式直接執行並組卡片之後,哪些事要自己補回來,以及上線後量到的數字。
閱讀文章
跨過訊息額度的那一階,斷的不是慢郎中的訊息,是整個月、連付費會員一起斷。這篇整理怎麼從實測資料決定門檻、怎麼設計一個上線第一天就不能誤傷任何人的狀態機,以及一次真實的資料回填事故。
閱讀文章


