Galileo 與 Maxim AI:多輪客服測試如何定位該修哪一步

缺少跨輪邊界案例時,優先驗證 Maxim 的使用者模擬;已有失敗對話需要拆解工具選擇與執行問題時,優先評估 Galileo。選型應分清對話結束、業務成功與模型評分,並依完整對話路徑估算成本。

來源: docs.galileo.ai
November 15, 2026
1 min

客服代理先確認訂單,接著使用者改口要換貨,工具卻回傳退款介面逾時。最後一句回答即使有禮貌,也可能掩蓋狀態遺失、重複提交或錯誤承諾。選擇評估平台時,關鍵是能否還原這條多輪路徑,並把故障變成下次可驗證的修復任務。

Galileo 更適合已有真實對話、需要沿工具呼叫定位問題並設定線上評分的團隊;Maxim AI 更適合缺少邊界案例、希望讓模擬使用者連續追問的團隊。兩者都能評估代理,差別在先補哪一段工作。情境與驗收數字均為假設,未進行產品實測。

先決定要觀察對話,還是產生新的對話路徑

Galileo 的對話結構以 session 彙集相關 traces,再深入查看工具呼叫的 spans 與輸入輸出。若客服團隊已累積失敗對話,這能協助工程師判斷:使用者在哪一輪改口,之後的呼叫是否仍沿用舊訂單或舊意圖。接入時必須正確關聯同一段對話的記錄;只有最後一則回答,無法解釋中途狀態。

Maxim 的模擬功能可設定情境、使用者輪廓與最大輪數,讓 AI 產生後續使用者輸入;它的批次模擬透過資料集記錄情境與預期步驟,並針對代理 HTTP endpoint 執行。適合主動測試「先拒絕提供訂單編號,後來補上」「從退款改成換貨」等路徑。模擬使用者不是真實客戶,模擬通過率也不是線上成功率。

這不表示 Galileo 沒有實驗或合成資料。它的資料集文件支援實驗輸入、預期輸出與合成範例。只是產生測試資料列與一位使用者連續追問並不等價;本次核實的 Maxim 文件對後者的行為與停止條件說明得更具體。已有自建模擬器的團隊,不必為了多加一個入口而遷移評估系統。

工具選對、執行成功與對話結束,分開驗收

Maxim 的工具測試區分可執行的 API/程式碼與僅供選擇測試的 schema,也允許在 Playground 手動修改工具回傳。可據此準備成功、逾時與業務拒絕三種回應,但不能推斷平台會自動替換真實後端。批次測試仍應由團隊在沙箱介面或測試轉接層固定回傳值,防止模擬退款產生真實付款。

結束也需要另外定義。自訂模擬允許指定模擬模型、行為與結束條件,並自動加入 end_simulation 工具。它結束的是模擬對話,不是對業務成功的認證。應分別保存「已正確轉人工」「使用者放棄」「達到輪數上限」與「業務完成」,不要把停止聊天全部算成解決問題。

Galileo 的 Tool Selection Quality判斷工具與參數是否合適;Tool Error判斷執行是否發生錯誤。前者回傳 true 表示選擇正確,後者 true 表示偵測到錯誤,彙整前要統一方向。兩者使用模型評判,不能取代退款帳本或介面狀態碼。

例如,訂單查詢正確但介面逾時,優先修復恢復與轉人工流程;介面成功卻繼續提交舊退款請求,檢查意圖更新與狀態管理;未成功卻告訴使用者「已完成」,檢查回答是否受到工具結果約束。工程師需要每輪意圖、參數、回傳值與狀態變更,業務負責人需要確認允許的結果。總分下降只能觸發調查,不能單獨決定改提示詞還是修介面。

用線上失敗補充模擬,而不是讓模擬取代線上

Maxim 的線上評估區分 session、trace 與 span:整段對話用於跨輪判斷,單次回應用於局部品質,span 層級設定透過 SDK 完成。Galileo 的日誌串流指標可啟用現成或自訂評估,並依指標設定抽樣。雙方都需要先接入足夠上下文,再決定評分範圍。

Maxim 可從日誌與人工修正結果整理資料集,Galileo 則有獨立的 generated_output、ground_truth 與 metric_ground_truth 欄位,區分應用程式輸出、預期回答與預期評分。回灌失敗範例時,保存原對話用於診斷,再提煉觸發條件與預期路徑以供重跑;不要把原錯誤輸出當成正確答案,也不要假設匯入日誌就重建了後端狀態。

人工複核應集中在模型評分與工具事實衝突、提前終止、使用者改口及高風險承諾。確認某次失敗確實來自代理後,再增加對應模擬變體。若評分器把正確轉人工判成失敗,應先修評分規則,不能迫使代理為了高分繼續執行。線上低分樣本也會受抽樣與流量組成影響,應同時查看正常對話,避免只學會修抱怨最多的路徑。

預算依對話路徑計算,執行階段控制另計

一次假設性的試選可準備 20 個情境,每個情境 3 種工具回傳,重複 2 次,共 120 段模擬對話,各自上限為 8 輪。最多 960 輪不等於 960 次模型呼叫:還包含模擬使用者生成、代理內部規劃、多個評分器與重試。分別記錄這些呼叫的 token、費用、工具次數、對話時長與人工複核時間,再加上平台訂閱、日誌儲存等適用費用,不要憑閘道速度判斷評估總成本。

尤其要核對抽樣作用在哪個層級。Maxim 文件明確指出:抽樣與速率限制只作用於 trace 層級評估,session 層級仍評估每段對話。Galileo 的 Tool Selection Quality 會多次請求評審模型,也會增加費用。因此,設定 10% 抽樣,不能直接把整個多輪測試帳單估成十分之一。

產品界線同樣重要。本文討論的是 Maxim 的評估與模擬產品,Bifrost則是模型存取與治理閘道,不能把閘道的開源或免費條件套用到評估服務。Galileo 目前的 Agent Control另外提供工作流程執行期間的輸入輸出控制;蒐集日誌與評分不代表已設定攔截。需要執行階段阻擋時,應另外驗證控制接入、觸發條件、誤攔截與失敗後的業務處理。

驗收上述 120 段對話時,可要求所有越權退款與虛假完成承諾進入阻擋清單,同時分別報告成功、合規轉人工、工具故障與超出輪數的比例。比較修復前後時,固定情境、工具回傳、代理與模擬器設定、評分規則,並由人工複核爭議案例。門檻由業務風險決定,這些是建議的驗收方法,不是兩款產品已達到的結果。

如果目前難題是「沒有足夠難纏的使用者來測試跨輪變化」,先試 Maxim;如果是「已有大量不良對話,卻說不清哪一步錯了」,先試 Galileo。如果連業務成功狀態、隔離測試介面與對話關聯都尚未建立,先補足這些基礎,再採購。真正有用的交付,是能指出錯誤輪次、重現工具條件並證明修復有效的案例,而不只是一個更高的平均分。

內容說明:本文基於公開資料整理,僅供工具選型參考。產品功能、價格及相關政策可能隨時調整,請以官方最新資訊為準。

原文出處:docs.galileo.ai