詳細解釋
2023 年推出的 AI 應用評估平台，主打「為 AI 產品團隊設計的評測基礎設施」，由前 Airbnb、Uber 工程師創立。
核心功能：
- 實驗追蹤：記錄不同提示、模型、參數的輸出，便於 A/B 測試
- 評估指標：內建多種評分方法（精確匹配、LLM-as-judge、代碼執行）
- 人類反饋：界面讓領域專家標記好/壞輸出，形成評估數據集
- 回歸測試：模型更新時自動檢測性能下降
- 數據集管理：整理測試用例，支持版本控制
工作流程：
- 開發者在代碼中記錄 LLM 調用（Braintrust SDK）
- 平台自動收集輸入、輸出、延遲、成本
- 定義評分函數（自動或人工）
- 持續監測生產環境的指標
與傳統 ML 監控的差異：
- 傳統：監控模型準確率、漂移
- Braintrust：專為生成式 AI 設計，評估開放式輸出的質量
與競品對比：
- Weights & Biases：更全面的 ML 實驗平台，Braintrust 專注評測
- LangSmith：LangChain 生態整合，Braintrust 框架無關
- Humanloop：更強調人工標註，Braintrust 強調自動評估
定價：免費層（個人開發者）+ 企業版（按使用量計費）
適合：已有 AI 功能上線，需要系統化評估其質量和監測回歸的團隊，特別是快速迭代提示或模型版本的場景。