LangSmith

LangChain 的官方可觀測性和評估平台，2023 年推出，用於追踪、監控和評估 LLM 應用的生產性能。

核心功能：

• 追踪（Tracing）：記錄每次 LLM 調用的輸入、輸出、延遲、token 使用、成本
• 數據集：管理和版本化測試數據集
• 評估：運行自動化評估（準確性、相關性、有害性）
• 監控：儀表板查看生產指標，設置警報
• 反饋：收集用戶反饋（點讚/點踩）改進模型

與通用 APM 對比：

• Datadog/New Relic：監控整體應用性能
• LangSmith：專為 LLM 設計，理解嵌入、檢索、鏈式調用
• 可追踪 RAG 流程：哪個文檔被檢索、重排序分數、最終生成

使用場景：

• 調試：為什麼這個查詢回答錯了？查看完整調用鏈
• 成本優化：識別昂貴的調用，優化提示減少 tokens
• A/B 測試：比較提示版本 A vs B 的指標
• 合規：審計日誌，追踪數據洩露

定價：

• 免費層：每月 5K 次追踪
• Developer：$39/月，50K 次追踪
• Plus：$199/月，200K 次追踪
• Enterprise：定制價格，無限追踪

生態位置：與 LangChain 深度整合，但也支持原生 OpenAI、其他框架。

競爭對手：Weights & Biases、Helicone、HoneyHive、Context。

這是「LLM Ops」基礎設施的關鍵組件—— 沒有監控就無法改進，LangSmith 填補了傳統 APM 不理解 LLM 的空白。