檢索

檢索（Retrieval）是從大型資料庫中找出與查詢相關資訊的過程，是檢索增強生成 (RAG)、搜索引擎和知識管理的核心技術。

檢索類型：

• 關鍵字檢索：傳統BM25算法
• 向量檢索（稠密檢索）：基於語義相似度
• 混合檢索（混合搜索）：結合兩者優勢
• 結構化檢索：SQL、知識圖譜查詢
• 多模態檢索：圖片搜尋、以圖搜圖

向量檢索流程：

1. 建立索引：將文檔轉為嵌入向量 (嵌入 / 詞嵌入 / 向量嵌入) (Embedding Lookup)向量
2. 查詢編碼：將查詢轉為相同空間的向量
3. 相似度計算：找出最近鄰向量
4. 結果排序：按相關性排序返回

優化技術：

• 分塊策略：將長文檔切分適當大小
• 元數據過濾：預先篩選縮小範圍
• 重排序：初檢後用更精確模型重排
• 緩存：存儲常見查詢結果

產品實現：

• 向量資料庫：Pinecone、Weaviate、Milvus
• 框架：LangChain、LlamaIndex的檢索組件
• 搜索：Elasticsearch、OpenSearch

挑戰：召回率vs精確率、大規模實時檢索、多語言支援。