2初級訓練與優化
BERTScore (語義相似度評估)
BERTScore
以 BERT (雙向編碼器表示) 等模型的 嵌入向量 (嵌入 / 詞嵌入 / 向量嵌入) (Embedding Lookup) 計算候選與參考文本語義相似度的自動評估指標,優於 BLEU/ROUGE。
詳細解釋
BERTScore 是 2019 年提出的文本生成自動評估指標,用 BERT (雙向編碼器表示)(或其它 Transformer架構 (變換器 / 注意力模型) (Switch Transformer))的上下文 嵌入向量 (嵌入 / 詞嵌入 / 向量嵌入) (Embedding Lookup) 比對候選句與參考句的語義相似度,而非 n-gram 字面匹配。做法是對候選與參考 token 做對齊(如餘弦相似度),再計算 精確率、召回率 與 F1,反映「意思是否一致」而非僅用詞是否相同。
優點:與人工評分相關性通常高於 BLEU、ROUGE;對改寫與對抗樣本較穩健;支援多語言與多預訓練模型。常用於機器翻譯、摘要、對話、圖說生成等。與 BERT (雙向編碼器表示)、嵌入向量 (嵌入 / 詞嵌入 / 向量嵌入) (Embedding Lookup)、精確率、召回率 相關。