詳細解釋
自監督學習（Self-supervised Learning）是一種無需人工標註的機器學習方法，模型從數據本身的結構中創建監督信號來進行訓練。
核心原理：
- 利用數據的內在結構生成「偽標籤」
- 通過設計預測任務讓模型學習有用的表示
- 預訓練階段學習通用特徵，微調階段適應特定任務
典型方法：
- 在自然語言中：BERT (雙向編碼器表示)的遮罩語言模型（預測被遮住的詞）
- 在圖像中：對比學習（SimCLR (對比式自監督學習)、DINO (自監督視覺 Transformer)）、圖像修復、顏色化
- 在視頻中：幀預測、時間順序預測
- 在音頻中：降噪、預測未來片段
優勢：
- 無需昂貴的人工標註
- 可以利用幾乎無限的未標記數據
- 學到的表示通常更通用和魯棒
成功案例：
- GPT (生成式預訓練變換器)系列：通過預測下一個token學習語言
- BERT (雙向編碼器表示)：通過填空學習語言理解
- CLIP：對比學習圖文表示
- DALL-E：自回歸生成圖像
自監督學習是現代基礎模型和大型語言模型 (大語言模型 / 大模型)成功的關鍵。