詳細解釋
時間一致性(Temporal Consistency)是視頻生成和處理中保持幀間連貫性的要求,避免閃爍和不自然跳變。
挑戰:
- 獨立生成每幀:導致時間不一致
- 閃爍:物體輪廓抖動
- 紋理變化:表面細節隨機改變
- 物理違反:運動不連貫
解決方法:
- 時序模型:3D卷積、時序注意力
- 光流引導:用光流約束運動
- 潛在空間插值:幀間平滑過渡
- 後處理:時間濾波平滑
應用:
- 視頻生成:視頻生成
- 動畫:角色動作連貫
- 深度估計:時序穩定深度圖
- 影片修復:老電影修復
評估:
- 主觀:人眼觀察流暢度
- 客觀:幀間差異、光流一致性
- 用戶研究:自然度評分
與空間品質的權衡:
- 有時犧牲單幀品質換取時間穩定
- 需要綜合優化
是視頻AI的關鍵挑戰。