2初級技術工具
效能剖析器
Profiler
量測程式或模型在 CPU/圖形處理單元 (GPU / 圖形處理器) 上的執行時間、記憶體與瓶頸的工具,PyTorch (Torch Compile)、TensorFlow 等框架皆內建 profiler。
詳細解釋
Profiler 用於分析訓練或 推理 (模型推理) (Inference Optimization) (Variational Inference) 的效能:各層/算子的耗時、圖形處理單元 (GPU / 圖形處理器) 利用率、記憶體佔用與 kernel 啟動等,以找出瓶頸並優化。PyTorch (Torch Compile) 有 torch.profiler、TensorBoard 整合;TensorFlow 有 Profiler 與 trace viewer。與 PyTorch (Torch Compile)、圖形處理單元 (GPU / 圖形處理器)、算子融合 等優化工作流相關。