效能剖析器

Profiler

量測程式或模型在 CPU/圖形處理單元 (GPU / 圖形處理器) 上的執行時間、記憶體與瓶頸的工具,PyTorch (Torch Compile)、TensorFlow 等框架皆內建 profiler。

詳細解釋

Profiler 用於分析訓練或 推理 (模型推理) (Inference Optimization) (Variational Inference) 的效能:各層/算子的耗時、圖形處理單元 (GPU / 圖形處理器) 利用率、記憶體佔用與 kernel 啟動等,以找出瓶頸並優化。PyTorch (Torch Compile) 有 torch.profiler、TensorBoard 整合;TensorFlow 有 Profiler 與 trace viewer。與 PyTorch (Torch Compile)圖形處理單元 (GPU / 圖形處理器)算子融合 等優化工作流相關。

探索更多AI詞彙

查看所有分類,繼續學習AI知識