算子工具全景

算子工具链

MindStudio Operator Tools - 全功能特性树

全部展开 全部收起 暗黑模式

• 算子设计
  • 精度设计
    • 精度设计
      • 精度设计
  • 理论性能建模
    • 理论性能建模
      • 理论性能建模
  • 模板库自动寻优
    • 自动寻优
      • 支持模板库自动寻优

        CATLASS A3/A5
      • 支持搜索空间拓展

        CATLASS A3/A5
      • 支持剪枝函数注册

        CATLASS A3/A5
      • 支持模板库接入
      • 基于建模的寻优过程自动剪枝
      • 基于多个case的综合寻优策略
      • 基于JIT的编译效率提升
    • 性能分析
      • 算子耗时展示

        CATLASS A3/A5
      • 算力使用情况展示
      • 带宽展示
      • 支持与加速库进行性能比对
      • 指导搜索空间拓展优化
    • 精度比对
      • 支持与加速库进行结果精度比对
    • 辅助特性
      • 算子名称筛选

        CATLASS A3/A5
      • L2Cache控制
      • 预热控制
      • 执行模式控制(图模式、单算子模式)
      • 数据生成控制(分布策略)
• 算子开发
  • 算子迁移
    • 算子迁移
      • 算子迁移
  • 辅助编码
    • 辅助编码
      • 辅助编码
  • 快捷调用
    • 快捷调用
      • 快捷调用

        AscendC SIMD 310B/A3/A5AscendC SIMT A5
  • 精度验证
    • 精度验证
      • 精度验证
  • 功能验证
    • 功能验证
      • 功能验证
• 算子测试
  • 精度测试
    • 精度测试
      • 精度测试
• 算子调试
  • 在板调试
    • 断点设置
      • 普通断点

        AscendC SIMD A3CATLASS A3
      • 条件断点
      • 地址断点

        AscendC SIMD A3CATLASS A3
      • Kernel入口断点
    • 程序执行控制
      • Continue

        AscendC SIMD A3CATLASS A3
      • SingleStep

        AscendC SIMD A3CATLASS A3
      • StepOver

        AscendC SIMD A3CATLASS A3
      • StepIn

        AscendC SIMD A3CATLASS A3
      • StepOut

        AscendC SIMD A3CATLASS A3
      • CTRL_C

        AscendC SIMD A3CATLASS A3
    • 上下文切换
      • 设备内上下文切换(核切换)

        AscendC SIMD A3CATLASS A3
      • 设备切换

        AscendC SIMD A3CATLASS A3
      • 寄存器查询

        AscendC SIMD A3CATLASS A3
      • 上下文信息查询(核id等)

        AscendC SIMD A3CATLASS A3
      • 常量区域查询
      • 设备内上下文切换(核、线程切换)
    • 内存访问
      • 变量读

        AscendC SIMD A3CATLASS A3
      • 变量写
      • 内存读

        AscendC SIMD A3CATLASS A3
      • 内存写
      • Host程序侧读Device内存
      • Host程序侧写Device内存
    • Coredump解析
      • Coredump展示寄存器

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5
      • Coredump展示调用栈

        AscendC SIMD A3Triton A3CATLASS A3
      • Coredump展示内存

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5
    • 辅助特性
      • 支持attach进程方式调试
      • 自动捕获并检查Host API错误码
      • 自动捕获并检查硬件错误信息
      • 自动单步执行定位异常代码
      • 图模式支持(单流)

        AscendC SIMD A3CATLASS A3
      • 图模式支持(多流)
      • Host程序调试能力

        AscendC SIMD A3CATLASS A3
      • 图模式支持
    • 开放接口
      • Initialzation API:初始化调试模式的API
      • Device Execution Control API:控制硬件继续运行与单步执行
      • Breakpoints API:控制断点的设置取消
      • Device State Inspection API:查询Device上的内存等信息
      • Device State Alteration API:用于修改Device上的内存等信息
      • Properties API:硬件/程序属性查询
      • DWARF Utilities API: DWARF工具封装API
      • Events: 标识硬件上报的各种事件
      • Events: 标识硬件上报的各种事件
    • 上下文查询
      • 寄存器查询

        AscendC SIMT A5Triton A5CATLASS A5
      • 上下文信息查询(核id、线程id等)
      • 常量区域查询

        AscendC SIMT A5Triton A5CATLASS A5
  • 异常检测
    • Memcheck(内存检测)
      • 内存非对齐对齐(Device)

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5
      • 内存越界访问检查(Device)

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • 硬件异常上报(Device)
      • 非法malloc/free使用检查(Device)
      • Device malloc泄漏检查(Device)
      • Api调用错误检查(Host)

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • Api调用错误检查(Device)

        AscendC SIMD A3
      • Malloc GM内存泄露检查(Host)

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • 连续buffer访问越界检测(Host/Device)

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • Stream间竞争检测(Host)
      • 内存踩踏检测(Device)

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5
      • 计算搬运指令LocalTensor越界检测(26.0.0)

        AscendC SIMD A3
      • Main Scalar内存多核踩踏检测

        AscendC SIMD A5
      • 关键控制寄存器默认值检测(26.0.0)

        AscendC SIMD A3
      • 内存非对齐检查(Device)

        AscendC SIMT A5Triton A5CATLASS A5
      • 线程间内存踩踏检测(Device)

        AscendC SIMT A5Triton A5CATLASS A5
      • SIMT VF核间内存踩踏检测(26.0.0)

        AscendC SIMT A5
      • SIMT VF线程间竞争检测(26.0.0)

        AscendC SIMT A5
    • Racecheck(竞争检测)
      • 流水间竞争检测

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5
      • 流水内竞争检测

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5
      • 核间竞争检测

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5
      • cluster间共享内存竞争检测
      • 卡间共享内存竞争检测
      • 线程间竞争检测

        AscendC SIMT A5Triton A5CATLASS A5
    • Initcheck(初始化检测)
      • 读未初始化内存(Host)

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5
      • 读未初始化内存(Device)

        AscendC SIMD A3Triton A3CATLASS A3
      • 申请但未使用内存检测(Host)

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • 申请但未使用内存检测(Device)

        AscendC SIMD A3Triton A3CATLASS A3
      • GM内存申请后未初始化使用(Host)

        AscendC SIMT A5Triton A5CATLASS A5
      • GM内存申请后未初始化使用(Device)
      • SIMT 和 Main-Scalar 流水间的竞争检测

        AscendC SIMT A5
    • Synccheck(同步检测)
      • 同步语义死锁检测
      • 同步语义使用错误检测(入参、调用位置等)
      • 同步语义配对/冗余检测

        AscendC SIMD A3Triton A3CATLASS A3
      • 算子卡死检测(26.1.0)

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5

        📦 跳转到样例(RTD)📦 跳转到样例(GitCode)
    • Overflowcheck(溢出检测)
      • 数值计算溢出检测(Device)
    • 辅助特性
      • 支持控制并发or串行检测
      • 支持Host异常点堆栈展示
      • 支持Device异常点堆栈展示

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • 支持GPU动态并行任务的异常检测
      • 支持程序结束时寄存器状态检测

        AscendC SIMD A3
      • Kernel名称过滤

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • 异常时可以生成core文件，用于调试器分析
      • 识别到异常时动作(终止执行，继续执行)
      • 误报抑制文件控制误报情况
      • 免编译检测能力使能

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • 图模式支持

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • 支持进程attach方式检测
    • 开放接口
      • Memory API，支持用户替换CUDA API配合工具使用(Host)

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • Callback API，支持用户在CUDA API上注册自己的回调(Host)
      • Patching API，支持用户在Kernel内存操作上注册回调(Device)
    • TX拓展接口支持
      • Suballocation API，支持程序向工具上报自规划内存池使用情况

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • Naming API，支持对分配的内存进行标记
      • Permissions API，支持对内存设置可读写属性
      • Mark Initialized API，支持标记内存的初始化状态
      • Kernel侧TX能力支持

        AscendC SIMD A3Triton A3CATLASS A3
• 算子调优
  • 在板调优
    • 采集方式
      • Kernel级重放

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • Application级重放

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • Range级重放

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
    • 采集指标
      • 内存负载分析

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • 计算负载分析

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • Roofline分析

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • 通信拓扑分析
      • PMU采样分析
      • L2Cache命中统计

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • ICache命中统计

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • 资源负载均衡分析

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5
      • 热点指令分析

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • 算子流水轨迹分析

        AscendC SIMD A5Triton A5CATLASS A5
      • 通算掩盖流水分析

        AscendC SIMD A3/A5CATLASS A3/A5
      • 局部PMU数据分析

        AscendC SIMD A3/A5CATLASS A3/A5
      • L2Cache热点建模分析

        AscendC SIMD A3Triton A3CATLASS A3
      • 自定义通算融合框架性能分析(26.0.0)

        AscendC SIMD A3
      • Scalar 性能数据精细化分析(26.0.0)

        AscendC SIMD A3
      • 指令Stall分析

        AscendC SIMT A5Triton A5CATLASS A5
      • 寄存器分析

        AscendC SIMT A5Triton A5CATLASS A5
      • 指令发射效率分析

        AscendC SIMT A5Triton A5CATLASS A5
      • Warp调度分析
      • SIMT VF下的指令发射效率统计(26.0.0)

        AscendC SIMT A5
    • 辅助特性
      • 自动预热

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • Cache控制
      • 交互式调优
      • 频率控制
      • 性能报告比对
      • Attach进程调优
      • 图模式支持
      • 调优报告评论
      • Kernel筛选

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • CPU调用栈
      • 任务完成后程序控制

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
    • 开放接口
      • CUPTI采集控制接口
      • Profiling报告解析接口
      • 专家建议注册接口
      • 可视化页面配置接口
      • 资源利用率预测接口
      • python调优框架
    • TX拓展接口支持
      • 支持基于TX接口的采集范围控制

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
  • 仿真调优
    • 采集方式
      • 基于仿真器采集程序性能数据

        AscendC SIMD 310B/A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • 上板执行过程中仿真局部算子

        AscendC SIMD A3Triton A3CATLASS A3
    • 采集指标
      • 仿真指令流水图

        AscendC SIMD 310B/A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • 仿真带宽波形图

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5
      • 同步指令配对关联分析

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5
      • Scalar头开销展示
      • 仿真代码热点分析

        AscendC SIMD A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
    • 辅助特性
      • Kernel筛选

        AscendC SIMD 310B/A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5
      • 任务完成后程序控制

        AscendC SIMD 310B/A3/A5Triton A3/A5CATLASS A3/A5AscendC SIMT A5

🆕 MindStudio 26.0.0 新增功能特性

🔍 msSanitizer — 算子异常检测

• 支持 AscendC 单目、双目计算类以及搬运类 API 中 LocalTensor 的越界检测
• 支持 SIMT 和 Main-Scalar 流水间的内存踩踏检测
• 支持 SIMTR VF 内线程间竞争检测
• 支持冗余 SET_FLAG 指令检测
• 支持关键控制寄存器默认值检测
• 支持 shmem 算子库、asc 算子库异常检测

🐛 msDebug — 算子调试

• 支持 shmem 算子库在板调试
• 支持 asc 算子库的 coredump 调试与上板调试

📊 msOpProf — 算子调优

• 支持 shmem 算子库、asc 算子库的性能调优
• 支持自定义通算融合框架的性能分析能力，可通过 AscendC API 打点生成通算流水图
• 支持 Scalar 性能数据精细化分析，可指导判断 Scalar 单元具体耗时阻塞位置，性能数据文件及计算内存热力图-内存负载分析中拓展相关性能指标
• 支持 SIMT VF 指令 Stall 分析与寄存器利用率展示，上板代码热点图中拓展相关性能指标
• 支持 SIMT VF 指令发射效率指标统计及负载均衡分析，计算内存热力图-核间负载分析中拓展相关性能指标

相关入口

• msOT

  ---

  算子开发工具链，聚焦算子开发中的关键挑战。

• msKPP

  ---

  性能仿真工具，支持基于算子表达式快速预测其在给定算法实现下的性能上限。

• msOpGen

  ---

  算子工程自动生成工具，支持多种类型工程的快速构建。

• msSanitizer

  ---

  算子异常检测工具，提供内存越界、数据竞争、未初始化访问及同步异常四大检测能力。

• msDebug

  ---

  算子调试工具，用于调试在 NPU 侧运行的算子程序，为开发者提供关键调试能力。

• msOpProf

  ---

  算子调优工具，采集与分析运行在昇腾AI处理器上的算子关键性能指标，显著提升性能分析效率。

• msOpTuner

  ---

  算子Tiling寻优工具，支持基于算子表达式快速预测其在给定算法实现下的性能上限。

• msKL

  ---

  算子轻量化调用工具，支持在Python脚本中快速实现Kernel下发代码生成、编译及运行Kernel。

• msOpCom

  ---

  算子工具基础组件，提供算子工具运行所需的桩函数注入、接口劫持等功能。

• msTX

  ---

  算子工具扩展接口库，自定义采集时间段或者关键函数的开始和结束时间点，识别关键函数或迭代等信息，对性能和算子问题快速定界。