中文 · English
产品演示 · 算子优化实战 · 核心能力 · 系统架构 · 快速开始 · 文档导航
⭐ Star KitAgent · 开始使用 · 阅读实现
KitAgent 面向想使用、学习或扩展 AI Agent 的开发者。你描述任务,Agent 阅读代码、修改文件、执行命令;你在自己的工作台中查看工具输入输出、决定是否批准调用,并导出包含结论和执行记录的报告。
你可以从这三件事开始:
- 完成开发任务:让 Agent 检查仓库、执行测试、整理报告,在同一会话里补充要求、继续修改。
- 学习 Agent 如何运行:沿着任务、工具调用、人工审批和事件记录阅读实现,再查看会话记忆、持久化恢复与沙箱的设计。
- 扩展自己的工作流程:用 Markdown Skills 保存步骤,通过 MCP 接入工具,用 Subagents 拆分独立子任务。
先看操作演示,或直接启动工作台;希望研究实现,可以从系统架构进入。
📸 产品演示
从算子规格,到实现、正确性验证与性能实测。

Equal 算子开发 · 广播与边界验证 · 基线性能对比 · 开发报告
查看高清截图 · 下载完整视频 · 启动工作台
以 Equal 算子开发为例:
开发 Equal 算子,支持标量广播,验证正确性并对比基线性能,生成开发报告。
| 步骤 | 你在工作台中看到的内容 |
|---|---|
| ① 确认规格 | 读取 Equal 规格,明确等长比较、标量广播与边界语义。 |
| ② 编写实现 | 审批写入算子实现,将等长与广播路径分开,移除逐元素取模索引。 |
| ③ 验证与实测 | 审批运行测试,验证 75 个用例;对三组输入预热 3 次、采样 9 次,对比中位耗时。 |
| ④ 交付报告 | 审批保存开发报告,读回核对结果;导出结论、工具证据和审批记录。 |
工具调用与人工审批

工作台提供「只读 / 按需询问 / 自动批准」三种会话权限模式,并支持查看和撤销已记住的工具授权。
内置离线演示 · 脚本化模型响应 + 实际工具执行 · 在本机体验
🧪 用 Agent 做算子优化:从 Equal 到 SparseFlashAttentionGrad
算子把数学运算变成硬件上的数据搬运与计算。以 Equal 为例,比较两个数只需一步,但处理整块 Tensor 时,还要安排广播索引、分块搬运和多核执行。性能优化就从这些安排入手。
这里用两个案例带你走完开发过程:从 Equal 学会广播、分块与复用,再用 SparseFlashAttentionGrad 理解矩阵核与向量核协作、流水排程和负载均衡。你可以在 KitAgent 中逐轮分析、修改、执行测试,并查看每一步的工具输出。
Equal:一次比较背后的数据安排
Equal 对两个 Tensor 逐元素比较,输出 BOOL。输入 [2,1] 和 [1,3] 时,输出是 [2,3]:一边沿列重复,另一边沿行重复。实现时可以通过地址映射读取原输入,让每一块输出找到对应的数据。
第一步,把重复的索引工作提前算好。 Host 合并广播模式相同的相邻维度,预计算每一维的 stride。Kernel 每次定位一段连续数据,随后成批比较,减少内层循环的坐标计算。
第二步,让搬进来的数据多用几次。 按输入类型和 UB(片上缓冲区)容量确定 tile 大小,将输入、输出和计算暂存一起纳入预算。标量缓存、广播面缓存和尾行复用减少重复读取;多核切分让各核处理自己的输出区间。
第三步,把数值语义放进测试。 浮点比较覆盖 NaN、正负零和无穷大;INT64 将高低 32 位分别比较,再合成结果,保留完整整数信息。通过 ACLNN 接口,把参数校验、计算和输出交付串起来。
| 开发环节 | 学到的方法 | 交付结果 |
|---|---|---|
| 规格与基线 | 用广播示例和特殊值定义正确行为。 | 输入输出契约、CPU golden、测试矩阵。 |
| Tiling 与 Kernel | 在 Host 预处理索引,在设备上按块比较和复用数据。 | 广播轴压缩、多核分块、向量比较、缓存复用。 |
| 验收与合入 | 固定版本,对照结果,汇总逐项测试。 | 306/306 精度通过,代码通过 cann/ops-math PR #5425 合入。 |
SparseFlashAttentionGrad:把工作分对,减少整条流水的等待
稀疏 Attention 反向计算需要生成 dQ / dK / dV 三路梯度,同时处理索引、系数和梯度累加。优化时要一起考虑每块数据何时就绪、交给哪个核、结果在哪里汇总。
先优化频数统计。 稀疏索引 [2,0,2,3] 对应 key [0,1,2,3] 的频数是 [1,0,2,1]。重复 key 的贡献按次数进入梯度。将索引排序后,用累计计数边界的差批量生成频数,可以改变逐条读写计数槽的处理方式。
再拆开计算与协调。 AIC(矩阵核)执行矩阵乘,AIV(向量核)处理频数和系数,并汇总就绪信号。用时间线把生产系数、发布信号、等待和梯度计算连起来,就能找到谁在阻塞下一轮。
最后按完整任务分核。 将 512 行切成 128 / 128 / 128 / 64 / 64 后,还要把各核后续的 dK / dV 归约计算进去。短块核承担的查询行少,却可能因为额外归约工作拖长收尾;把部分归约重新分给长块核,就能改善整组任务的完成时间。

五分片动态演示: 512 行分块 → 找到短块核尾部 → 长块核分担归约 → 双顺序对照。
下面这轮 910B3 五分片样机实验,展示了如何用测量推动下一次修改:
| 迭代 | 观察 | 方法 |
|---|---|---|
| 初次分片 | 两种测量顺序下,耗时分别增加 4.76% / 1.47%;dK / dV 尾部集中在短块核。 | 同时统计查询行和梯度归约的负担。 |
| 调整任务归属 | 正序 280.17 → 258.99 μs;反序 275.31 → 259.71 μs。 | 重新分配归约,耗时分别下降 7.56% / 5.67%。 |
| 集成回归 | R5 在 910B4 / CANN 8.5.0 下完成 56 份 FP16 精度报告、112 次毒值检查。 | 对完整梯度、输出写入和输入不变性一起验证。 |
这一轮的关键是:测出尾部集中在哪里,将查询与归约合起来分配,再用相同条件对照验证。下一次优化继续从新的时间线开始。
No comments yet.