昇腾 AI 推理开发工具链
🔹 [2026.03.30]：msit 仓库精度调试、推理服务调优、模型量化模块日落公告，详情请参见公告
🔹 [2026.01.12]：本仓库许可证（License）变更，详情请参见 公告
🔹 [2025.12.31]：MindStudio 推理开发工具链全面开源
MindStudio Inference Tools（msIT）推理开发工具链，聚焦大模型与传统模型推理开发中的关键挑战，通过提供模型压缩、调试与调优等能力，高效解决推理效率低、资源开销大等问题，助力用户实现最优推理性能。
推理开发工具链提供以下系列化工具：
| 类别 | 工具名称 | 功能简介 |
|---|---|---|
| 预检 | msPrechecker | 【预检工具】 支持环境预检、连通性预检及推理过程落盘和比对，帮助用户在部署前发现异常问题。 |
| 量化 | msModelSlim | 【模型压缩】 包含量化和压缩等推理优化技术，支持大语言稠密模型、MoE 模型、多模态模型等。 |
| 精度 | msProbe | 【精度调试】 昇腾全场景精度工具，用于精度调试与问题定位。 |
| 性能 | msProf | 【模型调优】 全场景性能调优底座，采集软硬件全栈性能数据，提升设备调优效率。 |
| 性能 | msprof-analyze | 【性能分析】 基于采集数据做性能分析，快速识别性能瓶颈。 |
| 性能 | msServiceProfiler | 【服务调优】 支持请求调度、模型执行过程可视化，提升服务化性能分析效率。 |
| 性能 | msMemScope | 【内存调优】 内存调优专用工具：整网级多维度内存采集，支持自动诊断与优化分析。 |
| 性能 | msInsight | 【可视调优】 可视化性能分析，覆盖系统、算子、服务化等场景，辅助完成性能诊断。 |
| 性能 | msModeling | 【建模仿真】 神经网络推理性能仿真框架，助力开发者在无硬件或部署前预测性能、识别瓶颈并优化配置。 |
| 监控 | msMonitor | 【在线监控】 一站式监控，支持落盘与在线采集，面向集群的监测与问题定位。 |
如需快速上手各工具，请参见《推理开发工具链快速入门》。
请通过上方表格链接进入对应源码仓库，参见 README 中的《安装指南》。
请通过上方表格链接进入对应源码仓库，参见 README 中的《使用指南》；若需按场景选择工具，请参见《msIT 工具选型指南》。
为提升文档查阅效率，我们提供多种高效检索方式：
🔹 AI 问答（DeepWiki）：自然语言问答，快速把握项目架构与模块关系。
🔹 AI 问答（ZRead）：中文问答体验更优，精准定位功能用法与细节。
🔹 精确搜索（ReadTheDocs）：关键词全文检索，直达接口、参数与报错等信息。
欢迎参与项目贡献，请参见 《贡献指南》。
欢迎大家为社区做贡献。如果有任何疑问或建议，请提交 Issues，我们会尽快回复。感谢您的支持。
| 即时互动（微信群） | 官方资讯（公众号） | 深度支持（助手/论坛） |
|---|---|---|
 扫码加入技术交流群 |
 扫码关注官方公众号 |
扫码入群并关注公众号，直达 MindStudio 用户与开发者最快捷的交流平台： 快速提问： 与社区小伙伴即时探讨技术问题 掌握动态： 第一时间获取版本发布与功能更新通知 经验共享： 与广大开发者交流最佳实践与实战心得 更多支持渠道：👉 昇腾助手：  👉 昇腾论坛： |
msIT 由华为公司的下列部门联合贡献：
🔹 昇腾计算MindStudio开发部
🔹 昇腾计算生态使能部
🔹 华为云昇腾云服务
🔹 2012分布式并行计算实验室
🔹 2012网络技术实验室
感谢来自社区的每一个 PR，欢迎贡献 msIT！