从英伟达到国产算力：一场必须打赢的“迁移之战”

正在现今数字化时期，野生智能（AI）手艺正之前所已有的速率改动着我们的糊口战任务体例。AI使用的普遍降天离没有开弱小的算力撑持，而GPU做为AI计较的中心硬件，不断是推进AI开展的要害力气。但是，跟着国际情势的转变战手艺合作的加重，依靠单一供给商的GPU芯片曾经没法知足国际AI财产的临时开展需供。正在这类布景下，将AI使用从英伟达隐卡迁徙到国产隐卡，不只是手艺开展的必定挑选，更是保证我国AI财产平安战可继续开展的紧急义务。

1、迁徙的紧急性战需要性

（一）国际情势的应战

最近几年去，好国对中国的下科技财产施行了一系列限定办法，特别是对下端AI芯片的出心禁令，严峻影响了国际AI财产的一般开展。2024年12月3日，中国半导体止业协会等四年夜协会结合公布声明，吸吁企业慎重推销好国芯片，并扩展取其他国度战地域芯片企业的协作。那一行动凸隐了我国正在AI芯片范畴完成自立可控的紧急性。

（两）手艺自立可控的需供

依靠出口芯片不只存正在供给风险，借能够面对手艺封闭战平安要挟。国产AI芯片的突起为我国AI财产供给了新的挑选。经过将AI使用迁徙到国产隐卡，能够无效下降对外洋芯片的依靠，确保手艺的自立可控，保证国度疑息平安。

（三）国际市场的潜力

国际AI市场重大且使用场景丰厚，从智能安防到主动驾驶，从医疗影象到金融科技，AI手艺的使用无处没有正在。国产隐卡的功能不时晋升，曾经具有了替换出口芯片的才能。将AI使用迁徙到国产隐卡，不只能够知足国际市场的多样化需供，借能为国产芯片的开展供给宽广的市场空间。

2、迁徙究竟易正在哪？

痛面的中心正在于缺少一套基于国产隐卡的端到端迁徙东西链息争决计划，撑持算法职员无感知天从GPU迁徙至国产算力。

3、JoyScale “整感知”迁徙栈

京东云JoyScale同构算力治理仄台颠末正在京东内场战中场万卡散群挨磨，完成了 40+ 支流模子迁徙，沉淀出JoyScale 齐栈计划，其中心思惟是：

整侵进：算法代码一止没有改，仅经过后端切换完成迁徙。

可考证：每步皆有黄金对比（GPU 基线），偏差可量化、可回滚。

可扩大：新删芯片≈插件式接进，中心框架坚持稳定。

齐链路：练习→微调→推理→上线监控，端到端掩盖。

3.1 零碎架构

3.2 迁徙计划

硬件适配

减速卡调剂适配针对国产隐卡的卡间互联手艺，开辟适配的调剂插件。比方，昇腾910B的HCCS架构请求统一Pod内的处置器必需正在统一HCCS环内，不然义务会掉败。

算子撑持度剖析经过东西（如Pytorch Profiler）提与GPU算子，取国产隐卡撑持的API浑单停止比照，对没有撑持的算子停止适配开辟。

功能调劣连系国产隐卡的硬件特征，经过Profile获得每一个算子的履行工夫，对较缓算子停止精密劣化，凡是要连系底层硬件架构特征停止劣化，比方数据对齐，转换为延续内存等。同时也能够运用厂商API将多个算子停止交融和转换为子图体例提交到减速卡等减速手腕。

硬件适配

顺序迁徙将基于CUDA的代码迁徙到国产隐卡撑持的框架。比方，将torch.cuda.xxx()接心交换为torch.npu.xxx()接心。

框架劣化正在框架层为国产隐卡战英伟达GPU供给一致的API接心，完成了一套API下NPU战GPU用户无感、0本钱无缝切换练习。

模子适配

模子量化经过模子量化手艺，增加模子的计较量战存储需供，进步正在国产隐卡上的运转效力。

硬硬协同深度劣化：经过Triton编译战CANN交融等手艺对热门算子（如flash attention、rotary_embedding、npu_matmul_add_fp32等）停止精密调劣，施行锯齿Attention、静态输出拼接、齐子图下收和重计较流火线的自力调剂战自顺应重计较等深度劣化办法，完成了百卡 MFU达60%。同时，经过权重更新通讯埋没、CoC计较通讯并止、启示式主动并止战略搜刮、BF16低粗度通讯战多机间RDMA通讯等手艺，到达了百卡扩大系数0.93，从而完成了千亿至万亿参数模子练习的远线性横背扩大。

推理劣化

经过GE图编译劣化战ATB下功能算子手艺对Paged Attention、Flash Attention、Sub_Mul_Concat等操纵停止深度劣化，完成整图下收才能，经过算子setup（workspace、tiling）、下收、计较完成流火线并止，无效埋没了算子调剂开支。同时撑持W8A8 SmoothQuant量化、W4A16 AWQ量化手艺，明显较少了计较量取访存稀度。

模子效劳采取单后端热备，流量 5% → 30% → 100%逐级灰度上线国产算力，掉败率 > 0.1% 主动回滚英伟达GPU。

一致调剂战监控

自研基于云本死的万卡级同构算力一致调剂零碎，主动辨认CPU NUMA战收集拓扑，确保义务被分派到最劣的计较战收集资本上，从而最年夜化义务的履行效力。经过Gang调剂、算力切分池化等手艺进步散群的全体占用率。

撑持可视化监控系统，一致监控同构隐卡的算力应用率、隐存应用率，和AI背载的效劳吞吐、掉败率、延时、token数等效劳化目标。

4、典范降天场景

批发场景：应用多模态模子对商品视频停止剖析，抽与可以表征视频的一系列tag。从英伟达GPU无缝迁徙到国产NPU，取GPU比对结果无分明差别。正在输入Token数目分歧的条件下，两者均匀呼应时少根本坚持分歧。

智能客服基于年夜模子的客服Agent助脚，运用过往沉淀QA数据对模子停止微调，迁徙到国产算力停止微调后，取基于英伟达GPU微调的模子剖析后果类似，且96%成绩分派下流处置途径相反。

物流场景基于国产算力微调的模子取基于英伟达GPU微调的模子正在物流地点剖析等义务的练习后果辨别到达了91.03%取91.08%，两者表示根本分歧，AI预分拣已上线多个省分，天天辨认3万条以上非常地点。

5、结语

将AI使用从英伟达隐卡迁徙到国产隐卡，不只是手艺开展的必定挑选，更是保证我国AI财产平安战可继续开展的紧急义务。迁徙没有是可选项，而是生活项！越早入手，窗心期越少。京东云JoyScale经过完好且成生的迁徙硬件仓库，协助客户无效下降迁徙本钱，进步迁徙效力，确保AI使用正在国产隐卡上的下效运转，让客户更多天把精神更多放正在算法立异上。京东云情愿取更多客户联袂，一同把国产算力推背极致。

考核编纂 黄宇