近日,京东云宣布其JoyScale AI算力平台能力实现重大升级,凭借行业最多元国产异构算力调度能力,支持10 +家国产AI算力卡、20 +训练推理框架,成为目前业界唯一同时支持英伟达显卡和昇腾NPU远程调用的算力平台,为AI应用的高效运行注入了强大动力,在AI算力领域引发广泛关注。

图片来源:编辑网图片分享系统
AI深度应用催生AI Native算力平台需求
随着AI应用不断深入,对基础设施提出了全新且严峻的技术挑战,一套AI Native的AI算力平台成为市场迫切需求。传统以CPU为中心的架构在支持AI原生应用时困难重重,重塑以GPU为中心的基础设施迫在眉睫,而国内GPU型号多样导致的异构问题又增添了复杂性。同时,应用深化带来推理需求激增,企业在追求计算资源增加的同时,更注重资源投入产出比,期望智算资源能实现极致效率。此外,GPU国际供应链风险加剧,金融、政务等领域加速推进AI算力国产化替代,算力的合规性要求也日益提高。
JoyScale全面升级,实现多元国产算力异构调度
京东云推出的JoyScale AI算力平台,是基于京东内部统一GPU池化实践精心打磨的同源同栈AI基础设施算力平台。它支持训练任务和推理服务统一调度与资源共享,具备四大核心优势。
在算力性能方面,其行业领先的内核态池化引擎,提供多卡聚合、单卡切分等差异化能力,满足大参数模型集群化部署要求。作为通过信通院最高等级双认证的AI算力平台,可满足金融级数据安全、性能和稳定性要求,整体推理性能提升50%。
异构算力调度上,全面适配十余家国产算力,兼容昇腾、寒武纪、海光等多种国产加速卡,支持异构算力统一纳管、精细化运维,通过云原生AI调度能力,极大提升AI任务部署密度,整体资源利用率提升70%。
生态合作层面,京东云与众多国产芯片厂商深度合作,互相开放运行时Runtime层代码,从内核层屏蔽异构厂商硬件的复杂性,实现更高效的AI算力。
在框架支持上,训练框架涵盖PyTorch、TensorFlow等;推理框架包括vllm、sglang等,支持超20种AI训推框架。
极致性能调优,助力大模型国产卡高效运行
JoyScale AI算力平台以极致性能调优为目标,攻克了主流模型在国产卡上运行的技术难点。作为业界唯一同时支持英伟达显卡和昇腾NPU远程调用的平台,实现了应用与算力的分离,让底层异构算力彻底池化,可根据上层AI应用需求灵活分配算力资源。
在调度优化方面,通过调度算法兼容国产服务器卡互联拓扑结构与英伟达NVLink优化,智能识别CPU NUMA和网络拓扑,确保任务分配到最优资源,最大化执行效率。资源利用率上,让国产GPU/NPU与英伟达/AMD共同遵循资源队列机制,实现更高集群资源利用率。模型优化通过多种技术深度优化操作,提高多模态场景推理速度。软硬协同优化则实现了百卡MFU达60%,百卡扩展系数0.93,支持千亿至万亿参数模型训练的近线性横向扩展。
当前,京东云基于京东集团复杂场景实践,构建了一站式大模型产品矩阵,从底层智算基础设施到上层Agent应用开发,支持企业快速部署大模型及应用。凭借在京东内部场景的深度应用经验,京东云打造出极致性能、极致性价比的技术与产品,将为更多企业重塑AI生产力,推动AI行业迈向新的发展阶段。