完全支持DeepSeek国产飞腾CPU:可达国外平台性能80%

02-11 07:39

快科技 2 月 9 日消息,飞腾正式宣布,飞腾腾云 S5000C、飞腾腾锐 D3000 Cpu已经成功地实现了 DeepSeek 整个系列的大模型端到端支援,覆盖数据中心和终端场景,而且性能非常出色。


其实在 2024 年,DeepSeek-V2.5 236B 大型模型已经在飞腾。 S5000C 平台运行成功稳定。


DeepSeek-V3、R1 版本发布后,飞腾第一时间在腾云。 S5000C、腾锐 D3000 本地部署验证平台,形成整体解决方案,构建端到端国产平台 DeepSeek 大型智算环境。


在数据中心侧面,腾云 S5000C 可以和多种服务器一起使用 AI 加速卡配合,实现 DeepSeek 部署蒸馏版和全量版。


根据官方实测,飞腾腾云 S5000C 组合 8 块国产的 AI 加速卡,蒸馏版 DeepSeek-R1-Distill-Llama-70B 这个版本的推理速度可以达到每秒 22 个 tokens,本地部署的推理效率与国外同类产品架构解决方案相当,综合性能相当于国外平台特性 80%左右。


与此同时,完整版本 DeepSeek R1 671B 模型选择基于四机、32的分布式推理框架。 卡 AI 服务器集群,也已成功部署。


就用户终端而言,基于腾锐 D3000、银河麒麟 V10 系统式台式机,可当地部署 DeepSeek-R1 7B 蒸馏模型,再搭配 1 张国产推理卡,实现了 AI PC 能力,能建立可靠的当地知识助手。


目前,飞腾平台已经实现了端到端支持。 DeepSeek 全系列、众多开源、国产头部大模型的本地化部署,可为企业级和个人应用提供全产业化、软硬一体化、性价比高、安全开放的全栈解决方案。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com