AI潮汐市场市场方向
每一年的云栖大会,都是阿里云展示其技术进步和市场洞察力的窗口。
当然,今年也不例外。第一,在模型端,阿里云带来了通义千问开源模型 Qwen2.5, 仅仅以 72B 在性能方面,参数量完全胜出。 Meta 405B 参数的 Lama3.毫无疑问,它已经成为目前世界上最强大的开源模式。
随后,基础层的升级也逐步显示出来。新升级后,通过全栈升级。 AIInfra 建立阿里云平稳高效系列产品。 AI 基础设施商品,促使持续训练的有效时间大于 模型计算率利用率99%的整体提高 20%。
除了新技术的发布,阿里云还充分分享了他们在过去一年探索模型商业落地市场的经验,尤其是在市场和企业市场。从阿里云在市场上的这些经验和市场洞察,可以窥探中国 AI 一些成熟的关键因素。
生成式 AI 首先带来的是计算范式的变化。
阿里巴巴在云栖大会上 CEO 这一趋势由阿里云董事长吴泳铭讨论,** "过去几十年,CPU 主导计算系统,正在加速向前发展 GPU 主导的 AI 计算系统的转移。 **
事实上,这些变化也反映在当前的市场企业市场上。大模型的出现就像一股急流突然冲向这个市场,是的。 AI 计算能力的储备,在各个层面都成了首当其冲的考虑。
最为直观明显的是,由政府或政府管辖的国有资产主体主导的城市智算集群,几乎每周都会有很大的订单标的发布公告招标。
随后,大模型驱动了科学研究的浪潮。科研机构的需求也开始出现,尤其是生物学、环境、材料、地理学、医学等学科的科研智算需求。
此外,大量公司也开始探索大模型与需求场景相结合的应用。公司对智算的需求开始开花结果,需求普遍多样化。
基于这种市场趋势,吴妈从宏观层面给出了预测,未来所有的软硬件都会有推理能力,计算核心也会变成 GPU,AI 算率为主,CPU 计算率为辅的传统计算模式。
在具体业务落地的过程中,要考虑的比较详细。过去行业认知集中,万卡是训练模型的门槛。但是,在这个过程中,我们会发现真正的门槛远不止于此。
阿里云智能集团副总裁、产品解决方案总经理霍嘉表示,“行业对此 GPU 计算集群的认知还不够一致,这种加法并非简单的加法,拥有万卡并不意味着拥有万卡的算率。“阿里云创始人王坚博士对市场上的计算率焦虑也有过类似的看法。如果中国有很多计算率,更重要的能力是如何提高计算率利用率。
首当其冲的挑战是规模化计算率能否达到更好的性能;其次,由于规模化计算率下系统稳定性好, GPU 服务器坏卡率和 BM 故障率相当高;
与此同时也要考虑,针对多种芯片的适应性,尤其是在市场上,对数据安全有一定的要求。”现在中国政企客户最关心的是安全和开支。。" 在拜访了包括许多客户后,阿里云智能集团研究员、阿里云智能集团副总裁、专有云总经理刘国华得出了市场结论。
基于此,政企客户更期待云平台满足云平台的需求,他进一步论述。 AI 协调发展的要求,不能单独做自己的事,以最大限度地提高整体成本效率。
从政府和企业客户的角度来看,这对阿里云来说既是机遇也是挑战。要知道,阿里云已经服务了很多。 1000 家庭政企客户包括国家医疗保险和12306、各大机关和央企,如海关总署、国家电网、南方电网等,AI 显然,赋能显然是业绩预期的明显提升。挑战不容小觑,如何选择和构建阿里云? AI 云技术技术体系与时代发展路线。
目前的技术情况是,模型参数值从100亿到1000亿甚至上万亿增长。结合语言、图像、语音、视频的多模态模型需求,开始层出不穷。图像模型和视频模型方兴未艾。 AI 核心基础设施的计算需求也有了显著提高。
这次云栖大会上,阿里云向外展示了一系列的云栖大会 AI 升级基础设施。
不仅可以支持单机 16 卡、显存 1.5T 的磐久 AI 并且提供服务器 AI 算法预测 GPU 故障,准确到达 92%;
也有支持 10 万只 GPU 全新的高性能网络架构平稳互连 HPN7.0,促进模型端到端训练性能的提高。 10% 以上;
此外,CPFS 存储在文档中的数据吞吐 20TB/s,为 AI 智能计算提供指数级扩展存储能力;
此外,还有一个人工智能平台,可以实现万卡等级训练推理一体化弹性调度。 PAI,AI 有效利用率超过计算率 90%
这些底层技术能力的演变,从算率、网络、存储、模型训练、数据处理等各个环节,支撑了当前大模型技术发展的设施升级需求。,而对于政府和企业客户来说,他们会明显感受到天妃企业版智能计算的升级。
第一,兼容性更强。支持多芯的整个智算平台 GPU 通过与多个管理相结合, GPU 实现厂家合伙,实现共同努力 23 款 GPU 可以支持接入和管理,同时提高国产卡的性能。 10%;
其次,基于公共专业一体化的网络结构,更多的融合技术支持单一集群。 1.5 在同构系统下,万卡的建设,在单一模型训练场景下,轻松满足行业大模型训练的条件;
此外,在统一的运行调度下,计算率带来了更高的利用效率。GPU 实现虚拟化和器皿调度算率分割粒度 资源利用率提高1% 100%;
并且,还对推理场景进行了独立的性能优化。。通过将训练任务与资源调度策略相结合的训练资源调度一体化平台,降低算率资源残片 通信带宽提高30% 100% 上述,提高模型的吞吐量 23%,通过对 GPU 飞天企业版深度调优, GPU 与社区版相比,性能更好 10%。
与此同时,端到端系统的稳定性也有了很大的提高。飞天企业版提供从培训任务到底层基础设施的一体化监测和分析诊断能力,分钟定位和诊断可以根据故障节点和受影响的工作路径实现,整体故障监测覆盖率达到 80%。
值得注意的是,飞天企业版在智能升级后也加入了。 AIStudio 大型平台和运维模型板块。AIStudio 在适应国产底层硬件的基础上,可以实现模型训练、微调、评价等。,并且内置了丰富的应用领域插件,用户可以快速高效地完成大模型的构建和发布;大型运维模型以通义千问为基础,结合百万以上运维专业问题、方案等数据进行培训,将加强政府和企业客户对云的自主运维能力,提高日常运维效率。 50%。
换言之,飞天企业版智算升级使云完成。 AI 融化,而集成在飞天企业版上的一站式 AI 大型开发平台 ---- 百炼专属版也迎来了版本迭代,推动了模型服务。与云融为一体。该平台不仅整合了国内外主流的高质量模型,还提供了模型选择、微调培训、安全套件、模型部署等服务和全链路的应用开发工具。它还简化了底层计算率部署、模型预训练、工具开发等复杂工作,方便政府和企业客户更高效地开发自主模型。
百炼专属版 2.0,不但从底层计算率来看,适应性「公共云 VPC」和「专有云」环境,进一步满足市场企业市场开发环境的需求;支持多芯异构的计算率调度,支持多租户模式下的计算率、模型和数据隔离和共享。
在大型模型的实践和推理方面,百炼专属版 2.0 完成了显著的性能提升。采用高效的分布式训练技术,提高了训练速度 20%。另外,通过软件和硬件的协同优化,在保持精度的同时,可以减少量化误差 0.5%,推理率提高了。 3 倍以上。
就模型资源而言,百炼专属版 2.0 提供了从 7B 到 72B 为了满足不同的需求,不同规模的大语言模型和多模式模型。它还适用于主流模型框架,并支持用户定制第三方模型。
就模型服务而言,百炼专属版 2.0 可以处理包括图表、公式、照片、音频和视频在内的各种内容,分析大文件和大量文档。开发者可以通过使用平台提供的丰富工具插件,通过简单的拖拽操作,快速构建智能体。
从底层计算率到上层模型服务,通过飞天企业版智算升级和百炼专属版迭代进一步勾连,云和 AI 二者合作前进,进一步融合,构建了智能时代的云技术架构体系。
AI 计算能力的强烈需求,本质上应由模型应用程序驱动,而非单纯计算数据的军备竞赛。
它也是当前市企市场的核心竞争点,顾客最关心的还是价值创造,大型技术究竟能给顾客带来什么样的商业价值。但在目前的市场形势下,似乎每个客户,甚至每个人对大模型的认识都不一样。这种差异导致很多客户对大模型的期望过高。甚至有些客户直接期望加大模型后,业务会发生翻天覆地的变化,带动业绩,甚至增加商品销量。
这一情况在某种程度上得到了证实,吴妈在云栖大会演讲中对当前行业认知阶段的描述,”对新技术革命,人们普遍高估短期,低估长期。"
当前,市场上使用模型的落地场景主要可归纳为三类:
第一,提高生产效率。除可以使用各种生产软件外, copilot,有助于提高文档、文案的创作效率。另外, Rag 搜索增强了对知识库的重塑,尤其是在知识密集型行业,带来了显著的价值。
一个典型的案例是,知名药企阿斯利康自动分析总结了基于通义模型的药品不良反应平台,提高了药品安全控制的效率。 300%,准确度从 90% 提高到 95%。这一结果背后的原因,是对药物不良反应研究工作流场景的深刻洞察。
在过去,专家通常需要阅读大量与药物不良反应可能相关的论文,然后对真实相关的文章和相关片段进行筛选和总结,从而产生药物不良反应报告。你会发现在整个工作流程中花费了大量的时间和精力去搜索、阅读和整理,但这部分工作特别适合依靠大模型。专家可以将精力投入到真正利用专业知识进行核心判断和决策的环节中,从而节省了 80% 随着工作量的增加,报告产出的效率和准确性也会提高。
其次是,丰富的营销方式。推广文案、营销海报、产品视频等基于大模型制造的产品开始被企业广泛选择,粒度和丰富度越来越高。
同时,再次挖掘企业数据价值的场景也颇具想象力。在大客户内部有一个职位叫做 BI 数据分析师的主要工作是基于公司大量的业务数据进行不同维度的数据分析,以促进管理层和决策者快速获得业务状态,并以此为基础 BI 快速制定数据计划。
针对这种 " 取数 " 场景,阿里云通过 ChatBI 如何帮助电力工业? BI 在复杂的电力调控场景中,数据分析师可以通过自然语言提高数据统计的效率,从而提高生产率。" 取数 " 另一个经典案例是,中国一汽基于通义千问创造了一个大型应用程序。 GPT-BI 在财务和保修领域完成智能报表生成,5 可在几秒钟内生成多变量报表,同时还包括汽车生产、供销等。 9 大型决策场景,展示数据预测和泛化能力,模型精度高达 92.5%。
事实上,我们可以发现,大模型在实际应用中并不是一个大规模的爆发,但它已经开始在市场和企业市场的一些细分场景中展现出无与伦比的价值。
阿里云智能集团副总裁、解决方案R&D部总经理曾震宇认为,大模型不应该被视为目的,而应该认真思考需求场景,用模型解决什么问题,对它有合理合适的期待,保持更多的耐心。大模型确实可以在业务中发挥很大的作用。
而且从更多的角度来看,落地场景零零碎碎地分布在各行各业,内部却有统一的思路,全部由各行各业组成 AI 时代的云驱动,都要通向 AGI,就像草原上分布着火星一样,会慢慢地连点成片,点燃熊熊烈火。” 站在 AI 我对时代浪潮的开始感到非常兴奋。”
本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。
免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com




