IBM正式宣布全新的光学技术,用尽全力训练AI?

2024-12-12

又是炒饭?



IBM最近宣布了一个重大的光学技术突破,它可以在节省大量能源的同时,以光速训练AI模型。


IBM发表的技术论文显示,该技术是一种新型的共封装光学技术。(co-packaged optics),在光速的帮助下,可以实现数据中心的内部连接,从而取代当前使用的铜缆。


虽然光纤技术已经广泛应用于全球商业和通信中,但大多数数据中心仍然依赖铜电缆进行短距离通信。这导致 GPU 在训练过程中,加速器常常处于闲置状态,浪费大量的时间和精力。



所以IBM的研究小组展示了如何将光的速度和容量引入数据中心,显著提高了数据中心的通信带宽, GPU 闲置时间,从而加速闲置时间, AI 模型响应速度。


Darioo,IBM高级副总裁兼研究总监。 在评论这项技术时,Gil说:


“由于生成式AI需要更多的能源和处理,数据中心必须不断发展——同样的封装光学设备可以让这些信息中心面向未来。有了这个突破,未来的芯片将像光纤电缆一样通信数据传输到数据中心,开启更快、更可持续的通信新时期,可以处理未来。 AI 工作负荷。



根据IBM计算的结论,对效果如何,大型语言模型 (LLM) 训练时间可从三个月缩短到三个星期。与此同时,提高能源效率可以减少能源消耗和训练。 LLM 相关费用。如果转换成发电量,训练 AI 在模型中节省的能量相当于美国5000个家庭的年能量使用。


事实上,CPO并不是最近才有的新技术。早在一年前,台积电就与博通、英伟达等大客户携手推进了该技术的研发进度。工艺技术从45nm延伸到7nm,计划在2024年迎来大订单,并在2025年达到重量级阶段。


这种所谓的“硅光芯片”,就是用光电元件代替传统芯片中的电晶,在硅平台上传导电光信号。与传统芯片相比,电信号会丢失和消耗。光信号不仅消耗少,而且实现了更高频率、更宽、更快的数据处理。


原则上很简单,但实际推广并不难。


首先,硅光产品还没有达到大规模需求阶段。虽然有两个领域的需求:自动驾驶和数据中心,但目前还没有主流芯片制造商推出高性能芯片。


其次,硅光产品要考虑成本相对较高的问题。由于大量的光学设备,硅光设备需要使用各种材料。在没有大规模需求的情况下,硅光产品已经成为一种“高价低性价比”的产品。同时,很难保证设备的性能和产量。


最后,硅光芯片要努力打通每一个环节。比如在设计环节,虽然EDA工具已经支持了,但是没有特别的用途;然而,在制造和封装阶段,台积电、三星等主要晶圆铸造厂没有提供硅光工艺晶圆铸造服务。


即便是已推出COUPE技术的台积电,也会在短时间内专注于更成熟的封装方案,很难将生产能力提供给硅光芯片。



此外,不同的制造商对硅光产品有不同的理解。目前,英特尔作为硅光跑道的真正老大哥,已经陷入低谷,很难抽出精力继续硅光技术。


由于这次IBM推出了CPO技术,很有可能只是储备了新技术,距离商业化还有一段时间。


本文来自微信公众号“镁客网”,作者:镁客网,36氪经授权发布。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com