大模型耗电惊人的舆论甚嚣尘上，如今谷歌用硬核数据强势回应。一次Gemini查询仅能耗0.24wh，
相当于微波炉运行1秒，排放0.03 g CO₂e，甚至
比人放一次屁还少，同时消耗约5滴水。（文中数据均表示中位数）
谷歌首席科学家Jeff Dean公开表示，这个数值明显低于公众普遍预期的水平。
并且像谷歌这样的大模型厂商，一直专注研究如何降低
AI消耗。一年间，通过模型优化和额外清洁能源的使用，Gemini的能耗降至原来的1/33，碳排放降至1/44，同时提供了更高质量的响应。
下面让我们一起看看谷歌是如何衡量和减少AI能源消耗的？
如何衡量AI消耗能源
谷歌首先指出，目前许多关于AI能源消耗的计算反映的都是理论效率，而非大规模运行下的实际效率。
若Gemini只考虑TPU和GPU的消耗，一次查询只需消耗0.10wh，排放0.02 g CO₂e，耗水量约0.12ml。但这种计算方式仅考虑了机器在运行中的能耗，而忽略了一些关键因素。与此同时，Jeff Dean也表示，人们都在思考AI是否会消耗大量能源，它是否会通过碳排放来伤害地球。
所以，谷歌针对AI服务时的实际情况，开发了一套更为全面的方法来计算能源消耗，包括以下几个部分：
全系统动态功率
这不仅包括主AI模型在计算过程中使用的能源和水，还考虑了大规模运行下实际的芯片利用率，而该利用率往往远低于理论最大值。
空闲计算机
为确保高可用性和可靠性，生产系统需要一定程度的预置容量，该容量处于空闲状态，但随时可以处理流量高峰或故障转移。这些闲置芯片消耗的能量必须计入总能源足迹。
CPU和内存
AI模型的运行不仅依赖TPU和GPU等机器学习加速器，主机的CPU和内存同样在提供服务和消耗能源方面起着关键作用。
数据中心开销
运行AI的信息技术设备所消耗的能源仅占整体能耗的一部分。支撑这些计算的基础设施，如冷却系统、配电系统以及其他数据中心开销同样会消耗能源。这部分开销能源通常用电力使用效率（PUE）指标来衡量。
数据中心用水量
为了降低能耗及相关排放，数据中心通常会使用水进行冷却。随着优化AI系统以提高能源效率，其整体用水量也会随之自然减少。通过上述更全面的指标，谷歌得出一次Gemini查询的能耗为0.24wh，排放0.03 g CO₂e，同时耗水量约5滴。
如此低的能耗，谷歌究竟是如何实现的？
为什么Gemini消耗这么低
谷歌表示，Gemini显著的效率提升得益于其在AI开发中采取的全栈方法，从定制硬件、高效模型，到支撑这些模型运行的强大服务系统，他们在每一层都融入了效率优化。
首先是
更高效的模型架构，Gemini是谷歌研究人员开发的Transformer模型框架，相比之前的语言建模架构，其效率可提升
10倍到100倍。此外，他们还在模型设计中融入了像MoE和混合推理等机制，从而进一步减少计算量和数据传输，提高整体运行效率。与此同时，Gemini通过
精准量化训练（AQT）等方法不断得到优化，使模型在保证回答质量的前提下进一步降低了能源消耗。在优化推理和服务上，谷歌不断改进AI的交付方式，以提升响应速度和整体效率。比如通过
推测解码技术，较小的模型，较小的模型可以先进行预测，再由较大的模型快速验证，从而用更少的芯片提供更多响应。蒸馏技术则可以利用大型模型作为教师，生成用于服务的小型高效模型（如Gemini Flash和Flash-Lite）。不仅如此，为了减少能耗，谷歌在硬件上还采用定制化。十多年来，他们一直从零开始设计TPU，以最大化每瓦的性能。同时，他们还协同设计AI模型与TPU，确保软件充分利用硬件潜力，硬件也能高效运行未来的AI软件。值得一提的是，最新一代TPU Ironwood的能效比首款公开TPU高30倍，在推理任务中远超通用CPU。
接下来，就是优化空闲资源。谷歌的服务堆栈能够高效利用CPU，并根据需求近乎实时地动态调度模型，从而最大化减少TPU的空闲时间，而不是采用“设置一次、永久运行”的方式。同时，他们的XLA ML编译器、Pallas内核和Pathways系统，使得在JAX等高级系统中表达的模型计算能够在TPU服务硬件上高效运行。再，来看谷歌的超高效数据中心，其整体平均能源使用效率（PUE）可达1.09，为业界最高效的数据中心之一。最后在数据中心运营方面，谷歌持续增加清洁能源的使用，以实现全天候无碳运行的目标，同时努力补充办公室和数据中心平均消耗的120%淡水。此外，他们还优化冷却系统，通过科学的流域健康评估，平衡能源、水资源和排放之间的局部权衡，从而指导冷却方式的选择，并在水资源紧张地区限制用水量。
参考链接：
[1]https://x.com/JeffDean/status/1958525015722434945
[2]https://cloud.google.com/blog/products/infrastructure/measuring-the-environmental-impact-of-ai-inference/
本文来自微信公众号“量子位”，作者：关注前沿科技，36氪经授权发布。
本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。
免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com
