发布Llamama震惊Meta 三是一夜之间回到开源大模型铁王座。

文｜李然，陈斯达

编辑｜苏建勋

开源社区灯塔，“真的·OpenAI"-Meta抛出了目前开源最强的大型Llamama模型。 3。

模型下载地址：https://llama.meta.com/llama-downloads/GitHub

项目地址：https://github.com/meta-llama/llama3

当地时间4月18日，Meta 两个开源Llamama发布 3 8B和Llama 3 外部开发者免费使用70B模型。Llama 这两个版本，也将很快登陆主要云供应商。

根据Meta的说法，Llama 3 8B和Llama 3 目前70B的规模相同，开源模型具有最佳性能。

Llama 3 在一些测试集中，8B的性能比llama 2 70B还要强！

而且在接下来的几个月里，Meta将推出更多版本。Jim，英伟达高级科学家 Fan认为Llamamam可能会在未来发布。 超过3-400B的版本，将成为某种“分界点”，GPT-4级模型可以用于开源社区。

AI开源倡导者吴恩达说：传奇研究员：Llama 3的发布是你这辈子收到的最好的礼物，谢谢你Meta！

Llama 3发布后，小扎告诉外媒，“我们的目标不是与开源模型竞争，而是超越所有人，创造最先进的人工智能。”

具体来说，Llama 3的亮点和特点总结如下：

• 基于超出15T token训练，大小相当于Llama 2数据集的7倍以上；

  
  

• 与Llamama相比，训练效率更高 2高3倍；

  
  

• tokenizer支持8K长文本，拥有128K token的词汇量，可以实现更好的性能；

  
  

• 最先进的性能是大量重要基准测试；

  
  

• 加强推理和代码能力；

  
  

• Llamama在安全方面取得了重大进展。 Guard 2、Code Shield 和 CyberSec Eval 新版本的信任和安全工具，也可以比Llama 2有更好的“错误拒绝表现”。

  
  

基于Meta AstonAI工程师 Zhang透露，Llama 三是从去年夏天开始，团队克服了一系列的数据、预训练等问题。

他还进一步透露，Llama 3之后还将解锁新的能力-更长的前后文本，支持400B版本的多模态、更强的性能。

现在，有兴趣的用户已经能够体验到HuggingChat。

地址：https://huggingface.co/chat/(需要手动切换到Llamama 3）

领先，但不多

Llama 3确实优于其它开源模型，但优势不大。

MMLU显示的基准测试结果包括MMLU、ARC、DROP、GPQA(与生物、物理、化学有关的问题集)、HumanEval(代码生成测试)、GSM-8K(数学应用测试)、MATH(与数学相关的基准测试)、AGIEval(解决问题的测试集)和BIG-Bench Hard(常识推理检测)。

如下图所示，Llama 3 在九次测试中，8B的成绩领先于同行。但是Mistral 7B(2023年9月发布)和Gemma 7B不再是最前沿的开源模式。并且在引用的一些基准测试中，Llama 3 8B的分数，还是比这两个高一点。

在MMLU、Eval和HumanGSM-8K上，Llama 3 Gemininini70B战胜 1.5 Pro。尽管无法与Anthropic最具性能的模型 Claude 3 Opus堪比，但是 Llama 3 在Claude方面，70B的性能已经优于 3系列中杯模型Sonnet。

在Meta组织人类反馈评分中，Llama 3 Mistral70B击败、OpenAI、相应的产品由Claude发布。

这种人类反馈测试更贴近用户的实际体验，涵盖了头脑风暴、创意写作、角色扮演、复述、推理、总结等最常见的大模型使用场景。

Meta别忘了卖个关子，说他目前最大的模型参数已经超过4000亿(400B)，但是他还在训练。但是根据Theta Verge，Meta 还没有最终决定是否开源400B版本。

Llama 2发布后的几个月内，开源社区如雨后春笋般涌现，出现了许多性能非常强大的开源模式。开源社区的竞争格局发生了很大的变化。

当有人怀疑Meta能否在激烈的竞争中继续领先时，Meta使用Meta。Llama 3发布后，让自己再一次坐回开源社区的铁王座上。

15万亿token，训练数据量大，质量高。

Llama 3优越的性能离不开庞大数据集的训练-15。 万亿token，几乎是Llama 2的七倍。

堆积只是第一步。Meta在训练中也非常重视数据质量，使用了许多过滤方法。使用生成数据(AI生成的数据)就是一个例子。网站介绍:

我们发现了前几代 Llama 很好地识别高质量的数据，所以我们使用它。 Llama 2为Llamama提供生成训练数据 3文本质量分类器， Llama 3 给予支持。

新版本的Llama在接受“大量投喂”后，在回答琐碎问题时应能够更加准确，在历史、STEM、在工程和编程问题上，也会显得心应手。

Meta还提到，Llama 3预训练数据集的5%以上来自高质量的非英语数据。这部分的加入主要是为了更好地满足来自世界各地的客户和不同语言背景的需求。

然而，对于所使用的训练数据来源，Meta仍然选择打马虎眼："收集公共来源（publicly available sources）”。

而且两个版本的数据截止日期略有不同，8B版本截止日期为2023年3月，70B版本为2023年12月。

由于训练数据不足，Meta产生了焦虑，四月初，还被无情地揭开了伤疤。

据《纽约时报》报道，2023年3月至4月，Meta高层每天都会召开会议，讨论如何将版权内容喂给模型训练——有些方法可以说，比如购买Simon。 & Schuster出版社；有些不方便说，比如面对诉讼的风险，在网上收集有版权的文字。

而且值得注意的是，根据外媒的说法，Llama 使用的训练数据，很大一部分是AI生成的数据。

看来，使用AI训练AI，已是一件正在发生的事了。

与Llamamamama相比，全面优化训练流程 2高出3倍

在训练模型的过程中，Meta还分享了许多流程优化:数据并行化、模型并行化和管道并行化。与前两代模型相比，Meta也做了很多流程优化。

在16000个GPU的集群训练中，每个GPU超过4000个 计算利用率的TFLOPS。

Meta开发了一种先进的练习堆栈，可以自动执行错误的检查、处理和维护，以最大限度地延长GPU的正常运行时间。

Meta还大大改善了硬件可靠性和无声数据损坏检测机制，并开发了一种新的可扩展存储系统，以减少检测点和回滚成本。这些改进使得整体有效的培训时间超过 95%。

综合起来，这些改进使得Llama 与Llamama相比，3的练习效率 2增加了大约三倍。

最智能的免费AI助手，极速文图

在之前的采访中，小扎已经说过，未来Meta推出的大型模型将重塑自己产品的使用体验。

这次和Llama一起 3一起推出，以Llama为基础。 3Meta的建造 AI。

按照小扎的说法，Meta 目前，AI已成为最智能的免费AI助手。

总结下来，Meta AI与自己APP生态的兼容性无疑可以大大提升使用体验——可以在Instagram中使用，无需转换。、Facebook、WhatsApp 和 Messenger Meta在输入框中畅通使用 AI。

移动电话聊天窗口，输入问题 @Meta AI，可以得到想要的答案。“私信”Meta AI对话也是可以的。

刷Facebook时遇到有趣的事，心血来潮有个疑问，下面打开直接问！

当然，Meta没有忘记PC端。登陆meta.ai，不需要注册帐号，就可以像GPT一样打开对话。登陆后当然可以保存对话记录，以便以后参考。

要知道，OpenAI刚刚在4月1日宣布不需要注册ChatGPT。

文生图的功能非常酷。由于图像生成速度大大加快，每次输入几个字母，图像就会发生变化——输了就是收获！

Meta AI生成的图片质量很高，还可以在原图的基础上生成GIF动画，与朋友分享。

据The Verge, Meta AI 唯一一个助理集成了 Bing 和 Google 即时搜索结果的聊天机器人-Meta可以决定用什么样的搜索引擎来回答prompt提示。

据报道，Meta正在向美国以外的十几个中国推出英文版。 Meta AI。可以使用澳大利亚、加拿大、加纳、牙买加、马拉维、新西兰、尼日利亚、巴基斯坦、新加坡、南非、乌干达、赞比亚和津巴布韦。 Meta AI。

也许是历史上最安全的大型开源模型

而且针对外界对开源大模型最担心的安全问题，Meta这次似乎也做了充分的准备。

Meta选择了一种负责任地开发和部署Llamama的新系统级方法。 三。她们将Llama 3被视为更广泛系统的一部分，使开发者能够完全掌握模型的主导地位。

在保证模型安全方面，指令微调也起着重要作用。

Meta的指令微调模型已经通过了红队的内外测试。Meta的红队利用人类专家和自动化方法生成对抗性提醒，试图引起问题响应。

在化学、生物、网络安全和其他风险领域，他们进行了全面的测试，以评估模型的滥用风险。

此外，Meta还采用了行业内最先进的大型安全技术，生来就有自己的Llama Guard 2、Code Shield 和 CyberSec Eval 新版本的信任和安全工具，确保模型不会轻易越狱，导出有害内容。

看起来Meta已经完全吸取了去年Llama意外泄漏的教训，在模型安全方面的努力并不逊色于对性能的向往。

未来，Meta团队将宣布Llama 3技术报告，披露更多模型细节。

而且团队成员还强调，Meta官方也会通过直播或博客的方式，让模型开发团队直接与外界进行交流。

总而言之，Meta并没有辜负开源社区的期望，继续在模型开源的道路上奋力奔跑！

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com