超越了文字总结等方面 GPT-4，苹果披露 AFM AI 模型细节

IT 世家 7 月 31 日消息，苹果公司发表了最新论文 [ PDF ] ，分享了关于 Apple Intelligence 与模型有关的细节，一些性能已经超过了 OpenAI 的 GPT-4。

模型简介

文章中介绍了苹果 Apple Foundation Model（下文简称 AFM）共有以下两种模型：

AFM-on-device：当地运行，30 十亿参数，可在 iPhone、iPad 等待设施高效运行；

AFM-server：参数等细节还没有公布苹果。

训练资料来源

苹果表示，培训数据集包括从出版商那里获得授权的数据、策划过的公开或开源数据集以及我们的网络爬虫。 Applebot 抓取的公共信息构成。

在数据混合物中，苹果强调重视保护用户隐私，不包括苹果客户的私人数据。

根据《纽约时报》的报道，苹果公司 2023 年末与 NBC、Cond é Nast 和 IAC 许多出版商至少可以达到价值。 5000 多年期协议万美元，在出版商的新闻档案中进行培训。

苹果的 AFM 模型仍在 GitHub 在托管的开源代码上进行训练，特别是 Swift、Python、C、Objective-C、C 、JavaScript、Java 和 Go 代码。

这篇论文说，为了改进 AFM 模型化数学技能，苹果企业特别专注于网页、数学论坛、博客、教程和研讨会的数学问答。

苹果使用了高质量、可公开获取的数据集(文章中没有提到名称)，这些数据“允许训练”。 ... 模型许可证"，并经过过滤去除敏感信息。

AFM 模型训练数据集中在一起 6.3 万亿个 token（token 它是一个小数据，通常很容易被生成的人工智能模型吸收)。相比之下，这还不够。 Meta 用来训练其旗舰文本生成模型 Llama 3.1 405B 的 token 数量（15 万亿美元的一半。

训练硬件

苹果公司使用的论文描述 8192 片 TPUv4 芯片训练 AFM-server 模型；2048 片 TPUv5p 芯片训练 AFM-on-device 模型。

每个 v5p pod 由 8960 一个芯片组成，每秒浮点计算。（FLOPS）和内存分别是 TPU v4 训练模型的速度比两倍和三倍快近三倍。

模型性能

根据论文描述，苹果自主研发模型正在进行指令遵循，文本总结方面检测超 GPT-4。

根据苹果公司的数据，AFM-server 有害导出违规率为 6.3%，远低于 GPT-4 的 28.8%。同理，在设备上，AFM 7.5% 违规率低于 Llama-3-8B（由 Facebook 母公司 Meta 训练）21.8% 的得分。

就电子邮件、信息和通知汇总而言，设备 AFM 满意度分别是 71.3%、63% 和 74.9%的研究论文还指出，这三种模型各自领先于其中。 Llama、Gemma 和 Phi-3 模型。IT 这个家庭的其他相关性能结果如下：

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com