股价暴涨7%,我们深入挖掘了两份低调公布的资料,发现了苹果AI的秘密。

2024-06-15

模型时代苹果是否落后?几乎每个人都想在苹果WWDC24上找到这个答案。然而,在重要的主题演讲阶段之后,争议接踵而至:发布会前半部分被戏谑为“追求安卓”的小功能集合,后半部分最重的AI表面上与安卓手机发布的AI能力大相径庭,被很多人认为“没有惊喜”。这段话开始在网上传播:“WWDC24最大的惊喜就是苹果给iPad带来了一个新的计算器”。


虽然真正意义上的AI硬件还没有出现,但大模型可能已经成为未来端侧设备上相当于操作系统的“核心”,这已经成为业界的共识。苹果有这么重要的大模型能力吗?在AI时代,苹果真的需要像OpenAI这样的第三方大模型公司吗?


在主题演讲当天,苹果的股价下跌了1.9%,这似乎符合外界对这次新闻发布会的“平淡”评价。然而,戏剧性的事情发生了,在主题演讲的第二天,苹果股价暴涨7%,创下历史新高。金融业是市场合力的体现,对苹果3.18万亿元的巨大市值规模而言,资金背后情绪的巨大反差,值得关注。


跟随之前的争议焦点,我们将把重点放在两个数据上。:一份资料是苹果在官方网站上低调发布的大型技术文档,其中有许多细节值得深入挖掘。另一个是腾讯科技在现场的同事发的笔记。笔记记录了主题演讲后举行的不起眼的闭门对话内容。对话的两人是“苹果软件工程高级副总裁雷格-费德里吉”(Craig Federighi)约翰-吉安南德雷亚,苹果的机器学习和人工智能战略高级副总裁。(John Giannandrea),两人都向CEO库克报告。谈话的内容包括为什么要和OpenAI合作,以及如何保护隐私。


围绕这两个资料,本文试图顺藤摸瓜地探讨苹果的“大模型竞争力”到底是怎样的。


有两个关键点:


苹果自主研发大模型的能力非常强;


AppleenAI不是OpenAI Intelligence给予支持,两者完全独立。Apple Apple自主研发模型支持Intelligence全部。


深入挖掘苹果发布模型技术文档:2条新确定的信息,也许这次发布最重要的一点


第一,信息逐渐清晰:有两种信息在新闻发布会上没有显示出来,在新闻发布会后逐渐清晰。


苹果低调地发布了自研模型:不仅有端侧的小模型,还有大型云模型


就Keynote而言,苹果一直在谈论具有AI能力的端侧设备,能够给用户带来多么神奇的应用体验。但是这些模型到底是谁的呢?苹果自己开发了什么,和OpenAI合作了什么?虽然承诺了隐私安全,但究竟具体怎样保证?如果将OpenAI集成在一起,马斯克将在企业中禁用苹果。但苹果全场主题演讲结束后,我们都没有找到明确的答案。


在发布会之前,它发布了一个技术博客,并且在State上。 of Union宣布,它将在苹果设备上使用模型细节:端和云模型,都是苹果自己开发的。


自研模型赶上GPT4


具体来说,苹果设备上的端侧模型是一个30亿参数(3B)的小模型,而苹果并没有公布云模型的具体参数。这两个模型的性能都很好。



苹果可以基本获得3B级小模型和几个主流7B级模型的能力(获胜) 平局概率>50%)。而云模型则直接击中GPT-4。 Turbo级别(获胜) 58.3%的平局概率)。



这个发布可能是整个苹果更新中最大的核弹:苹果开发了GPT4级大模型,一出现就成熟到可以直接接入苹果的软硬件系统。


这意味着之前对苹果模型能力的质疑完全不成立。现在,苹果可以建立自己的内部闭环AI系统,而不依赖外部模型公司。这是除了谷歌以外的其他手机厂商目前做不到的。


这些都是苹果只列出OpenAI的一个模型,也是外界调用的一个模型。


侧面小模型强提升


另外,在发布会上,苹果强调了大多数Apple模型。 Intelligents的所有操作都必须在终端模型上完成。然而,在发布会结束后,几乎所有人都在质疑一个3B大小模型是否能够真正完成发布会上展示的功能。


第一,3B大小的端侧模型实际上已经很难落地了。


看看苹果的竞争产品表现:谷歌在去年12月首次将其端面模型Gemninininini 在旗舰机Pixel上,Nano部署 8 在Pro上,它的参数只有1.8。B,而且能力很有限。Gemnininininininini也用于三星S24。 Nano。了解Pixel 8 Pro有12G内存,直到今年5月谷歌才能让8G内存的Pixel。 8 和 8a还跑上了这款1.8B模型,还需要下个月才能真正升级部署。而且其它手机厂商部署的端侧模型基本都是在1B级参数值规模中。


而且苹果做到了iPhone,8G内存。 15 Pro运行了一个3B参数模型。这个项目能力已经甩出了竞争对手的位置。


在此之前,苹果已经做好了充分的准备,去年12月引起轰动的论文《LLM in a flash: Efficient Large Language Model Inference with Limited Memory》在里面,苹果提出了一种处理小内存运行大模型的方法,使用窗口化(Windowing)还有团队捆绑(Row-Column Bundling)为了最大限度地减少数据传输和最大限度地提高闪存吞吐量,两项核心技术。


苹果还在这份技术文件中提到,他们在模型框架中使用了分组注意力查询。(grouped-query-attention)和LoRA适应器框架。这两种技术一种是避免重复投射,另一种是压缩推理过程,可以有效降低内存占用和推理成本。


另外,为了保证AI模型的运行不会大大降低手机的功耗,苹果还配备了功耗分析工具 Talaria,及时提高功耗。



通过这一系列的操作,3B模型端侧部署才成为可能。


第二,在这个技术博客中,苹果还展示了他们如何保证小模型的交付能力:不是全能的,而是加强了具体的任务。


具体来说,苹果在基本模型上增加了很多微调的适配器。适配器是叠加在一般基本模型上的小型模型的权重集合。它们可以动态加载和交换,使基本模型能够根据当前任务立即进行有针对性的特殊处理。苹果智能包括紧急判断、总结、电子邮件回复等一系列适配器。发布会上的许多功能都经过了精细的调整。


所以,至少端侧模型可以更好地完成最常见的工作,如基本摘要、写邮件等。


总的来说,苹果在本次发布会上展示的综合模型能力基本远远超出预期。从大模型到小模型,他们都跃入了第一梯队。


只有新旗舰才能使用AI,这可能会导致新的换机潮


另外一条消息也很重要:虽然iOS18系统更新可适用于iPhoneX以上的所有型号,但是苹果的AI功能只能适用于iPhoneX。 15 Pro或以上型号,其他终端需要M1芯片以上的能力。也就是说,为了使用AI,用户可能需要进行一波换机潮。



事实上,苹果并非故意卡老客户。一方面,端侧大模型的运行瓶颈是计算率,另一方面是内存。对于苹果来说,计算率问题反而可能不那么棘手。这次Apple 从M1开始,Intelligent发布了产品。事实上,M1芯片负责AI推理的NPU能力还不如A16,但是也充分满足了苹果端侧模型推理的需要。iPhone14 甚至iPhoneiPro 为什么不能做到15?或者是因为内存不足。


由于在模型推理过程中需要占用大量的运行内存。(DRAM),较小的内存会严重延缓推理速度,甚至无法完成推理。所以iPhone 15 苹果手机所拥有的Pro及以上8G内存,可能是目前经过一系列优化的3B端模型所需的最小内存数量。


但是这个问题本身也有优化的空间。昨天上交大发布的PowerInfer2手机推理框架提出了进一步减少内存占用的方法。GeminiNano下放到Pixel 这也说明谷歌也在做同样的努力。


但是内存需求小,7B和14B模型排队等待上端。从长远来看,机器仍然需要更换。毕竟只有更大的端侧模型才能带来更多用户付费的感受法术。


圆桌谈话透露了与OpenAI的关系


因为苹果自主研发的大模型能力如此强大,为什么还要与OpenAI合作?克雷格-费德里吉,苹果软件工程高级副总裁。(Craig Federighi)吉安南德雷亚和约翰-(John Giannandrea)这一细节在Keynote之后的闭门对话阶段被揭露,腾讯科技在WWDC现场的同事们发回了这次对话的内容记录。"现有的大语言模型,如ChatGPT,具有丰富的公共信息,也有其用途。这几个很大的前沿模型都有一些有趣的功能,用户非常喜欢,我们把它们整合到自己的体验中,可以让客户体验更加丰富。”


考虑到这一点,Apple正式宣布在WWDC与OpenAI合作,并在其平台上提供更强大的AI服务。但是,值得注意的是,ChatGPTOpenAI不是AppleenAI Intelligence给予支持,两者完全独立。Apple Apple自主研发模型支持Intelligence全部。


这就意味着,虽然Apple已经在WWDC现场正式宣布与OpenAI合作,但这种合作并不像外界猜测的那样集成到苹果系统中。这类合作更像是与第三方大模型企业合作的一种模式,Federighi解释说,Apple与OpenAI的合作是因为GPT-4o目前是最好的LLM,但是Apple将来可能会与其他LLM提供商合作,用户可以选择外部LLM提供商。SamAltman的态度也很暧昧,一向高调,达成“如此重要”的合作后,只发布了一条推特。


图片注:传闻Sam Altman去了Apple Park,但是没有机会上台


按照Federighi的说法,Apple Intelligence被设计成高度个性化的智能,需要使用照片、联系人、新闻和电子邮件等个人设备上的数据来执行任务。OpenAI的ChatGPT可以在客户有更复杂的AI请求时发挥作用。例如,如果他们想让ChatGPT为他们编写影视剧本,那么有人可以用他们的Mac或iPhone向ChatGPT发送查询。


而且,Apple在设计它与ChatGPT集成时也采用了隐私优先的思维。任何用户信息都不会在未经用户许可的情况下发送到OpenAI。客户必须先手动许可,然后才能将任何请求发送到ChatGPT处理。“例如,我是一名医生,我可能希望在未来引入一个医疗模型。我是律师。我可能有一个专门为法律工作而练习的模型。我想把它引入我的个人设备。他说:“苹果认为,这最终将是对用户在个人智能方面做得很好的补充。”


通过与OpenAI的合作探索,苹果将继续在Apple设备中引入百花齐放的模型,为用户提供极其个性化和智能化的感觉,就像今天创建APP生态一样吗?这些还不得而知,我们拭目以待。


打造未来的AI端侧设备,苹果具有先天的生态优势


虽然苹果在WWDC上展示的这些应用领域看起来并不那么精彩,但不得不说,它们确实是客户实际应用中的一个很好的落地场景。比如iPadOS上的笔记学习功能,计算器的全屏识别功能,iOS上的Gen emoji的能力等等,既有趣又有用。这一切都是用来应用的,但苹果显然做得更方便,很容易被顾客深刻感知。


发布会结束后,怒喵科技创始人李楠在腾讯科技主导的直播讨论中表示:“苹果的端侧模型具有系统级别的权限和数据访问能力。假如你问苹果在AI能力方面做了什么?这是全行业第一个真正将手机本地API与端侧模型无缝衔接的,也是全行业第一个真正将客户个人数据交给端侧模型进行fine-tuning的。其它端侧模型也想做到这一点,但是他们无法获得这些数据的访问限制。苹果端侧AI的核心技术能力一定会越来越强。”


这种强大的源泉来自苹果独特的生态模式,这是安卓想做却做不到的,苹果可能是唯一一家能在短时间内打通所有硬件智能终端AI感受和流通的公司。


这无疑是一条重要的环城河,苹果这么多年来一直专注于科技行业的顶端。他们有着极其坚实的生态堡垒,这不仅是产品和系统之间的,也是底层的芯片和开发工具。苹果可以完全统一。


这有助于苹果提供前人在终端AI时代无法实现的AI生态,甚至可以提供更多的AI应用生态场景。例如,在WWDC24上,苹果展示了包括AI在内的emoji生成。、AI驱动的数学笔记本等引人注目的功能,显然比很多厂商只宣传AI抠图能力更有吸引力。


“我们希望人工智能能够提高它们的能力,而不是取代我们的用户。”克雷格-费德里吉在圆桌对话中提到了苹果对AI的看法,“这和我们之前看到的人工智能不一样”。


但是问题也随之而来,苹果未来可能会无数次证实一件事。


确定与OpenAI的关系后,随之而来的问题是“苹果如何在保证安全的同时,将现有用户数据交给第三方,生成AI内容”。


对苹果来说,这是极其重要的。



克雷格-费德里吉是今年WWDC最重要的商品。Apple 在Intelligence中,试图用沉重的空间告诉用户,Apple 这种由Intelligence创建的“端” 私有云是多么安全地组合在一起。苹果通过系统级安全芯片加密和完全封闭的传输路径来保证这一点...


苹果在主题演讲中强调了这部分流程。他们在系统中增加了一个开关,所有输出到GPT-4o的内容都必须由客户发起。


与此同时,克雷格还在圆桌上展示了苹果处理用户需求的过程。如果他们想上云,他们有一套独立的加密技术。客户数据脱敏,数据处理后会被销毁。苹果根本无法干预这个过程中的数据。


苹果希望通过这种方式告诉用户足够安全。他们甚至找到了一些单独的安全研究人员,并向他们开放。Apple 将第三方引入Intelligence服务器,以帮助他们确认客户数据的安全性不会被泄露。


然而,这仍然没有消除外界对隐私数据安全泄露的焦虑,尤其是在Siri接入GPT-4o后,用户信息如何脱敏,苹果如何-OpenAI-在这条传输路径上,苹果没有走错路口等问题,全部抛到苹果身上。


在与腾讯科技的解读直播中,面壁智能首席研究员韩旭也表示担忧。他认为,只要数据从苹果传递给第三方,苹果就会失去对数据安全的控制权,无论是OpenAI的GPT还是Google的Gemini,这确实会对苹果的隐私安全提出新的挑战。


但是好消息是,这已经不是苹果第一次面临这样的问题了。


在选择搜索供应商时,苹果陷入了类似的讨论。当苹果将谷歌确定为iPhone默认(海外)搜索引擎时,曾经质疑如何保证用户的隐私数据不被泄露。在接受外媒采访时,库克讨论的内容与他们现在选择OpenAI的内容出奇的一致。


选择Google的苹果,库克说谷歌在搜索引擎这方面做得最好。


选择OpenAI的苹果,克雷格还表示,OpenAI是目前苹果的最佳选择。


在谈到搜索引擎时,库克表示,苹果还将许多控制选项融入其中,例如在Safari浏览器中开发隐私浏览模式,并配有智能防跟踪器等,以为用户提供全方位的帮助。


而且克雷格在谈到AI的时候,更多的还是只谈到了他们在端边。 私人云的加密策略,但是对于OpenAI的部分,显然还没有透露更多。


或许可以预见,在未来很长一段时间内,苹果会无数次证实自己的AI策略是安全的,包括自己的和第三方的,这对苹果来说是一条红线。


本文来自微信微信官方账号“腾讯科技”(ID:qqtech),作家:郝博阳 郭晓静 经授权发布的吴彬,36氪。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com