谷歌AI成功破解海豚语言，ChatGPT海洋版到来，掀起人类跨物种交流革命

你们有没有好奇过海豚神秘的声音在说什么？

现在借助AI的力量，可以实现「人和海豚」跨物种交流。

谷歌推出了一款名为DolphinGemma的创新AI模型，它不仅能理解海豚说的话，而且能够在水下与海豚进行实时交流。

听起来很科幻，但这是真的！人类对AI的研究和开发似乎还不到1%。

DolphinGemma是一个基本的LMM模型——但它也是第一个可以与动物交流的LLM，它使用音频数据进行训练——学习海豚声音的结构，生成类似海豚的声音序列。

GoogleCEO Sundar Pichai还说「这样才能实现跨物种交流，迈出很酷的一步。」。

与此同时，Pichai还宣布将在夏季开源这一模式，也许你可以带着这一模式到海洋馆展示超能力。

由于这个模型足够小，只有400M大小，可以部署在一部手机上。

了解海豚的哨声和爆发脉冲已经成为数十年的科学前沿。

假如不仅可以倾听海豚，而且可以充分了解它们复杂的沟通方式，是否可以打破人与其它物种之间的沟通障碍？

打破沟通障碍的DolphinGemma

LLM可以预测下一个词，DolphinGemma也可以预测海豚想说什么。

采用Google独特的音频技术，DolphinGemma：SoundStream分词器有效地表达海豚的声音。

随后，这些声音由适合复杂序列的模型结构处理。

Googlemma的DolphinGemma参数值仅为400M，可以直接部署在Googlemma Pixel手机。

左边：DolphinGemma 在早期检测中产生的哨声(左)和脉冲(右)

基于Gemma构建的DolphinGemma，Gemma是Gemma，Google 这些模型采用与Gemini模型相同的R&D和技术，具有轻量级、最先进的开源模型。

类似于我们熟悉的文本LLM，但是DolphinGemma是一种音频输入、音频输出模式。

它可以像LLM预测下一个单词或Token一样处理自然海豚的声音序列，以识别模式和结构，并最终预测序列中的后续声音。

海豚数据：WDP数十年的坚持

想要和海豚「沟通」这是一项艰巨的任务。

得益于WDP的巨大，标记数据，为前沿AI研究提供了独特的机会。

自1985年以来，WDP开展了世界上持续时间最长的水下海豚研究项目，并对巴哈马特定社区的野生大西洋斑点海豚进行了研究（Stenella frontalis）进行跨代研究。

这是一种非侵入性的，以「世界上，以他们的方式，」为了指导方法，产生了丰富而独特的数据集。

与个人海豚身份、生活史、观察行为仔细配对的数据，数十年的水下视频和音频。

一群大西洋斑海豚，Stenella frontalis

近几十年来，WDP的分析尤为重要。

最终目标是了解这些海豚的声音序列中的结构和潜在含义——寻找海豚语言中的方法和规则。

这一长期的自然交流分析形成了WDP研究的基础，并为任何AI分析提供了不可或缺的前后文数据。

左侧:一只母斑海豚在寻找食物时观察她的孩子。她会用自己独特的签名哨声，在孩子完成活动后叫回来。右侧:可视化海豚哨声的频谱图

使用Pixel手机与海豚交流

有了数据，模型也得到了训练，怎样才能让海豚听到DolphinGemma的声音？

WDP与佐治亚理工学院合作，开发「鲸鱼动物听力增强监测」（Cetacean Hearing Augmentation Telemetry，CHAT）一种水下计算机系统。

CHAT建立一个更简单、更互通的词汇表，而不是直接破解海豚的复杂自然语言。

研究人员希望天生好奇的海豚能学会模仿这些哨声，并通过在人类之间演示系统来要求他们喜欢的特定物体。

最终，随着对海豚自然声音的认识越来越多，它们也可以添加到系统中。

新一代CHAT系统将使用Google Pixel 9为基础，整合音箱/麦克风功能，利用手机先进的处理能力。

使用Pixel智能手机可以减少对定制硬件的需求，降低设备的成本和尺寸，极大地方便了在公海探索的研究人员。

一个Google Pixel 9在最新的 CHAT 硬件内部系统

DolphinGemma部署在手机上，也能帮助CHAT对海豚发声序列进行初步预测和识别。

跨物种交流，AI处理

必须说，Google推出的DolphinGemma仍然值得称赞。

现在所有的巨头都在那里「卷模型」在此期间，DolphinGemma不仅找到了不同的方法，而且向我们展示了更多AI的可能性。

在探索更多AI应用的同时，也给像WDP这样坚持了几十年的科研团队带来了更多的机会。

AI对我们生活的影响还远未结束。

MindDeepCEO Hassabis透露，将来计划和更多的智商动物交流，比如家里的狗。

Hassabis说他想知道他的狗在说什么。

谁说不可能呢，也许将来每个人都可以借助AI直接和你的猫狗交流。

这幅画想起来还是挺开心的。

参考资料：

https://blog.google/technology/ai/dolphingemma/

本文来自微信微信官方账号“新智元”，作者：新智元，编辑：定慧，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com