OpenAI 启动先锋计划,旨在重塑先锋计划 AI 模型评分系统
IT 世家 4 月 10 日消息,OpenAI 宣布启动 OpenAI 先锋计划(OpenAI Pioneers Program),致力于改善当前 AI 模型评分方法。公司认为现有的 AI 该计划将重点建立一个能够“设置优秀标准”的评估体系,因为基准检测存在缺陷。
随着 AI 加快技术在各个行业的应用,深入了解和提高其在现实世界中的知名度变得尤为重要。OpenAI 博客指出,建立特定领域的评估指标是帮助团队更好地反映实际应用领域,并在实际和高风险环境中评估模型性能的有效途径之一。
近日,众包基准测试平台 LM Arena 与 Meta 的 Maverick 模型引起的争议突出了一个问题:现在,每个人都很难清楚地区分不同的区别。 AI 模型之间的差异。许多用途广泛 AI 基准测试侧重于衡量模型在某些晦涩任务中的表现,例如处理博士级数学难题。也有一些基准测试很容易被操纵,或与大多数人的喜好不一致。
据 IT 通过先锋计划,世家了解,OpenAI 希望在特定领域建立基准测试,如法律、金融、保险、医疗卫生和会计。。实验室表示,未来几个月,将与“多家公司”合作设计定制基准测试,最终公开这些基准测试,并提供“行业特定”评估。
OpenAI 博客中提到,先锋计划的第一批参与者将专注于创业公司,这将有助于为这个计划奠定基础。他们将从众多创业公司中选择少数,他们都在从事高价值、广泛应用的例子。AI 其中可以产生实际的影响。
参与该计划的公司也将有机会和机会。 OpenAI 通过加强微调技术,团队合作改进模型。该技术能够对特定任务进行优化,从而提高其在特定领域的表现。
但是,一个关键问题是 AI 社区是否会接受这个问题 OpenAI 建立资助基准测试。以前,OpenAI 我曾经在财务上支持基准测试工作,并制定了自己的评价方法。但是,我们与客户合作发布。 AI 测试在道德上可能被认为是有争议的。
本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。
免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com




