提示工程:反复崛起,反复死亡
随着 OpenAI 推出新一代推理模式 o1 preview,许多人认为提醒项目已经结束。但事实真的是这样吗?本文深入探讨了提醒项目的两个核心——技巧和指令,并对其进行了分析 AI 当前不断发展,提醒工程如何适应变化,继续发挥其独特的价值。
随着 OpenAI 新的推理模式 o1 preview 发布时,可以一键生成高质量的思维链,简单的提示也能得到很好的效果。所以很多人认为提醒项目已经死了,提醒工程师是世界上最短命的职业之一。
真的是这样吗?
提醒项目,我们常说,有两个核心部分:技巧和指令。
一、技巧
这些技巧与模型本身密切相关,各种技巧使特定模型表现得更好,例如:
1. 为模型设定角色
"你是个好助手","你是个资深的前端开发"等等。
在 GPT-3 这一技巧在时代非常有用,GPT-4 后期效果已不太明显。
这种情况可能是因为初期训练语料不够多,模型不够强,设定角色可以使角色相关的语料更容易产生。
伴随着模型能力的提高,已不再需要这种技巧。
2. 情感勒索
""只要你跟着我,我就给你。 $200 “台费”,“我没有手指,不能复制粘贴,请完全生成”,“你不这样做,就要一个无辜的孩子死去”…
AI 对齐阶段,被训练成为人类有益的助手,结果反而被使用。
但这种常用的情感勒索方式,在新一轮模型训练中,将作为案例再次对齐,效果将大大降低。
另外许多时候这样做也是因为模型不能很好地遵循指令,模型能力增强后就不需要了。
3. 思维链,让模型一步一步思考
这些都是提醒项目的核心技巧,把任务分成几个步骤,可以显著提高效果,最著名的就是“ Let ’ s think step by step ",对于大语言模型的任务,生成几个推理步骤,以获得更好的生成效果。到了 o1 这种思维链已经发挥到了极致。如果你输入一个复杂的数学问题,你甚至不需要一步一步地思考,它可以产生高质量的思维链,消除复杂的数学问题。以至许多人感叹提醒工程已经死亡。
肯定还有很多像 few-shot、ReAct 这种技巧,就不一一列举了。
如果是技能部分,每次新一代模型出来,都要喊一声,提醒项目已经死了,因为技能部分随着模型的升级而变化。
二、指令
指令是那些技巧之外的,你需要让它们。 AI 能够真正理解你的意图,并且精确控制 AI 根据您的意图完成任务的部分。
事实上,这个部分是提醒工程的核心部分,而且不容易做好,因为它有许多困难:
1. 如何清楚地表达自己的意图?
实际上很难表达自己的意图,如果表达不清楚,不管是什么, AI 或者人类,都很难理解你或者帮助你。
比方说“五颜六色的黑色”是什么颜色?
2. 如何让 AI 了解所有相关的前后文本
人与人交流时,一个常见的错误就是一方假设对方知道自己所知道的一切前后文章,然后引起许多误解。
跟 AI 同样,但是怎样让步呢? AI 了解我们所处的前后文环境也是非常必要和困难的一件事:要怎样解释清楚前后文,要解释多少前后文?
3. 怎样把复杂的任务分成简单的任务?
刚刚大学毕业的时候,HR 我会给员工推荐一本叫《把信送到加西亚》的书。这是一个很好的故事,但它被老板们用来教育员工:当员工收到老板的指示时,他们应该像书中的安德鲁一样。 · 就像罗文一样,他没有任何推诿,没有任何条件,经历了艰辛和危险,走过了一个充满危机的国家。因为他绝对的忠诚、责任感和创造奇迹的主动性,他完成了“不可能的任务”。把信交给加西亚。
之后,我自己管理人才知道,一个好的管理者应该知道如何帮助员工把复杂的任务分成简单的任务,并在这个过程中给予帮助和指导,而不是给出指令来等待结果。
让 AI 做事情也差不多。由于上下文的不完整性或任务的复杂性,合格的建议工程师需要将复杂的任务分成几个简单的任务。 AI 要完成,甚至要建立一个完整的工作流程,让多个工作流程。 AI 智能体协同完成复杂的任务。
4. 如何精确控制 AI 做事
提示词是用自然语言写的,但自然语言的一个特点是抽象,同一句话可以有不同的解释。另一方面,由于目前的生成模型是概率预测模型,每个结果可能都不一样;这是精确控制 AI 工作带来了巨大的挑战。因此,现在有一种提醒工程的方法是使用伪代码进行精确控制。 AI 由于代码的本质是一种精确操作机器的语言,所以它具有良好的效果。即使现在 o1 如此强大的推理模式的出现,仍然无法处理模型的随机性,仍然需要提醒工程师反复尝试才能找到一个相对稳定的方案,以及错误后的纠正和容错方案。
5. 怎样避免顾客绕过限制做些不好的事?
身为一名普通用户,可以让 AI 帮助我们实现目标就足够了,但是对于专业的提示项目来说,我们也应该避免客户做一些不好的事情,产生不好的内容,这可能会造成很多成本损失和政治风险。
6. 如何针对特定任务提出创造性的解决方案?
如今 o1 有助于解决数学问题,这是很强的,但是我们需要 AI 处理的不仅仅是数学题,还有许多日常任务或特定领域的任务,或许将来 AI 可以在各行各业写出超越普通人的思维链,但这些任务可能需要真正对这一领域有深刻理解和洞察的人才能写出最好的提示。
比如你让 o1 翻译一段文本,它也只能正常翻译,但是公认的翻译效果更好的提示词,就是要 AI 首先根据字面意思直接翻译,然后对翻译结果进行检查、解释和反思,最后综合生成翻译结果。目前,这样的提示 AI 还不能一键生成,当然也许很快就能在翻译领域做到,但对某些行业来说,恐怕还需要在短时间内与领域专家一起,才能产生最好的提示。
这有点像工业自动化领域。最初的自动化是用机器模仿操作最好的工人的工作动作,实现智能化,然后超越最好的工人。
或许 AI 将来也可以超越各行各业的专家,但是那时候真的是 AGI 时代了。
三、最终
AI 时代,总是搞大新闻:一会儿是大新闻: AI 要取代程序员,一会儿是提示词工程师最有潜力的职业,一会儿是提示词工程师是一个非常短命的职业。
但是,真正透过现象看本质,里面有太多的偏概全,太多的噱头。
就提醒工程而言,它将像编程一样,在很长一段时间内仍然存在并发挥巨大的价值。
真正的提示工程,本质还是怎样让工程? AI 了解你,怎样让步 AI 听话。
为了让别人理解我们,让别人听话,我们已经奋斗了几千年,至今仍在努力,也许, AI 会更容易一些吧。
本文由大家作为产品经理作者【赛博禅心】,微信微信官方账号:【赛博禅心】,原创 / 授权 发布于每个人都是产品经理,未经许可,禁止转载。
题图来自 Unsplash,基于 CC0 协议。
本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。
免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com




