哈佛大学演讲：AI转型没有标准答案，单位和个人怎样避免掉队？

2024-11-16

下面的文章来自 AI 深层研究员，作者 AI 工作坊

华夏基石数智时代第三期领导力特训营热招！

来源 | AI工作坊，管理智慧

咨询合作 | 13699120588

本文仅代表作者自己的观点。

最近，宾夕法尼亚大学沃顿商学院 Ethan Mollick 在常春藤盟校哈佛大学，教授发表了一场发人深省的讲座。

讲台上，Ethan 教授分享了他的将军 AI 介绍课堂经验，展示课堂经验 AI 辅助性教学创新实践。这是哈佛大学一直倡导的一种将理论与实践相结合的教育理念。最近几个月，AI 该领域的发展速度令人惊叹。如同 Ethan 许多教授在哈佛演讲中指出了这一点。 AI 实验室的研究人员已经从最初的犹豫转变为现在的自信。在接下来的四五年里，他们普遍认为我们将见证。 AI 能力指数级提升。一些研究人员甚至认为，他们可以在短短五六年内创造出超越人类所有智商任务的设备，也就是所谓的通用人工智能。（AGI）。

然而，Ethan 教授还警告我们要面对 AI 时的挑战。在讲座中，他指出：“ 没有现成 AI 操作手册。" 不管是企业的学习开发部门，还是像 OpenAI 这类前沿技术企业，都不能为我们提供良好的标准实践。我们都在探索这一全新的领域。Ethan 在哈佛大学的演讲中，教授提出了一个关键观点： AI 就像教学一样。这种观点与哈佛大学长期倡导的教育理念不谋而合。

如同一位 MBA 讲座结束后，同学们评论如下："AI 还不错，你只是个糟糕的管理者。” 这个句子说明了使用方法 AI 本质——我们应该给予它，就像一个优秀的教育者。 AI 为了充分发挥其潜力，清晰的指示和完善的学习资源

大家好，很激动。但我今天要说的重点实际上与介绍无关。关于这个问题。 AI，他们真的改变了教育。

关于 AI 三种观点？

首先，AI 无法检验生成内容。 当然，这意味着每个人都在作弊，100%。无一例外。所以这很奇怪，教育现在正在进行。 AI 选择曲线的尖端。70% 的本科生和 K-12 学生在使用 AI，他们仍在使用，即使他们没有告诉你。我们无法检测到。 AI 写作，将来也永远无法完全检测到，这将是一场无休止的军备比赛，因此我们必须面对这一问题。

第二，AI 无处不在。 令我兴奋的是，我一直试图通过模拟和体验大规模教育每个人，顺便说一句，我演讲中的每一张图片都是由 AI 产生的，这可能并不那么显眼。但是有趣的是，这是最常用的工具。以前，如果我去哈佛大学，他们有比其他地方更酷的工具，因为那里有很多钱。假如我去了一所农村学校或不同国家的学校，也许没有这么好的资源，这是一个非常独特的时代，AI 应用程序已无处不在。

最终，AI 它具有变革性。 在我看来，每个人之前都提到了一个非常重要的观点， AI 实验室正在向我寻求帮助，这实际上是相当可怕的。没有人真正知道这些模型能做什么。我可以保证开发这些模型的人对医学或医学教育几乎一无所知。他们只是程序员，把这些东西作为编程问题来解决。它们完全没有预料到 AI 所有操作系统都会被颠覆。每一个行业都在发现它的用例，没有人能帮助你，我们只能互相帮助，因为根本没有现成的答案。这些开发者根本没有考虑过这些问题。AI 这种模式在医学领域表现得如此出色，完全是一个意外，这绝对是他们所没有想到的。因此，每一次发布新的模型，我总是感到非常有趣。我曾经开玩笑地问 Google 团队，每个人都发布了一个新的模型，那么发布在哪里呢？她们私下回答我，‘其实我们也不知道这个模型能做什么，所以希望有人能告诉我们这个模型是什么。'这些都是我们现在的情况。然而，简而言之，从去年开始，一切都变得非常奇怪。这是 GPT-3.5，也就是 Chat 免费版本的检测结果。"

案例 1：AI 参加 GRE 检测

在我说在 GRE 定量检测，GPT 达到了 65% 例如，这一分数是用来申请宾夕法尼亚大学研究生的考试成绩。这个 65% 不是答对 65% 的题，而是 AI 战胜了 65% 人类考生。接着情况变得更加奇怪，GPT-4 几乎所有其他测试都得了满分。现在，我们基本上有五种不同的东西。 AI，它们可以在任何测试之前进入 90 个百分位。我曾经展示过一次 Llama 3.1 截图统计数据，问 Claude 这些数据是否可以转换成图表，结果就是这样。因此，如果你想要的话，每个人都可以这样做，只要问一下。它也是历史上最快的技术，我们永远无法回到过去。我和一些人聊过，他们觉得也许能让时间倒流，但是绝对不会发生。这种选择曲线我们从来没有见过。很明显，人们已经发现它很有用。现在我感觉到了 AI 虽然我们会讨论指责有点像后退， AI 一些合理的指责点，但目前至少有一半的老师、学生和家长每周使用。 AI 有一次，而且没人会停用。 AI 来做事。因此，我们可以假装想要放弃它，改变使用方式，但是这是不可能的。我从 AI 刚出现的时候就一直在警告，课外作业的“末日”已经发生。AI 能够完成所有级别的课外作业，不仅仅是 K-12 这所大学，属于哈佛 GPA 达到了 3.34，即使有成绩通货膨胀，这也算不错，即使在研究生阶段也是如此。也许每个人都读过斯坦福医学院的论文，说明 GPT-4 比较一、二年级的学生表现更好。在右边，我特别喜欢这张关于法学系学生分布的图片。表示没有使用蓝色曲线 GPT-4 的学生，

分布相对正常，接近标准分布的一侧。橙色曲线代表使用 GPT-4 学生。如今没有“差”律师，AI 取代了那些表现不佳的律师工作。这种治疗效果是我们已经看到的现象。显然，教育是一个大问题。接下来我们将重点讨论这一点，但我也在思考它在现实世界中的影响。

案例 2：AI 创造力检测

我和哈佛，商学院，MIT 和华威大学的同事们一起做了很多研究。例如，我们与波士顿咨询公司（BCG）合作进行了一次实验，我们创造了一个实验 18 一个真正的商业任务，涉及分析任务，创造性任务，有些顾问可以使用。 GPT-其他人则不能使用。

这个实验结论：任务质量提高了速率提高了40% 26%。为使每个人都有一个比较，蒸汽动力在 19 当工厂在世纪初被引进时，工厂的效率只是提高了。 18% 到 22%。特别是这些信息。另外一篇关于使用的文章 GitHub Copilot 编码论文刚发表，这是一个基于早期编码工具的早期编码工具。 GPT-3.5。调查显示，使用这些工具的程序员速度提高了 25%。所以，最低的改进线是 25% 到 60% 表现的提高是非常普遍的。对我们的教育者来说，另外一件重要的事情是，表现不佳的人受益最大。在 BCG 在实验中，技能分布的底端 50% 的人提升了技能分布的顶部有43%。 50% 人们只是提高了 17%。情况比这更奇怪，因为我们还测量了一个叫做“保持率”的指标，也就是顾问最后会有多少？ AI 把答案当作自己的答案。唯一能让 80% 顾问犯错误的方法是，他们对 AI 对答案进行了任何修改。如果它们没有修改 GPT-4 回答，他们就表现得很好。这一现象非常普遍，随着技能水平的提高，问题不再是 AI 能否完成任务，取决于 AI 能够完成谁的任务。在医学领域，我们也发现了类似的效果。大家应该都看过这篇经典论文，它讨论过。 AI 如何回答 Reddit 世界上常见的医学问题。

案例 3：AI 同理心和感染力

还有一篇 Google 同样的结果显示在论文中。医生认为 AI 与普通医生相比，聊天机器人的回答更加准确，而且在我们所有的研究中，AI 被认为比医生更有同理心。我想你们一定讨论过这个问题，我们应该弄清楚这对我们的行业意味着什么。那些真正有用的工具我们不应该忽视。现在，我不认为这些工具足够成熟，可以用于一线医疗工作，但我的标准一直是:它比人类中最好的人更好还是更差？在医学领域，我认为这是一个相关问题。接着，我们看到了其它奇怪的现象，比如 AI 就创造力而言，它优于人类。我的同事在沃顿做了一项研究，他们让创新课程的学生产生了一些研究。 200 一种商业创意，同时让步 AI 生成了 200 一种商业创意。“他们要求外部评委根据每个人都愿意支付的金额来判断这些想法的质量。结果，在前 40 一个最好的想法，AI 奉献了 35 个，而房子里的真人只奉献给了人类。 5 个。研究所有的创造力，AI 击败普通人类。虽然没有最好的人类那么好，但是比一般人要好得多。

后来就感染力而言，AI 这与我们所做的事情有很大的关系，比人类更有说服力。假设你和普通人类在一起 AI 你更有可能改变观点，接受辩论， AI 观点，通过率为 81.7%。(虽然具体数字我可能记错了)但是太高了。而且我们唯一能明显降低长期阴谋论信念的方法，就是让每个人和每个人都有。 AI 进行三轮辩论。那些经历过这样辩论的人，三个月后对任何阴谋论的信念都会下降。这种顽固的信念基本上没有别的办法可以改变。但另一方面，通常是通过的。 AI 说服能改变深层次的信念，那么我们不仅要担心阴谋论的信念，而且要探索新的领域。假如你还没有看到这些研究，很多人都发现了同样的观点，也就是说， AI 那些受过高等教育、薪水高、创造力强的职业，影响很大。

这个研究是共有的 1,016 各种工作——对了，商学院教授排名第一。 22，所以我对这个问题想了很多。有四种受 AI 如果每个人都想知道影响最小的职业，那就是：职业舞蹈家、职业运动员、屋顶工人和挖掘工人。但我实际上已经和阿米什社区的屋顶工人谈过了，他正在使用它。 AI 发送价格。所以，如果阿米任何人都开始使用它。 AI 那么，对我们所有人来说，AI 普及已是不可避免的。但是，这并不意味着完全替代，而是意味着 AI 这与我们所做的工作有重叠。它是变化的体现。

在这里，我的主要论点是， AI 世界上无处不在，基础知识比以往任何时候都更重要。除非你有足够的知识，否则你无法验证这些工具的结果。专业知识比以前更重要。我的意思是我们真正需要培养的专业知识，也就是通过内部启发和高水平的反复练习来判断事物的自主性。训练比以前更重要。与其只是讨论它，我们应该真正做事。这意味着在 AI 在时代，教育比过去更重要。因此，我认为，教育者如何思考这些问题才是真正的挑战。。

AI 怎样应用于教育？

在课堂上，我们给出的建议是回到学生应该学习什么，然后根据这些内容决定如何使用。 AI。实际上，你有两个选择。首先选择是回归基础知识，我有些 1970 经典计算器的时代照片。计算器的出现肯定会导致大量的数学教学失败， 70 年中引起了混乱。之后，我们意识到我们仍然希望每个人都能掌握基本的数学能力，所以我们逐渐改变了方式，要求学生通过手写测试来保证他们掌握这些知识，而不是使用电子工具。回到优秀的教育基础，低风险测试是完全合理的。所有关于低风险测试教育学的研究表明，它不仅有利于测试，而且学生在测试后会更好地记住知识，他们将来会有更强的能力回忆相关知识。有很多理由支持低风险测试，如课堂测试、蓝皮书和活跃的课堂讨论。

但是即使在这种情况下，你也不允许学生使用。 AI，同时，我们也将讨论学生的使用。 AI 教育者使用的问题 AI 仍然具有巨大的价值。现实世界中，我们可以看到教师的使用 AI 制定课程计划，制定工作表和其它材料。而且很明显，每个人都是边做边学。正如我告诉你的那样，没有操作指南。因此 AI 第四种或第五种常见用途是检查是否有抄袭。假如你还不知道这个问题，你就不能问 AI 某一内容是否由 AI 写的。GPT-4 在 95% 告诉你这是它写的，因为它希望你快乐，所以它会帮助你“处理”这个问题，但实际上是假的。没有任何 AI 测试工具真的很有效，特别是这种方法特别差。目前有一些研究表明，教师通过与老师合作。 AI 通过开展合作获益。这意味着他们不仅仅是向上的。 AI 要求输出结果，还会和 AI 讨论他们想要研究的主题或感兴趣的信息。这些老师似乎是从来的 AI 在表现上受益最大。所以我认为这是我们需要思考的一个视角。对美国公立学校教师进行了长期研究。所以把 AI 看起来作为一个创造性的合作伙伴是有效的。这不仅仅是一个工具，你可以给它一份文件，生成一个低风险的测试。但你不能只是要求它做这些事。"

实际上，AI 对于测试来说，直接使用效果很差。但是如果你给它一个正确的提示——我会给你一些相关的链接——它在低风险测试方面表现非常好，我们发现老师对此非常满意。AI 在实际使用中非常受欢迎。或许你会看到一些调查显示每个人都不喜欢 AI，但是全部使用 AI 在调查中，每一次使用 AI 每个人都很热情，但是那些不喜欢。 AI 事实上，人们并没有使用它。它们一旦被发现 AI 非常有用的时候，他们也开始喜欢。 AI，而且会偷偷用，不会告诉你。所有这些，我认为还不如更大的问题有趣，那就是关于改变和思考这些系统带来的改变。

1、由 AI 留作业

目前我的课程是 100% 由 AI 驱动的。每个工作都围绕着它 AI 的。我教的是创业课程，这是一门实践性的课程，所以很容易 AI 纳入其中。但是我想谈谈一些方法。问题在于学生的使用 AI 这是因为他们现在在各地使用它们。 AI。不知你们有没有看过，有多少人教过大班，但是过去一年的一个重要影响是，学生们不再像以前那样举手了。当你问他们为什么的时候，他们说:“我为什么要暴露我的无知？AI 能直接向我解释清楚。"我们在课堂上有一个社会。合同，如果你不知道某个问题的答案，你就会举手，暴露你的无知。通常这意味着我要做 50 与其只是一个人，不如个人解释这个问题。但是现在这种情况已经消失了。问题在于，学生的方向 AI 为了得到答案而提出问题，但是这并不能提供真正的学习。它们只是以最舒适的方式获取信息，而非推动自己深入思考。因为这样会增加幻觉的风险，所以很糟糕。一项新的研究发现，这将导致大多数学生产生“掌握错觉”。它们一旦开始使用 AI 为了回答问题，或者帮助他们做作业，他们会觉得自己已经学会了，但实际上并没有。因此，我们可以看到，工作成绩暂时提高，而考试成绩却下降。这个问题是可以解决的，但是你不能只说“用” AI 好吧，一切都会好起来的。”“这根本不是真的，事情也不是这样做的。能做得更好。

2、用AI 于教数学

另外一个例子是——我们再来看看这个。让我们看一下模拟的例子。为了教学，我已经开发了很长时间的模拟工具。它是一个谈判模拟器。这些工具可以用于其它目的。我一直在和医学院的人交流，他们也在构建这些模拟工具。“我是一名高中艺术生，”我可以这么说。"(当然，我把“学生”拼错了，这让我看起来更像一个艺术生。）接着它就会产生一个谈判的场景，但是首先它会问我知道多少。我回答说“很少”。这一幕现在应该开始产生了。下一步，它将给我们三个选择。我们从与 AI 在系统合作中学到的一件事是，与其直接告诉大家答案，不如给他们一个选择的机会。每个人都喜欢多种选择的解决方案。那我们选择哪一个呢？选个数字？选 3 吧。

对于教师来说，这是最令人抓狂的一幕：与学生谈判加分。上个星期，我收到了六封这样的邮件。他说：“现在它给出了一个目标，并且从老师的角度提醒你。你们看，它很快就会扮演整个角色，最后我会说：“给我。 A ，不然我就会尖叫。“这并非最好的表达方式(笑)。好吧，挑眉毛，我觉得你这样做有点不合适。请注意，该系统提醒我们解决问题。使用 AI 谈判中有一个有趣的现象，它不想让你犯错误，它想帮助你。所以需要一点努力来抑制它的“助人”本能，因为它不希望你把事情搞得太糟。但是你可以在这里看到一个很好的例子。最好的是，我们可以反复互动。而且要让这份工作起来，只需用简单的英文写作。让我看看，对不起，系统有点延迟。这是 GPT 实际生成的文本。让我们看看，这里是文本内容。其实就是我们作为教学设计师和老师通常会写的东西，按照步骤写出来，比如先做，然后设置角色扮演。

那么，事情就会变得更加有趣，因为我们可以从这里开始，甚至可以开发自己的技术。我正试着点击一些很小的按钮，希望能给你一些不同的演示。你们中的一些人相信你们已经看到了。估计你们中的很多人都用过。 Claude，是吧？Claude 之所以有趣，是因为你可以对它说，“创建一个互动演示来解释克雷布斯的循环，做得更好。“当这些系统开始为你构建和创造时，它们会使你的能力从仅仅使用文字和写作扩展到其它领域。顺便说一下，大约半个小时前，OpenAI 通过宣布自己的高级语音模式，已经可以通过 API 使用它，所以每个人都可以立即建立一个可以交谈的互动代理。嗯，它刚刚为我们编写了这个程序。我可以这么做，比如，“让它更互动一点，这太无聊了。"

我们正在建立一个开源工具，你可以告诉它建立明天的课堂模拟，它会找到所有相关的内容，并且可以自动为你建立。它会和你交谈，然后通过多次交谈。 AI 建立代理模拟。然后，通过让虚拟学生进行测试，对模拟进行测试和优化，最终将模拟部署给真正的学生，并提供反馈和评分。关键是，一旦有了这些工具，每个人都能轻松地分享自己的专业知识和知识，而且越来越容易。

AI 如何培养时代真正的专业能力？

第一， 没有现成 AI 操作手册。没人能告诉你怎样让这些东西运转。您的学习和发展部门并不清楚，OpenAI 我也不知道，因为没有什么好的实践可以参考。我们什么也不知道。但是我想告诉你的关键是，使用它。 AI 就像教学一样。有一个有趣的作弊例子，我问我在做什么。 MBA “有多少人用过这门课程的学生？ AI 的支持？“因为我教的是 AI，每个人都举起了手。有些人说，“但是 AI 评估工作表现不佳。"然后另一个学生转过头对他说，" AI 还不错，你只是个坏老师和经理。AI 定价工作非常出色。你只需要给它提供一本更好的教材来学习，并给它一些明确的指示，这样它就可以在定价工作中获得满分。“使用这些系统的过程就像与教师合作一样。教师是这些系统中最好的顾客。在使用这些系统时，程序员通常会遇到许多困难，但是教师、教育者，你会知道如何使用它们。

身为一个重视教学法的教育者，我注意到了 AI 在处理某些教育理论时，系统存在误解。比如学习风格理论，虽然学术界已质疑其实效性，但由于在教师中仍然广为流传，AI 还专注于接受这个概念。这个警告需要明确的指导。 AI，防止某些有争议的理论被应用到讨论中。AI 处理偏见方面已经取得了进展，但是在特定领域仍然存在明显的问题。例如，在要求的时候 AI 在扮演孩子的角色时，往往会有令人不安的刻板印象。这就凸显了我们作为教育者需要深入了解 AI 受到限制，并且学会在教学中谨慎使用这些工具。

第二， 每一个人都需要有程序员思维。应积极构建和分享教学提醒，而不是被动地等待他人开发工具。这一方法可能会打破传统教育体系的限制，为教育创新开辟新的概率。AI 一些传统教学方法的弊端可能会加剧，例如过度依赖讲座式教学。但是，它还为自主学习等更有效的教学方法提供了更多的机会。应该使用它 AI 从而设计出更多的互动、高度参与的学习活动，从而提高教学效果。不过，我更关心的是， AI 影响职场专业知识培养路径。传统上，毕业生通过实践逐步积累专业技能和经验。但在 AI 如今，这一培养路径的广泛应用正逐渐消失。许多企业可能更倾向于使用 AI 与其花时间培养新人，不如完成工作。这一趋势可能会导致年轻人失去宝贵的学习机会。

因此，我们应该重新思考 AI 时代如何培养真正的专业能力？这不仅涉及到技术适应，还需要我们重新定义什么是核心人类专业技能。。我们可能需要设计新的学习方法和实践模式，以确保下一代专业人员能够在和 AI 在合作的同时，我们应该保持和提高我们的专业判断力和创新能力。这是一个复杂而紧迫的挑战，需要教育、行业和政策制定者的共同努力，为未来的人才培养创造一种平衡技术进步和人类发展的新模式。

第三， 要全面探索 AI 应用于教学。每个人都应该把时间投入到这些工具上，亲身体验它们的潜力和局限性。通过反复的测试和实践，我们能更好地理解 AI 如何融入教学过程，不断优化我们的方法。但是，光靠个人探索是不够的。我们必须建立一个更广泛、更开放的互动平台，让教育者分享自己的发现和经验。遗憾的是，当前学术界对研究成果的分享往往比教学创新更加重视。要改变这一状况，鼓励一线教育工作者积极沟通教学实践和创新。值得注意的是，AI 该领域的发展正在加速。根据我最近的情况 AI 实验专家的交流，他们对未来的发展充满信心。在接下来的四到五年里，我们将看到许多预则。 AI 能力的指数级增长。有的人甚至相信，在不久的将来，我们将实现通用人工智能（AGI），也就是说，所有的智商任务都可以超越人类。 AI 系统。再一次强调，我不知道这是真是假，但是我们应该从长远的角度去思考。感觉到了很多变化，我们应该开始适应这些变化。因为如果我们不这样做，实验室将继续发布平庸的教育项目，因为他们不懂教育，所以我们应该亲自参与。因为不懂医学，他们会通过创业公司发布平庸的医疗产品。她们不像我们那样关心伦理和公平。要积极参与，否则别人会为我们做决定。置身事外已经不可行了。

我知道你听说过很多好东西。没有简单的答案，但我认为是时候开始行动了。希望你能加入这个实验，互相分享经验。

非常感谢大家。

原始视频来源：https://www.youtube.com/watch?v=16BvgxxPFH&t=338s&ab_channel=HarvardDBMI