刚刚开始AI,职场人就踩上了幻觉坑?

"你查过这个数据吗?"
没有,是AI写的,看起来没问题。
在截止日期的编辑周子衡看来,那段话“逻辑流畅,语气专业,甚至百分比都标得恰到好处”,结果却是凭空捏造的;电商客服王萌团队,因为AI生成了“模板演讲”,误发了不适用的退货规则。客户抱怨截图,平台只能赔钱;专业讲师蔡倩第一次用AI起草课件,在直播间被学生问及。才知道那组“情感价值”数据,AI“编得像真的”;而且一个产品经理更早意识到问题,自己做AI产品,但是他制定了团队使用标准:AI产生的段落不能直接决定任何事情。
那不是一个“AI作恶”的故事。这是一组关于AI幻觉的职场众生相。
豆包,文心一言,DeepSeek、元宝...这些国产AI工具正在大规模进入职场内容流。我们认为它们是工具。事实上,它们更像是一种“说得太像真语气”,这使得每个用户都可能在不经意间表现出判断。
没有绝对安全的人在这个由幻觉组成的认可测试中。
有的人把AI当成思路传播,有的人开始给AI的每一句话贴标签;如果有人被它坑过一次,他们就再也不会让它写结论了;直到有人全权托付,他们才意识到AI不会为你背黑锅,幻觉也不会红。
坤舆论商业观察记录了几个用AI写东西的人。他们不是专家,不是极客,而是像你我一样,在每个普通工作日按下“复制”、“粘贴”和“完成稿件”的人。
当他们遇到AI时,他们也开始重新理解什么是“自我负责”。
01·“那段引用是AI编的,我没有检查”|新媒体编辑
周子衡是互联网科技内容平台的编辑。日常生活就是不断写作、修改稿件、配图、校对。节奏快,压力大,最怕出错,最怕拖稿。
一年前,他开始习惯性地用豆包帮助自己“加速”。
有一次,他在赶一篇关于消费电子的行业稿,提到“市场份额的变化趋势”需要在一半的时间内补上。他输入指令,让AI帮他写一个关于“2024年中国智能手机市场结构变化”的分析段。
AI很快给出了一个数据看似清晰的内容——其中写道:“根据2024年第三季度某研究机构的数据,一个国内品牌以18.6%的市场份额排名第一,同比增长3.2。%。”
这句话似乎没有问题。数据准确、语气专业、语法丝滑、“同比增长”等细节增强了感染力。他没有多想,直接复制到了手稿里。
直到第二天主编审稿时,只留下一句评论:“谁查了这个数据?什么是报告名?”
周子衡当场愣住了,开始寻找原来的来源。因此,在所有主流机构中(Canalys、Counterpoint、IDC)这组数字在官网上找不到。报告标题也没有这篇文章。
那个AI产生的内容——完全是编辑的。
他回忆道:“最可怕的不是胡说八道,而是它说得像真的。”
之后,他再次尝试了同样的问题,发现AI每次写的数据段都不一样,报告名称、数值、变化幅度都不一致。幻觉不是偶然的,而是正常的。
他告诉自己,以后一定要“验证”,但很多时候,面对高韧性稿件的节奏和碎片化补写的需求,他也承认“有时候真的没有时间管理”。
现在,他不再使用AI生成带有数据的段落。结构、语言和框架也可以帮助AI,但只要关键词“报告”、“数字”和“来源”出现,他就会直接跳过。“那句话看起来是对的,但大多数时候你找不到来源”。
一张贴在工作站上的便利贴上写着八个字:“AI写得快,错误更快”。
02·“AI说支持退货,顾客让我们赔钱”|电商客服
王萌是一家电商平台的客服主管,负责一个十几人的小团队。去年,公司开始引入一套基于国内大型AI演讲辅助系统的标准回复,可以一键生成售后场景,如物流延迟解释、退款规则说明、签约流程提醒等。
起初,效果非常好。
在高峰期,该系统为客户服务节省了近30%的打字时间。客户服务只需输入问题关键字,就可以快速调用模板回复,然后手动进行个性化调整,效率要高得多。
一直到春节前的一场售后纠纷。
一位客户申请退货,原本被拒绝,因为商品属于“限时秒杀,卖不退”的范畴。但十分钟后,客户在平台上发了一张截图,显示客服回复中明确写道:
"按照平台规则,您可以在签收后七天内享有无理由退货的权利."
这个句子不是手工制作的,而是AI生成可以自动插入的。当时客服操作匆忙,直接发回复,没有修改。
问题在于,商品页面上明确标注“不支持无理由退货”。
因此,客户投诉平台“误导性承诺”,要求退款。最后,公司决定对客户进行一次性赔偿,并在内部通知此事。回顾王萌的聊天记录,确认这句话确实是系统生成的模板内容。
王萌说:“它没有说错平台规则,但是它不知道它们的产品不合适。
之后,公司立即调整了AI功能权限,关闭了“自动插入回复”选项,只保留了“人工确认后发送”的机制。她还做了一轮新的培训,要求座位团队重新学习不同类别的售后条款。
她说:“AI并不真正理解规则,它只是预测我们会怎么说。但是客户服务无法通过预测来应对例外。
03·“我第一次用AI做课件,它给我编了一个概念”|培训师
蔡倩是一名职业培训师,从事职场技能课程,有时是平台直播,有时是公司内部培训。她讲了很多关于“如何做品牌定位”和“新媒体营销路径”的话题,节奏紧张,信息量大,对内容更新要求高。
去年,她第一次接触到AI写作工具,正在准备一个在线课程。
在那节课上,她说“品牌情感价值”,她认为AI可以帮助她节省一些时间去寻找例子。她让AI生成了一个开场段落,希望它能提供一组“当代年轻人的情感消费偏好”的数据,引入情感价值的核心概念。
AI反应几乎是完美的——几秒钟后,她写了一段逻辑流畅、语气严谨的段落,引用了一组“超过60%的年轻人喜欢有情感表达的品牌”,并提到了“最新研究”。
看完之后,她毫不怀疑,语气“太像PPT了”,一段直接贴在第一页。
直播当天,她刚刚完成开场部分,一名学生在评论区留言:“老师,这个研究是从哪里来的?我们公司想参考一下。”
她下意识地惊呆了,试图回忆起自己来自哪里,但她不记得了。下课后,她查了几个公共数据平台,找不到类似的数据和数字。她终于明白,“引用”其实是AI凭空拼接的错觉。
她说:“这写得太像真的了。”“我第一次用它,就中了招。”
从那以后,她制定了一个规则:只允许AI提供结构建议,而不是接受它写的“事实”。她必须手动检查数字、百分比和时间节点的所有区域两次。
“它最大的问题是它太能模仿‘专业演讲’了。我们模仿得越多,就越容易放弃判断。”她说:“但是我要对课堂上的每一句话负责,所以我不需要。”
04·“我是做AI的,但是我从来不让它决定”|AI产品经理
高哲所在的公司,是一家To公司 AI创业团队B智能应用。与普通用户相比,他负责产品设计,与各种国产大型模型打交道的时间要早上两年。
几乎每天都在使用AI。
需求文档、竞争产品分析、PRD文稿、用户故事地图、市场调研报告...他为自己设定了一套“效率模板”:利用AI制定结构,快速分类观点,统一术语措辞,节省前60%的精神负担。剩下的40%,然后自己修改和打磨。
他说:“不是我相信它,而是我太熟悉它了。
来自一次“内部演示事故”,他对AI幻觉的警惕。
那天,他用文心写了一篇关于行业发展前景的解释,希望在会上展示“AI在市场分析方面的辅助能力”。模型写得很流畅,包括年份、增速百分比、行业预测,甚至引用了看似具体的“研究方向”。
结果演示前10分钟,他临时决定复习一次,发现“预测”中引用的年份是错误的,“下降2.7%”的描述找不到任何来源。整段拼得太顺利,让人忽略了检查的步骤。
“我当时就意识到,不是因为写得不好,而是因为写得太像了。”高哲说:“它会产生‘演讲级别的信心’,但你不知道它是否在胡说八道。”
之后,他为自己的团队建立了一套机制:
AI产生的内容必须标明来源;任何没有来源的部分都必须经过人工验证;AI不能直接定稿涉及客户交付或关键判断的内容,需要两人以上确定。
他还在文档合作平台上制定了“AI片段提示”功能:系统通过AI生成的所有段落自动添加“AI生成内容”亮点标签,方便团队合作时特别注意看到什么。
他说:“AI不是作家,它是个脑暴助手。”“你不能让它帮你做决定,只能让它帮你扩散。”
AI只负责生成概率,人们负责选择合理性,这是他的默认逻辑。
现在他让团队中的年轻产品经理尽可能多地使用AI——不是因为他们相信它更准确,而是因为他们在工作中更早地意识到:“你最终会对AI的每一个建议负责。”
05·“AI为什么要编辑?由于它根本不知道真伪”|幻觉原理分析
在语言模型的世界里,没有“真伪”,只有“概率”。
AI幻觉,这个术语听起来像是技术世界的诗意表达,但本质非常具体——它指的是大模型产生的内容,语法正确,逻辑流畅,但与事实不符。比如不存在的报告,编造的数据,拼接的结论。
AI并非“错误”,而是AI完成任务的方式本来就不依赖事实。
大多数人认为AI就像一个搜索引擎,可以“搜索”正确答案。其实更像是一个“非常自信的语言预测器”——你给它一个开头,它根据庞大的语言训练数据“猜测”下一个词最有可能是什么,拼出一个“看起来合理”的词。
其训练目标,从不是“说实话”,而是“说得像人”。
正是因为如此,它写的段落通常句型流畅,术语专业,逻辑流畅,甚至模仿“权威”引用的方式。对于用户来说,这些特征“降低了警惕”。
它不会说谎,它只是编得太像真了。
特别是在中文场景中,这种幻觉更容易放大。
互联网行业评论家彭德宇告诉坤舆商业观察:一方面,汉语表达具有高度的抽象性和结构弹性:一个概念可以不定义,一个数字可以不标记来源,一个观点可以没有主题。在生成内容时,模型更容易用“语言惯性”来组织句子,而不自觉地绕过事实进行验证。另一方面,中文开源语料中充斥着大量的二手信息、模板文章、商业软文和平台内容,没有标注来源。这些内容在AI培训中没有“事实权重”的区别——它们会把“说得更好”当成人类学习语言中的“对”。
这种幻觉并非个别事件,而是一种结构性风险。
这种情况最常见于以下几种情况:
•引用内容:编造机构名称,白皮书,调查报告;
•列出数据时:拼接不相关的数字,甚至创建自己的比例;
•提及政策/法规时:使用落伍信息或伪造条款;
•得出结论时:将常见的逻辑链拼接起来,但不会有事实基础;
而且这些内容正是很多职场人最依赖AI的地方。
科大讯飞董事长刘庆峰曾表示,生成型人工智能存在幻觉,特别是深层推理模型的逻辑自洽性提高,使得AI生成的内容难以辨别。
360集团创始人周鸿祎也在两会期间告诉媒体,虽然AI幻觉有利于文艺创作,但在AI安全方面,幻觉可能会带来严重的问题。比如在医疗、法律、金融等专业领域,一旦随意编造大模型,就会带来严重的后果。
坤舆的商业观察也认为:“我们太容易把AI写的东西当成出处和可靠的内容。其实它只是比你写‘似乎有出处’的句子。”幻觉是生成式AI写作不可避免的副产物。就像你教宝宝说话,却不告诉他什么是真的,他只会模仿大人说的“重现世界”,却不理解这个世界。
06·“它没有说谎,但是我们必须学会布防”|应对平台和用户的机制
面对AI幻觉,没有人能够完全幸免。但是越来越多的AI用户正在学习“布防”。
彭德宇认为,面对频繁的幻觉,不仅仅是用户在承担后果。越来越多的厂商开始意识到,让AI“看起来像”并不意味着“说得对”。没有厂商敢说“我们解决了幻觉”,但至少他们开始正视它——开始标记、阻止和约束,试图用一层一层的提示、审批线和知识库来包裹这个问题,防止它轻易流向公众。
“这只是幻觉的根本问题,至今仍悬而未决。模型的底层逻辑仍然在预测单词和句子,而不是判断事实。AI还是不会轻易告诉你:“我其实是编这句话的。”但毕竟平台能做的有限。幻觉不是“个别错误”,而是AI生成机制的一部分。彻底消除它是不现实的,就像要求人类写作永远不会出错一样。”彭德宇提到。
由于这个原因,越来越多的企业开始将“AI使用规则”纳入日常管理体系:
•在面对“AI协助生成内容”时,内容平台要求员工多次校对;
•在使用AI工具编写合同时,品牌所有者应建立“二次审批”机制;
•教育学院提示讲师:“只用AI写句型,不用它写结论”;
这些变化背后的共识是:
人工智能的幻觉是可控的,但是责任必须明确。
AI不会为你做决定,也不会为一个错误的引用道歉。它的工作是生成的,判断仍然属于人。
AI进入职场的速度太快了,很多人还没来得及建立界限。幻觉只是告诉我们,任何新工具的使用,在理解了它的局限性之后,都是真正有意义的。
07·“真正的智慧,就是在幻觉中保留判断力”|末尾
AI幻觉并非一种技术缺陷,它是我们必须共同面对的时代“共病”。
它不属于某个人,也不属于某个平台。它隐藏在无数逻辑流畅、语气专业的内容背后,在我们不想验证、来不及判断、急于工作的时候悄然落地。
你用它来补充文案,我用它来改变合同。他用它来写剧本——AI就像一种气体,渗透到每一个内容的缝隙中。它让我们变得更快,也让我们变得太快,忘记验证,忽略来源,放弃怀疑。
在坤舆商业观察访谈的几位受访者中,没有一位说过“我再也不用AI了”。
他们仍然在使用,甚至更多地使用它。但是他们变得谨慎了——有些人只用它来写结构,有些人只让它提供措辞,有些人干脆设置“标签”来警告自己:这句话不一定是真的。
也许这就是我们真正进入AI时代的标志:并非AI取代了谁,而是每一个使用它的人,都必须重新学习“判断”这个问题本身。
技术没有对错,它只专注于“像人类”。但人类之所以不同,不是因为他们会说话,而是因为他们愿意停下来分辨一句话是否可靠。
真正的智慧,不是让AI为你着想,而是你知道它何时不应该被信任。
(根据要求,上述受访者均为化名)
本文来自微信微信官方账号“坤舆商业观察”,作者:高见,36氪经授权发布。
本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。
免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com




