放弃幻想，ChatBI实际上和你想的不一样。

想要推出一个ChatBI，需要注意哪些问题？

ChatBI是今年比较热门的一个话题，它和企业知识库问答一样，是ToB领域极少数有望以相对较低的成本落地LLM应用的企业；很多企业对此进行了一些探索，更多的企业认为这项技术还不成熟， 仍处于观望状态。

看到朋友圈里有人说，估计90%的ChatBI项目都会失败——的确如此，没有任何相关的配套工作。

对于下面的问题，相信很多正在探索ChatBI的朋友也会感到困惑：

选哪一种技术路线？

适用于哪些顾客？

要成功落地，需要做哪些准备？

帆软FineChatBI团队经过20多个项目的陪跑和100多个客户的深入交流，积累了大量ChatBI的实践经验，获得了大量的反直觉认知。在这里分享一些，希望能帮你少走弯路。

选择技术路线

第一个观点是：LLM写SQL不可靠。

LLM写SQL确实不可靠，体现在三个方面：精确度、性能和可信度。

1、精度

帆软判断，对于业务用户来说，即使还有容忍度，平均精度也要达到75%~80%，才能保证不被抛弃。

LLM幻觉是一个已知的问题，在一定程度上是可以容忍的，但是如果应用于数据，就会被严重放大；在客户眼里，对非结构化数据的结果不满意，所以我再问一遍，结构化数据的答案不能错。

当LLM写SQL的时候，哪里会有幻觉？帆软和一些客户尝试过LLM写SQL。目前已经发现并判断难以解决的区域，如时间理解错误、排序逻辑错误、子查询错误、误解表关联等。；

FineChatBI的选择是用LLM将用户的问题转换成结构清晰的查询语言(表达清晰的句子甚至不需要转换)，用OLAP分析操作指令集调用FineBI作为一个成熟的底座，通过模拟人工拖拽的方式直接绘制图片，使图表与转换后清晰的问题意图直接一致，大大提高了精度。

2、性能

如今一款以SQL为主的产品，回到一个问题可以达到6s已经很出色了，有些Text2SQL产品的回归时间甚至可以达到12s甚至15s以上。等待10s的问题，这个性能，客户真的可以接受吗？

帆软认为，一个用户能够接受的最长问题必须保持在3S以内，否则感觉太差，用户也不会坚持使用；

影响LLM写SQL特性的变量包括：LLM模型尺寸、是否本地化部署、硬件资源投入如何、SQL语句复杂性等；

如上所述，FineChatBI并没有选择让LLM写SQL，而是通过一个超小的语义分析模型来处理清晰的语义，LLM可以解决模糊的语义问题，使清晰的语义回到平均值可以达到0.2。s，模糊的语义平均值可以达到2s。

3、可信性

在ChatBI的应用中，难免会有错误的答案。如何才能找出结果是对是错？如果答案是错的，怎么才能快速修复？只有处理好这两个问题，才能说明一个ChatBI产品是可信的。

Text2SQL路线通常会给用户一系列的SQL句子，这种想法一开始得到了很多IT的认可，因为直觉表明这样可以看到答案，而且很容易调整；实际上，这并不是一个以客户为导向的设计：业务客户能理解SQL吗？她们想看SQL吗？另一方面，帆软发现SQL调试的难度与SQL句子的复杂性正相关，然后考虑多表相关的查询。如果在测试过程中没有探索到它的边界，在实际应用中，调查和修复错误问题的考验会很大。

FineChatBI为客户提供了一个清晰可读的图表生成规则。同时，用户可以调整维度、指标、枚举值、分组条件等。，并根据自己的想法二次选择生成新的相关图表；此外，结合强大的FineBI底座，通过FineBI原生支持的快速计算，可以轻松实现一些SQL难以支持的问题。

怎样落地ChatBI？

帆软的第二个观点是：ChatBI不能开箱即用。

ChatBI项目要想成功落地，需要有其天时地利：

天气，就是要在企业内找到真实的情景，业务真的有需求；

地理位置，就是要落地队有成熟的数据和知识的底层准备；

人与人之间，就是要有配套的组织推动力，能够链接到业务调查到实际需要，有明确的责任人可以克服困难，向前推进。

1、真情景

2024年的FineChatBI就像是一种需要在上市前进行临床试验的创新药物，在与客户同创的过程中，帆软遇到的最大挑战就是，有些客户没有找到自己的痛点，硬套ChatBI作为解决方案，最后发现没有效果。

最好是多和商业团队交谈，了解他们每天取数的情况是什么，遇到了什么痛苦，然后对症下药去做。

当然，如果客观上有困难，我们必须首先尝试开发demo基于完善的数据给用户带来的积极分子，并通过这个过程找到场景。但是通过率恐怕会很低，需要一定的心理准备。

那ChatBI的用户到底是谁？

就用户数量、使用频率、使用场景而言，帆软各自来看，适合使用ChatBI的用户群：

2、底层准备

1）数据侧

重要的事情说三遍：LLM不擅长数据处理！LLM不擅长数据处理！LLM不擅长数据处理！

从柔和的判断来看，50%的数据消费应用受到了数据底层准备的影响。ChatBI对数据的要求高于BI，一般体现在防止字段名称歧义、数据不冗余、字段类型正确等方面。

准备好宽表，或者简单地组合指标管理平台，否则你会非常痛苦。

2）知识侧

知识设备是不可避免的，它不能通过给LLM丢失一些语料来解决；

就像梁山所有英雄都叫宋江“哥哥”(语料)一样，不管LLM有多先进，都不可能知道宋江是及时雨(黑话)。既然黑话需要准备映射表，为什么不直接准备呢？相反，他们想尽办法训练LLM？

知识配置在帆软实践中分为两类，一类是同义词，另一类是公司独有的一些其它知识，如重点城市=成都 贵阳市 华北地区=山东 山西 河南 河北；

在FineChatBI中，同义词只需要配置公司所需的独特知识，估计AI是猜不到的，不需要配备相似的语义或类似的字段:

对类似的语义，如字段名为销售额，询问业绩，这一点可以通过LLM猜测；

对类似的字段，如名为娃哈哈100ml矿泉水的字段，询问娃哈哈矿泉水，这是通过算法可以匹配的。

3、组织推动力

第三种观点是：ChatBI不适合先给领导用。

帆软认为，为了ChatBI项目的成功，企业内部至少需要三个角色。这三个角色可能是两个或三个以上，分别是领导、产品经理和IT。

1)产品经理：核心角色，承担项目整体成败的KPI、整体节奏规划、用户群确定、需求收集与识别、内部推广、拓展运营等；

ChatBI的推出是一个循序渐进的过程，由产品经理主导，大致执行以下流程：

①项目组建->职责拉通->需求调查->需求评估->

②选择目标业务领域1->数据准备->知识设备->权限配置->内部测试->试点运行->后台分析->用户回访->用户培训->系统在线->错题修复->结果报告->

③选择目标业务域2........

从上面的环节中，相信你不难看出，在项目开始的时候，产品经理没有一定的经验，在这个项目没有得到领导的信任和理解的时候，可以确定收集和管理领导的需求是非常困难的。

所以ChatBI一开始并不适合大领导，也不建议大规模并行推广。相反，它应该线性推广，不断完成、巩固和扩展。

2）领导：决定投资决策，确保产品经理获得必要的业务支持，参加项目启动仪式，明确项目范围、项目成功标准、时间节奏等。现场；

3）IT：数据准备，数据底层设计，IT设备。

此外，还有两个角色将发挥非常重要的作用：

①业务代表，代表业务团队为产品经理输入需求，说明困扰；

②ITBP在业务团队中的作用可以帮助IT进行知识配置、数据维护和权限配置，否则IT很难单方面完全获得业务团队中的知识和权限配置要求。

对于第一个完整的业务闭环，经过一年的打磨，帆软推出了“情景陪跑服务”，帮助客户运用第一个场景。

想要正式上线一个ChatBI，还有什么需要注意的？

ChatBI的落地通过率在预测情况、底层准备、组织推动力三个条件的前提下非常高。如果你想在这个时候正式上线，你肯定会关注安全性、计算率成本和持续运营投资。

1、安全性：

是否具备企业级权限管理能力，LLM是否支持本地化部署。

2、算率成本：

理论上，LLM的尺寸越大，效果越好，但尺寸越大，硬件资源成本越高。FineChatBI基于超小开源采用 LLM FineLLM完成多任务精调，对资源成本的要求非常低。

3、持续经营投资：

在这种效果背后，我们常常感觉到模型日新月异的能力效果，而忽略了迭代频率。

同样，我们也经常关注一个ChatBI产品的精度，却忽略了这个精度背后的定义和条件。是一个人使用的精度，是10个维度指标下随机搭配的精度，还是仅两天上线的平均精度？

当用户数量扩大时，当数据范围扩大时，当时间线延长时，对精度的影响是立竿见影的，这背后的迭代频率也很快；

在企业内部，ChatBI的受众必须逐渐增加。因此，团队是否考虑过独立的资源来承担这些运营优化工作，是否有方法论指导如何优化，产品是否有相关功能支撑范围扩大后，需要重点考虑运营是否提高问答效果。

最后：去除LLM的魅力

首先，ChatBI是一种严肃的企业应用，其次是AI，；而且LLM，它包含在AI中，而非等于AI。

企业应用的核心目的是帮助客户安全、稳定、低成本地处理业务问题，创造财富，无论是否有AI，无论使用什么技术。

在设计过程中，FineChatBI考虑了稳定性、性能、客户成本等诸多因素来选择实现方法，对LLM的应用始终持谨慎乐观的态度；

有一些能力，比如模糊搜索，LLM可以做，也可以实现成熟的算法。帆软能提供的方案是训练LLM所有的枚举值，客户可以增加自己的模型尺寸。但是如果用算法实现，客户的成本会不会更低，所以帆软的方案不一定是LLM实现的；

有一些配置工作，比如知识配置，交给LLM落地。客户的综合成本是人工配置的几十倍，效果不稳定。所以不建议客户交给LLM解决问题；

例如许多能力，LLM本来就不擅长，比如预测，离群识别等等，都是靠其它更适合的AI能力来实现的；

而且AI以外的功能，比如可视化，更不是LLM所擅长的。

商业化的ChatBI是对厂商态度、R&D投资和能力的极大考验。做这件事是为了炫耀自己的技能，还是为了落地？背后的难度和投资不是一个数量级的；

本文主要讲述了【快速问数】作为今年ChatBI第一阶段的落地经验。事实上，ChatBI不仅仅是检查数字，它希望帮助许多没有专业分析背景的业务客户独立完成一些个性化的分析工作，如思维拆解、异常检测、归因分析、趋势预测、报告生成等。

这是一个很大的挑战，但是走在正确的道路上，ChatBI帮助100%的业务客户使用好数据，最后一天就可以实现。

本文来自微信微信官方账号“甲子光年”，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com