AI治理 · 风险管理 · 人工确认

AI 可以建议,但钱、货和承诺必须由人签字

AI 可以生成建议,但涉及资金、货物、信用和对外承诺的决定,必须由有责任的人确认并留下记录。

AI 真正进入经营以后,老板最该担心的,不是它偶尔把一句话写得不好看。

真正的风险是:

  • 它把一个错误数量写进订单;
  • 它根据不完整数据建议给客户放账;
  • 它把内部活动方案当成已经批准的政策;
  • 它替业务员向客户承诺赠品和交期;
  • 它读取了不该上传的客户、价格和应收数据;
  • 出事后,没有人说得清建议从哪里来、谁确认过。

所以,“重要事情由人确认”不能只写在文章最后当一句提醒。

它必须变成公司的工作规则:什么是重要事情,达到什么条件必须停下来,由谁看,依据什么看,确认后留下什么记录。

这篇文章要讲透一个经营边界:AI 可以整理、计算、筛选和建议;凡是直接改变钱、货、客户承诺和员工权益的动作,最后一关必须由有权限的人确认。

一、为什么 AI 越能干,人工确认越不能含糊

过去,AI 只帮员工写一段文案,错误通常容易发现。现在它开始读表、做分析、给建议,输出越来越像“可以直接执行的答案”。

这会带来三个错觉。

错觉一:写得肯定,就代表依据充分

AI 很可能用非常确定的语气表达一个基于残缺数据的判断。它说“建议补货 20 箱”,不代表它真的看到了门店现货、仓库可用量、竞品活动和客户意愿。

错觉二:算得精确,就代表口径正确

表格里出现 12.7%、43.6 天,看起来很专业。但如果销售和退货时间范围不一致,或应收表漏了回款,精确的小数只是把错误包装得更像事实。

错觉三:能自动执行,就应该自动执行

技术上能把 AI 接到订单、消息和审批系统,不等于业务上应该让它直接动作。自动化只会放大已经设计清楚的规则,也会放大没设计清楚的错误。

风险管理不是为了阻止使用,而是让低风险工作更放心地交给 AI,让高风险动作在真正需要的地方停住。

二、先看清四种角色:整理、建议、确认、执行

很多风险来自角色混在一起。

一个补货流程可以拆成四步:

  1. AI 整理:汇总客户历史订货、近期销量和库存;
  2. AI 建议:列出可能需要补货的商品和依据;
  3. 人确认:业务员核实门店现场,主管检查金额、价格和政策;
  4. 系统执行:由有权限的人在原订单系统创建或提交订单。

如果把“建议”直接连到“执行”,中间就失去了业务现场和责任人。

同样,一份应收风险清单可以由 AI 生成,但是否停供、是否改变账期、如何与客户沟通,都要由财务和负责人确认;一份活动方案可以由 AI 起草,但价格、返利、赠品和对外承诺,必须按公司的授权流程批准。

老板需要记住:AI 输出的是候选,不是授权。

三、把公司里的 AI 动作分成绿、黄、红三档

最实用的方法,是按“出错后果”和“是否能撤回”给任务分级。

绿色:AI 可以先做,人抽查

特点是内部使用、容易复核、错误可撤回,不直接改变钱货和外部承诺。

例如:

  • 整理会议纪要;
  • 把拜访记录转成表格;
  • 对商品名称做初步匹配;
  • 生成内部日报草稿;
  • 在明确公式下计算并标出缺失值。

绿色不等于无人负责。仍要抽查准确性,敏感数据仍要按规定处理。

黄色:AI 给建议,指定人员逐条确认

特点是会影响经营判断,但执行前还有人工环节。

例如:

  • 补货候选;
  • 重点催款客户清单;
  • 慢动销处置建议;
  • 促销活动复盘;
  • 客户分级初稿;
  • 对外文案和政策说明草稿。

黄色任务必须显示依据、缺失信息和不确定项。确认人不能只点“同意”,要能回到原始数据。

红色:AI 不得自主决定或执行

特点是直接改变资金、库存、合同、价格、客户关系或员工权益,错误后果大且难撤回。

例如:

  • 付款和退款;
  • 自动提交订单或大额采购;
  • 修改客户账期和信用额度;
  • 调价、签约、承诺返利和交期;
  • 删除经营数据;
  • 对员工做处罚、淘汰等决定;
  • 向外部对象发送未经审批的正式承诺。

AI 可以为红色事项准备材料、列出方案和风险,但必须停在审批人面前。

四、一个真实项目怎样设置“护栏”

在一套业务员 AI 访销建议系统的 v0.1 项目规则里,我们没有让 AI 随意给门店推荐商品,也没有让建议自动形成订单。

项目原始需求设置了几道限制:

  • 单店一次建议最多展示 5 个;
  • 没有可用库存的商品,不给出可执行建议;
  • 单店一次建议总额,不超过该门店最近三个月月均订单金额的 1.5 倍;
  • 单品建议数量,不超过该店历史单次最高数量的 1.2 倍;
  • 业务员查看依据、到店核实后,仍在原流程中人工确认订单。

这里必须特别说明:1.5 倍、1.2 倍和最多 5 个,是这个项目在特定阶段采用的业务参数,不是国家标准,也不是所有经销商都应该照抄的行业规则。

它们真正值得借鉴的,不是具体数字,而是设计方法:

  1. 建议要有上限;
  2. 超出正常范围要降级或拦截;
  3. 库存不支持时不能假装可执行;
  4. 必须展示为什么建议;
  5. 最终订单由人确认。

另一套经销商经营决策项目也把同样的边界写进设计:AI 可以生成建议或订单草稿,但不能未经人工确认直接提交。

这说明一个成熟方向:不是让 AI 什么都不碰,而是把“能建议”和“能执行”分开。

五、完整演示:AI 建议补货,怎样一关关确认

下面是一组公开演示数据,不对应真实客户。

某门店最近三个月的月均订单金额为 8000 元,历史上某饮料单次最高订货 20 箱,公司当前可用库存 16 箱。AI 根据订货间隔和近期销量,提出“建议 18 箱”。

如果沿用上面项目的试点规则,系统应怎样处理?

第一关:库存

可用库存只有 16 箱,18 箱不可执行。建议数量最多只能进入“16 箱候选”,或者明确标成“库存不足,待核实到货”,不能假装仓库有货。

第二关:历史异常

历史单次最高为 20 箱,按 1.2 倍试点参数,上限是 24 箱。16 箱没有超过这一上限。

第三关:总额

假设单价 100 元,16 箱金额为 1600 元;该门店月均订单 8000 元,1.5 倍为 12000 元。本条单品本身未超过,但还要加上同次其他建议一起检查总额。

第四关:现场事实

业务员到店后发现,门店仓库还有 10 箱没有摆出来,而且店主下周准备装修。AI 输入里没有这两项事实。

业务员因此把建议改成“本次不补,装修后复访”。

第五关:对外承诺

店主询问是否有赠品。业务员不能让 AI 根据旧活动自动承诺,必须核对当前有效政策和本人授权。

第六关:留痕

系统或表单至少记录:

  • AI 原建议及依据;
  • 哪些规则触发;
  • 业务员现场补充的事实;
  • 谁把数量改成多少;
  • 是否形成订单;
  • 最终确认时间。

如果以后发现建议偏差,就能判断是数据不全、规则不合适,还是现场执行出了问题。

六、真正可执行的人工确认,要写清五个字段

一句“人工审核”远远不够。每个黄色和红色任务,至少写清以下五项。

1. 触发条件

什么情况下必须停?

可以是金额超过上限、数量偏离历史范围、数据缺失、包含敏感字段、需要对外发送、涉及特殊客户或低置信度。

2. 确认人

不能笼统写“负责人”。要写岗位,例如销售主管、财务负责人、仓库主管或老板。还要确认这个岗位是否真的有权限做决定。

3. 确认材料

审批人必须看得到:

  • 原始数据;
  • AI 的依据;
  • 缺失项;
  • 触发的规则;
  • 修改前后的内容。

如果只给一个结论和“同意”按钮,人工确认容易变成走过场。

4. 允许动作

确认人可以同意、修改、退回还是拒绝?超出本人权限后交给谁?必须事先写明。

5. 留痕

至少记录谁在什么时间看过、做了什么选择、改了什么、依据是什么。涉及合同、财务和正式审批时,还要遵守公司现有制度和法律要求,不能用一张 AI 表单替代正式流程。

七、阈值不能拍脑袋,要从业务事实里长出来

设置阈值时,可以从四类证据出发:

  • 历史分布:正常订单金额、数量、折扣和退货范围;
  • 公司制度:审批权限、授信额度、起送量和价格政策;
  • 业务能力:库存、配送、人员和资金能承受多少;
  • 风险后果:错一次的最大损失和是否可追回。

阈值确定后,也不能永远不变。

促销季、淡旺季、客户阶段、商品保质期不同,正常范围会变化。公司应该定期复盘:

  • 被拦截的建议中,有多少其实合理;
  • 没被拦截的建议中,有多少最后出错;
  • 哪个阈值过松,哪个过严;
  • 谁有权调整参数;
  • 调整后怎样记录版本。

这不是技术人员自己改一个数字,而是业务、财务和风险共同确认。

八、数据边界和动作边界同样重要

AI 还没给建议之前,风险可能已经发生:员工把完整客户名单、电话、地址、进价、应收和合同上传到未经公司批准的外部服务。

因此,人工确认清单还要包括数据问题:

  • 这份数据能不能交给当前工具处理;
  • 是否需要删除姓名、电话、地址、账号等字段;
  • 是否只上传必要范围;
  • 谁可以查看结果;
  • 结果保存多久;
  • 是否能删除;
  • 是否涉及客户合同或厂家保密要求。

《中华人民共和国数据安全法》要求开展数据处理活动时建立健全全流程数据安全管理制度。对经销商来说,不需要先背法律术语,至少要做到:数据从哪里来、交给谁、用来做什么、谁能看、何时删除,都有人负责。

九、老板怎样判断一项任务能不能放手

可以连续问六个问题:

  1. AI 错了,最大会损失什么?
  2. 错误能不能在执行前发现?
  3. 执行后能不能撤回?
  4. 原始数据和建议依据能不能追溯?
  5. 有明确的人具备确认权限吗?
  6. 出现异常时,流程会停下来还是继续自动往下走?

如果涉及资金、发货、价格、合同、信用、客户承诺或员工权益,只要其中一项答不清,就不要自动执行。

美国国家标准与技术研究院的 AI 风险管理框架强调,对 AI 风险需要持续治理、识别、衡量和管理。落到经销商公司,不是做一套复杂文件,而是让每个重要应用都有负责人、边界、检查和复盘。

最后:今天先找出公司的三个红色动作

打开《AI 人工确认与风险分级清单》,把正在使用或准备使用 AI 的任务全部列出来。

先不用讨论工具,先圈出三类动作:

  • 会直接花钱或改变账期的;
  • 会改变库存、订单或价格的;
  • 会向客户、厂家或员工做正式承诺的。

把它们标成红色,写上确认人、确认材料和留痕方式。

然后再把低风险整理工作标成绿色,把需要逐条复核的建议标成黄色。

当公司能明确“哪里让 AI 快、哪里必须让人停”,才算既用上了能力,也守住了责任。


参考资料

  1. 美国国家标准与技术研究院(NIST):《AI Risk Management Framework》,访问于 2026-07-27。
  2. 国家互联网信息办公室等:《生成式人工智能服务管理暂行办法》,2023-07-13。
  3. 中华人民共和国数据安全法》,2021-06-10。
  4. 项目原始材料:《拉卡拉云掌柜业务员 AI 访销建议系统 PRD v0.1》及《满分 DSCM 项目简介》,本地核查于 2026-07-27。

下篇:《厂家怎样真正帮助经销商落地 AI》——从发一个工具,转向共同找问题、做试点、看结果。