各家企业围绕AI的竞争十分激烈。从生成式AI到AI智能体相继登场,企业将AI应用于业务自动化、成本削减、客户服务、新产品开发的步伐正在加快。如今对企业而言,AI已不再是可选的新技术,而更接近生存与竞争力的问题。
然而在对AI的一片赞誉声中,我们有必要问一句:AI是否会给企业带来新的危机?
AI能提升生产率、创造新的业务机会,这是明确的。但如果技术扩散的速度快于组织的管理和控制能力,情况就不同了。因为AI的错误可能立刻成为企业的错误。
加拿大航空(Air Canada)的案例很好地说明了这一点。2022年,一位得知祖母去世消息的客户向该航空公司的AI聊天机器人咨询参加家人葬礼的特别折扣。聊天机器人回答说,丧葬折扣机票约为80万韩元,并告知可先按约160万韩元的原价购票,然后在90天内申请折扣即可获得差额退款。客户相信这一说法购买了机票,但事后要求退款时遭到拒绝。加拿韩国大法院在2024年判定,加拿大航空应对聊天机器人的错误告知承担责任。法院认为,公司不能以“那是聊天机器人说的话”为由逃避责任。对客户而言,AI的回答就是公司的回答。
在企业内部,可以区分AI生成的信息和员工亲自撰写的信息。但对客户来说,这种区分并不重要。一旦通过企业的网站和应用程序传递出去,AI的话就成了企业的官方声音。
AI的风险并不止于客户服务。亚马逊此前开发过利用AI的招聘系统,却发现了意料之外的问题。学习了过去10年招聘数据的系统原封不动地反映了以男性为中心的组织特征,呈现出对女性应聘者作出不利评价的倾向。亚马逊最终废弃了该系统。
这两个案例在不同领域提出了同一个问题。这里值得关注的概念是自动化偏见(automation bias),即人过度信任自动化系统或算法的判断,从而疏于自身判断与核实的现象。
AI最危险之处并不在于它会给出错误答案这一事实本身,而在于即便是错误答案,它也说得十分像真的。
设想一下:营销人员未经任何核实就使用AI撰写的广告文案,人事人员把AI对应聘者的分析当作客观评价来接受,客服人员把AI给出的答复原样转达。业务会更快。但一旦核实环节消失,小小的错误就可能迅速扩散到整个组织。
更何况,AI还可能连过去数据中存在的组织偏见一起学习。正如亚马逊的案例所示,这就是“AI会比人类更客观”的期待反而可能变得危险的原因。
这也与确认偏误(confirmation bias)相关。人往往更容易接受与自己既有判断和信念相符的信息。而一旦加上“AI分析的结果”这一权威,要怀疑这一结果就更加困难。
这正是在企业中“AI就是这么分析的”这句话不应成为一种免罪符的原因。
AI不应是替代决策的存在,而应是支持决策的工具。尤其在招聘、客户补偿、定价、金融审核等涉及个人权利和企业声誉的领域,需要人的最终判断与核实。因此,AI时代企业的核心能力并不在于使用了多少AI。
而在于决定在哪些方面可以信任AI、在哪些方面应当质疑AI的能力。企业在引入AI的同时必须确定三件事。
第一,哪些领域AI的判断必须由人核实。第二,AI出错时最终责任人是谁。第三,发生错误时如何向客户和市场说明并恢复信任。
这不是技术部门一家的课题。这是需要CEO和董事会,以及人事、营销、公关、法务等企业所有职能共同思考的经营问题。
这也正是在AI热潮汹涌的当下提出这一问题的原因。迄今为止,数字化转型的竞争力在于引入得有多快。但在AI时代,同时提升引入速度与控制能力变得更为重要。
AI是放大企业能力的技术。在富有创新力的组织中,它能提升生产率与创造力。但在核实体系薄弱的组织中,它也可能放大错误、偏见乃至声誉风险。
归根结底,AI是让企业获救还是陷入危机,并不由技术决定,而由使用AI的人与组织决定。AI时代真正的竞争力,不会出自最早引入AI的企业,而会出自既能最好地利用AI力量、又能管理其风险的企业。






