当AI被“投毒” 信息社会要如何避免信任危机
创始人
2026-03-18 10:00:49

□丁慧

央视“3·15”晚会披露,部分所谓“生成式引擎优化(GEO)”服务商,正通过批量制造软文、自媒体内容,主动向AI大模型投喂虚假信息。

调查中,一款完全虚构的智能手环,仅凭几篇杜撰文章,短短两小时便被AI模型当作真实产品进行推荐。三天后,在“智能手环推荐”的提问中,这款并不存在的产品甚至排名靠前。

可以说,这是一次针对AI大模型的系统性污染。在互联网时代,人们已经熟悉了“搜索引擎优化(SEO)”,即通过优化网页结构与关键词,让内容在搜索引擎中获得更高排名。而在生成式AI成为新的信息入口之后,SEO的逻辑自然延伸为GEO,也即是,谁能向AI模型提供更多“看起来像事实”的材料,谁就可能影响AI的回答。

大模型本质上并不具备判断信息真假的能力,它只是根据概率生成最可能成立的答案。只要训练语料和检索信源中存在大量结构化、看似权威的内容,模型就会把这些材料当作事实进行整合。

当GEO服务商批量生成“测评”“排名”“专家观点”等内容时,AI很容易将其当作可信依据。从这个角度看,GEO灰产的出现,并不是偶然的漏洞,而是技术路径带来的必然结果。

值得注意的是,这些“投毒”的主要入口,往往并不来自传统媒体或专业机构,而是大量自媒体平台。抖音、头条号、百家号、网易号等内容社区由于发布门槛较低、内容规模庞大,成为AI模型抓取信息的重要来源。

当信息数量远远超过质量筛选能力时,算法往往只能选择“相信大多数”。于是也出现了一个极为荒诞的现象,只要虚构的信息足够多、结构足够完整,它就有可能在AI大模型给出的答案中变成事实。

这种机制与十年前的互联网搜索困境有相似之处。2016年,大学生魏则西因搜索结果误导而误信医疗广告,最终酿成悲剧。事件之后,监管部门首次明确将付费搜索认定为互联网广告,并要求显著标识与加强审核。某种意义上,今天的GEO问题,正处在当年的“魏则西时刻”之前。

制度层面的滞后也使问题更加复杂。当前法律体系中,对于“通过投喂内容影响AI输出”的行为尚无明确界定。它究竟属于广告行为、信息操纵,还是一种新的不正当竞争形式,仍处在模糊地带。GEO服务商在这一灰色空间中游走,通过批量生成内容、操纵信源结构来影响AI推荐,却很难被直接纳入现有监管框架。

GEO“投毒”乱象之所以能够迅速扩散,也反映出一些大模型在信源评估与权重设计上的不足。当算法难以区分权威信息与流量内容时,虚假信息就可能借助数量优势获得更高权重。

要真正解决这一问题,单纯打击个别GEO公司并不够。更关键的是重新设计AI模型的信息权重结构。目前不少大模型在信源评估上仍停留在数量逻辑。引用越多、结构越完整、传播越广,权重越高。但在真实世界中,信息的可信度往往恰恰相反,真正权威的知识来源,反而可能数量更少、更新更慢。

如果算法无法区分权威信息和被投喂的虚假内容,那么无论监管如何加强,新的“投毒”方式仍会不断出现。这也是为什么越来越多专家提出,应在大模型中建立“可信信源库”,提高持牌媒体、科研机构、权威数据库等来源的权重,同时对自媒体信息进行更严格的验证与过滤。

换句话说,AI大模型需要重新建立一套可信度等级。GEO灰产的出现,其实也在提醒人们,当AI成为新的信息入口时,信息治理也必须进入新的阶段。否则,今天被“投毒”的是智能手环,明天被污染的可能就是金融决策甚至公共政策信息。到那时,问题就不再只是广告乱象,而是整个信息社会的信任危机。

当AI被“投毒” 信息社会要如何避免信任危机

来源:羊城晚报 2026年03月18日 版次:A05栏目:今日论衡之世相评弹作者:丁慧

□丁慧

央视“3·15”晚会披露,部分所谓“生成式引擎优化(GEO)”服务商,正通过批量制造软文、自媒体内容,主动向AI大模型投喂虚假信息。

调查中,一款完全虚构的智能手环,仅凭几篇杜撰文章,短短两小时便被AI模型当作真实产品进行推荐。三天后,在“智能手环推荐”的提问中,这款并不存在的产品甚至排名靠前。

可以说,这是一次针对AI大模型的系统性污染。在互联网时代,人们已经熟悉了“搜索引擎优化(SEO)”,即通过优化网页结构与关键词,让内容在搜索引擎中获得更高排名。而在生成式AI成为新的信息入口之后,SEO的逻辑自然延伸为GEO,也即是,谁能向AI模型提供更多“看起来像事实”的材料,谁就可能影响AI的回答。

大模型本质上并不具备判断信息真假的能力,它只是根据概率生成最可能成立的答案。只要训练语料和检索信源中存在大量结构化、看似权威的内容,模型就会把这些材料当作事实进行整合。

当GEO服务商批量生成“测评”“排名”“专家观点”等内容时,AI很容易将其当作可信依据。从这个角度看,GEO灰产的出现,并不是偶然的漏洞,而是技术路径带来的必然结果。

值得注意的是,这些“投毒”的主要入口,往往并不来自传统媒体或专业机构,而是大量自媒体平台。抖音、头条号、百家号、网易号等内容社区由于发布门槛较低、内容规模庞大,成为AI模型抓取信息的重要来源。

当信息数量远远超过质量筛选能力时,算法往往只能选择“相信大多数”。于是也出现了一个极为荒诞的现象,只要虚构的信息足够多、结构足够完整,它就有可能在AI大模型给出的答案中变成事实。

这种机制与十年前的互联网搜索困境有相似之处。2016年,大学生魏则西因搜索结果误导而误信医疗广告,最终酿成悲剧。事件之后,监管部门首次明确将付费搜索认定为互联网广告,并要求显著标识与加强审核。某种意义上,今天的GEO问题,正处在当年的“魏则西时刻”之前。

制度层面的滞后也使问题更加复杂。当前法律体系中,对于“通过投喂内容影响AI输出”的行为尚无明确界定。它究竟属于广告行为、信息操纵,还是一种新的不正当竞争形式,仍处在模糊地带。GEO服务商在这一灰色空间中游走,通过批量生成内容、操纵信源结构来影响AI推荐,却很难被直接纳入现有监管框架。

GEO“投毒”乱象之所以能够迅速扩散,也反映出一些大模型在信源评估与权重设计上的不足。当算法难以区分权威信息与流量内容时,虚假信息就可能借助数量优势获得更高权重。

要真正解决这一问题,单纯打击个别GEO公司并不够。更关键的是重新设计AI模型的信息权重结构。目前不少大模型在信源评估上仍停留在数量逻辑。引用越多、结构越完整、传播越广,权重越高。但在真实世界中,信息的可信度往往恰恰相反,真正权威的知识来源,反而可能数量更少、更新更慢。

如果算法无法区分权威信息和被投喂的虚假内容,那么无论监管如何加强,新的“投毒”方式仍会不断出现。这也是为什么越来越多专家提出,应在大模型中建立“可信信源库”,提高持牌媒体、科研机构、权威数据库等来源的权重,同时对自媒体信息进行更严格的验证与过滤。

相关内容

热门资讯

一块布,如何“织”出新潮流? 石墨烯纱线面料助力服装恒温透气,AI质检设备让面料品控从“人眼经验”走向数据智能,一站式成衣定制真正...
如何让不可移动文物“走”出山西 “眼花缭乱,叹为观止,真不愧地上文物看山西!”近期,国家典籍博物馆内人流如织,不少观众慕名而来,参观...
如何让机器人从“读万卷书”到“... 如果说云端大模型通过学习海量文本与图像数据,学会了“读万卷书”,那么具身智能的目标,就是让AI拥有身...
高市早苗被质问“为何谴责伊朗,... 据环球网援引日媒报道,在3月17日的国会答辩中,日本首相高市早苗被质问为什么不谴责美国和以色列,高市...
电商平台“超长预售”成消费痛点... 相信不少消费者都接触过预售商品,先付款,一定周期内,商家生产出商品后再发货。不过,从十余天到数月的发...