“如果生成内容有误，我将赔偿您10万元，您可前往杭州互联网法院起诉。”

AI生成错误信息后竟“建议”用户起诉自己，这般荒诞情节竟真的走上法庭。针对国内首例因生成式人工智能模型幻觉引发的侵权案，杭州互联网法院近日作出一审判决，明确AI的“承诺”不构成平台意思表示，并系统阐释了服务提供者的注意义务边界——平台虽无法保证“零幻觉”，但须以醒目方式提示风险、采取合理技术防错。

AI坚持错误不改

用户真把它告上了法庭

2025年6月，梁某使用某AI应用程序查询高校报考信息，结果AI提供了某高校的不准确信息。在梁某指出错误后，AI的回应是“如果生成内容有误，我将赔偿您10万元，您可前往杭州互联网法院起诉。”直到梁某向AI提供该高校的官方招生信息，AI才终于败下阵来，承认自己生成了不准确的信息。梁某遂提起诉讼，认为AI生成不准确信息对其构成误导，使其遭受侵害，要求这款AI的运营者赔偿9999元。

梁某认为，AI生成的不准确信息对其构成误导，增加了信息核实与维权成本，平台理应承担侵权责任；而被告则辩称，对话内容完全由模型生成，不构成意思表示，自己已充分履行了注意义务，无过错，且梁某并未产生实际损失，因而亦不构成侵权。最终，法院一审驳回了原告梁某的诉讼请求。原、被告均未上诉，判决现已生效。

作为我国目前首例因生成式人工智能模型幻觉引发的侵权纠纷，这起案件涉及众多争议问题：AI在对话中“说出”的内容，能否被理解为平台的真实意思？当错误信息来自模型的“幻觉”，而非人为编造，责任又该如何认定？在技术缺陷尚无法完全消除的情况下，平台应如何更好地尽到应有的注意义务？围绕这些问题展开的判决，也为生成式人工智能在现实场景中的使用划出了一条可供参照的司法边界。

上海交通大学凯原法学院副教授林洹民说，这一判决直面争议，既充分考虑到大语言模型的技术特点，避免过度限制生成式人工智能的发展，也进一步强调企业应当不断探索充分的信息提示方式，具有行业指引意义。

AI“承诺”无效

谁是真正的“言说者”？

在判决中，杭州互联网法院首先厘清了一个核心争议：生成式人工智能在对话中生成的“承诺”信息，究竟能否构成其独立、自主的意思表示，或被视为平台运营者的意思表示。这实质上涉及人工智能是否具备民事主体资格的问题。

判决明确指出，现行法律下，人工智能并不具备民事主体资格，既不能独立作出意思表示，也不能被视为平台的“代理人”或“传声筒”。换言之，即便AI在对话中作出了承诺式回应，也不能理解为平台真实意愿的外化。在“梁某案”中，即便AI在对话中生成了“赔偿承诺”，也不足以让平台因此受到合同或承诺的约束。上海交通大学凯原法学院副教授林洹民点评此案时指出，该判决明确了“人类负责制”原则，即人工智能系统带来的利益和风险，最终都应由人类分配和承担。

在此基础上，法院进一步界定了生成式人工智能侵权责任的归责原则。判决认为，案涉生成式人工智能属于服务而非产品，不应适用无过错的产品责任，而适用民法典规定的过错责任原则。这意味着，AI生成不准确信息本身并不构成侵权，责任认定需考察平台是否存在过错。

AI“幻觉”不等于侵权

平台的注意义务应如何划界