在AI模型高速迭代、频繁下线、地缘政治不确定性、Token成本上升、合规风险加剧以及供应商服务保障参差不齐的多重压力下,CIO们正面临一个全新且令人警惕的现实:AI模型频繁更迭已不再只是技术问题,而是切实的运营难题。
验证AI模型并确保其与现有系统的兼容性,需要耗费大量时间与资源。
咨询公司普华永道美国及全球首席AI工程官Scott Likens表示:"模型下线很少只是一个技术事件,它可能在治理、风险、合规、模型验证、安全和运营团队之间引发连锁反应。"
这一挑战远不止于用一个模型替换另一个模型。随着AI被深度嵌入业务应用与流程,企业需要建立能够吸收持续模型变化、又不影响业务正常运转的架构与治理框架。
Likens进一步指出,这种依赖关系"远不止停留在API层面"。如今,弹性架构与强健的治理框架与模型本身的原始性能同等重要。
为此,CIO们正转向多模型策略,借助抽象层与编排层来防范IT与业务中断风险。他们还通过验证方法、模型注册表、提示词与版本控制、生命周期治理以及成本感知路由,更好地将模型与具体使用场景进行匹配。
应对模型迭代的现实困境
企业对Anthropic、OpenAI和谷歌等AI供应商更新、退役或替换模型几乎没有任何掌控力。在许多情况下,AI供应商仅在数周内便会停用某个版本。然而,许多企业——尤其是银行、生物制药、航空和医疗等受监管行业——往往需要数月时间才能完成变更验证。
波士顿咨询集团技术业务高级合伙人Ashwin Bhave表示:"如果你没有对模型进行充分测试,它可能会做出一些本不该做的事情。"尽管版本锁定和合同条款看似能保障过渡窗口期,但这些手段可能适得其反——模型的输出结果在不同时刻可能存在差异,而版本锁定也会抑制创新。
模型频繁迭代还带来财务层面的影响。模型重新验证期间产生的Token消耗、推理费用以及大规模重复测试成本,都可能导致费用迅速攀升。Bhave指出,目前"许多成本是由补贴支撑的,而这些补贴不太可能长期持续",未来数月情况可能进一步恶化。
此外,模型可用性本身也是一大隐患。例如,今年6月12日,Anthropic为遵从美国政府出口管制要求,暂停了旗下前沿模型Fable 5和Mythos 5的访问权限,由此引发的混乱波及多个地区和企业,直至6月30日才解除限制。
AI领域在服务保障层面同样存在明显缺口:正常运行时间承诺、灾难恢复机制及数据丢失保护等方面,普遍落后于传统科技行业的服务标准。
德国独立顾问Kai Waehner指出,模型故障不仅会导致某个应用崩溃,更可能拖垮整个工作流、业务流程或工具链。而自托管虽然看似是可行的替代方案,却会带来另一系列问题,包括难以找到具备系统管理能力的专业人才。
为持续变化而构建的AI架构
上述挑战正深刻重塑企业对AI模型管理的整体思路。曾经由工程师主导的供应商选型与软件决策,如今已被正式纳入CIO的职责范畴。
深入研究AI模型管理的CIO们逐渐意识到,这与常规IT工作有着本质不同。硬件和软件的标准化通常能够节省成本,但AI领域则截然不同:多模型、多供应商的架构框架,不仅能有效降低风险,还能将最高效、最具性价比的模型分配给特定的项目与任务。
一刀切的治理框架同样行不通。企业需要在特定AI模型之外,构建独立的编排层与抽象层,从而跨模型、跨用户实现治理、安全与AI功能的协同,并支持动态调整。Waehner指出,这样一来,每次模型更新或替换时,企业无需更新整套管控体系。
摆脱单一模型或过于僵化的框架束缚后,企业便能灵活应对变化,并为不同任务接入最合适的AI模型,包括DeepSeek和Mistral等低成本开源模型,而无需每次都对整个IT环境进行大规模改造。正如Likens所言:"每个组织都希望获得创新能力,但并非每个工作负载都需要在第一天就用上最新的模型。"
灵活的AI框架并不能消除模型管理的需求,但能显著降低其复杂度。当抽象层与编排层将业务逻辑、工作流程、治理机制、提示词、数据定义与路由逻辑分离解耦后,模型下线便不再构成实质性威胁,模型的动态切换也将成为可能。
"设计良好的抽象层能够显著降低对单一模型供应商的运营依赖,"Likens说。
在坚实的AI基础架构之上,CIO还可以接入其他工具,进一步提升可见性与灵活性。例如,通过建立模型注册表,清晰展示已审批的产品、负责人、使用场景、版本信息、成本结构及迁移计划。结合回归测试方法,CIO或首席AI官可在新模型或更新模型全面上线前完成评估与必要调整。
Likens提醒道:"抽象层并不是万能盾牌,它能简化模型替换流程,但无法消除理解新模型性能、输出差异以及潜在风险的必要性。"
在稳定性与创新之间寻求平衡
CIO们清楚地认识到,AI不是一场短跑,而是一段持续的旅程。如何在版本锁定与过渡窗口所带来的稳定性,以及更先进模型所带来的创新收益之间取得平衡,至关重要。
Bhave表示:"你不是在为五年的稳定窗口而设计,而是在追求最佳性能的同时,保留在合适时机进行升级的能力。"
在Bhave看来,找到这一平衡点的企业,能够绕开持续验证与集成带来的麻烦,以更快的速度推进变革,并实现更高的创新价值与投资回报。
"对于那些历史上在技术上一直挣扎的组织来说,这个新世界是一个真正实现弯道超车的机会,"他最后总结道。
Q&A
Q1:AI模型频繁更迭会给企业带来哪些具体风险?
A:AI模型频繁更迭可能触发治理、风险、合规、模型验证、安全和运营团队的连锁反应。具体表现包括:验证方法失效、工作流程停滞、安全风险上升,以及因重新验证产生的Token消耗、推理费用和大规模测试费用急剧增加。对于银行、医疗、航空等受监管行业,由于完整验证周期往往长达数月,模型频繁迭代带来的冲击尤为严重。
Q2:CIO应该如何构建抽象层和编排层来应对模型迭代?
A:CIO需要在特定AI模型之外,独立构建编排层与抽象层,将业务逻辑、工作流程、治理机制、提示词、数据定义和路由逻辑彼此解耦。这样一来,每次模型更新或替换时无需更新整套管控体系,可以实现模型的动态切换。同时配合模型注册表、回归测试方法和成本感知路由,能进一步提升灵活性和可见性,降低对单一供应商的依赖。
Q3:多模型、多供应商策略相比单一供应商策略有什么优势?
A:多模型、多供应商策略能够有效降低风险,并允许企业将最高效、最具性价比的模型分配给特定任务。企业可以灵活接入DeepSeek、Mistral等低成本开源模型,而无需每次都改造整个IT环境。与强制标准化的单一供应商模式不同,这种框架让企业在某个供应商模型出现问题时仍能保持业务连续性,并在合适时机平滑升级到更先进的模型。