随着生成式AI技术快速发展，企业持续投入大量资金，但一些公司却发现投资回报率很低。为了解决这个问题，我们需要结合工具、策略和视角来进行控制。
生成式AI热潮持续升温
每周我们都能看到生成式AI技术的新进展、新用例，以及对AI超越人类甚至颠覆某些行业的担忧。专家预测，这将导致产业格局的剧烈调整，并催生新的行业巨头，类似于互联网时代。
一些公司为了生存，愿意不惜一切代价保持竞争力；另一些公司则希望领先于竞争对手，或利用生成式AI带来的生产力提升和新商机。但无论AI对公司有多重要，浪费资金都是不明智的。
成本失控的三个主要原因
根据最新的麦肯锡数据，65%的组织表示他们现在定期使用生成式AI，比10个月前的数据几乎翻了一番，四分之三的组织预测生成式AI将在未来几年内引领其行业的重大或颠覆性变革。
IDC预测，2024年生成式AI支出将比2023年翻一番，并在2027年达到1510亿美元。但根据Lucidworks 6月中旬对2500名企业领导人进行的调查，生成式AI支出增长速度正在放缓，这在很大程度上是受成本担忧的推动。去年，只有3%的受访者表示生成式AI的实施成本是一个问题。今年，46%的受访者表示这是一个问题——增长了14倍。Gartner 5月份进行的一项类似调查显示，估算和证明商业价值是采用生成式AI的最大障碍。当公司开始大规模部署AI时，这些成本会迅速上升的主要原因包括：令牌成本、意外的额外成本和AI蔓延。
1. 令牌成本
大多数生成式AI定价结构基于令牌，即构成单词的片段。令牌是一种奇怪的衡量标准。云咨询公司DoIT的产品管理负责人Eric Moakley表示：“令牌不是价值单位，因此你评估某物的方式和你为其支付的方式是完全不同的。”
为了获得更准确的答案，公司会加长问题或提示，嵌入关于答案应如何形成的具体说明，提供有关公司的一般信息以及来自内部数据库的信息。有些答案需要后续问题或事实核查。所有这些都会增加成本。
为了控制运营成本，DoIT对其生成式AI的投资和支出进行了战略性规划。他们会跟踪令牌的使用情况，并优化与大型语言模型（LLM）的交互，例如精简数据和输入，限制答案的长度，并尽可能使用更具体的提示。
2. 意外的额外成本
生成式AI的成本不仅仅是计算特定提示的成本，还包括延迟成本。这在概念验证中可能并不明显，但一旦项目投入生产，使用真实的文档和用户，并开始扩大规模，性能就会开始下降。
毕马威数字解决方案架构负责人Swaminathan Chandrasekaran表示，当他们摄取数千个文档时，任何LLM的响应时间都在30到60秒之间，因为上下文窗口会被填满。为了解决这个问题，他们不得不增加容量、添加专用实例，导致成本螺旋式上升。
3. AI蔓延
过去，使用传统AI可能需要一两年的试验才能准备好AI模型，但生成式AI项目进展迅速。Genpact全球AI负责人Sreekanth Menon表示：“如今可用的基础模型使企业能够快速思考用例，现在我们处于可以构思实验然后快速投入生产的阶段。”
他建议企业不要一次性进行所有AI项目，要建立成本机制和每个项目的明确目标，然后从小规模开始，明智地扩展，并持续投资于技能提升。
S-RM情报和风险咨询公司副总监Matthew Mettenheimer表示，他经常看到公司内部出现生成式AI蔓延的情况。例如，S-RM最近与一家大型消费品制造商合作，该公司决定在没有首先建立治理结构的情况下，在其业务中推动AI赋能。结果，每个部门都开始尝试实施生成式AI，导致合同重叠，不同部门使用不同的工具，支出膨胀。