生成式 AI 服务，成本差异巨大
- 次阅读
生成式 AI 服务针对输入和输出有不同的收费规则，输入就是你给大模型提的问题，输出就是大模型给你的回答。
这两者在推理里的成本结构差异很大：输入是一次性并行处理，而输出是自回归逐 token 生成，每生成一个 token 后要结合整段上下文来生成下一个 token，更慢、更吃 算力因此更贵。其间的成本差异巨大。
所以，生成式服务提供商根据成本效益计算，对“少量输入，大量输出”的应用领域的发展容易停滞，因为要亏钱。比如只给一句简单的提示词，然后让AI生成大篇幅的小说、剧本、报告。比如根据一条文字描述，生成一幅高清图片或者视频。
相反对高输入、低输出的应用领域，AI 的发展就比较容易突飞猛进，因为可以赚钱。这其中有一项是最值钱的，就是 AI编程。一段代码要输出，输入部分要准备很多库、文档、API说明，“输入/输出”大约在100比1这个量级。而这种输出效果基本是顶级程序员的工作成果，两方获利。