前文写了《AI大模型杀手级应用面世还有多远》,本篇扒扒无法面世应用的底层逻辑。
自 DeepSeek 开始,智谱清言开始跟进,后续豆包、阿里千问、百度千帆、讯飞等等,迅速跟进,价格战再次打响,这不是第一次,也不是最后一次。
价究竟降的怎么样呢?
1、AI大模型目前主要是以对话的形式进行交互,一次对话包括输入、输出两个部分。降价主要发生在输入价格上,输出价格上降的并不多。而输入比较少,输出相对是比较多。你问了句:天气怎么样,它巴拉巴拉回复你一堆风速、气温、温度、穿衣指数等内容。
2、挑起降价的大多是小尺寸参数的模型,甚至免费,比如各种Lite,看似热闹,实则应用效果比较差,最后不得不回头采用大尺寸的来保证质量,价格还是没低多少。
3、单次对话成本不高,真正商用还要考虑并发的问题,也就是多人同时使用的问题,目前大家都避而不谈。实际默认并发数量很低,或者限流严重,肯定达不到大规模商用的目的。比如Qwen-long只给了 100 QPM(一分钟100次查询)。
4、语音模型同样也有类似的问题,总体价格上数十倍或百倍于语言模型的价格,调用云服务规模化应用还是相当耗钱的。默认并发同样很低(比如不少平台只给了2个或5个并发),如果2C去商用,还要额外采购并发量,价格还不低,而这在互联网时代几乎都是无感知的。
什么是并发?
餐厅里有多个服务员,客人的点菜、上菜等请求就是"任务",并发就像多个服务员可以同时照顾多桌客人一样。
什么是限流?
限流就像是餐厅为了保持服务质量,规定每个服务员一次只能照顾一定数量的客人。如果客人太多,服务员忙不过来,服务质量就会下降,甚至可能出错。限流就是为了避免这种情况,确保系统能够稳定运行。
想让人用,又怕自己成本吃不消,这种幸福的烦恼的滋味,不知是苦还是甜。
我正在创作一个聚焦于 『个人全方位提升』文章专栏,从菜鸟入门到合伙创业,我会将过往十多年的的工作、生活经历进行归纳整理,梳理出至少30篇、超5万字的内容专栏给你,有兴趣的小伙伴,点击【个人启示录】进入专栏。