前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >别被AI大模型的降价冲昏了头

别被AI大模型的降价冲昏了头

作者头像
MavenTalker
发布2024-06-17 14:26:47
870
发布2024-06-17 14:26:47
举报
文章被收录于专栏:歪脖贰点零歪脖贰点零

前文写了《AI大模型杀手级应用面世还有多远》,本篇扒扒无法面世应用的底层逻辑。

自 DeepSeek 开始,智谱清言开始跟进,后续豆包、阿里千问、百度千帆、讯飞等等,迅速跟进,价格战再次打响,这不是第一次,也不是最后一次。

价究竟降的怎么样呢?

1、AI大模型目前主要是以对话的形式进行交互,一次对话包括输入、输出两个部分。降价主要发生在输入价格上,输出价格上降的并不多。而输入比较少,输出相对是比较多。你问了句:天气怎么样,它巴拉巴拉回复你一堆风速、气温、温度、穿衣指数等内容。

2、挑起降价的大多是小尺寸参数的模型,甚至免费,比如各种Lite,看似热闹,实则应用效果比较差,最后不得不回头采用大尺寸的来保证质量,价格还是没低多少。

3、单次对话成本不高,真正商用还要考虑并发的问题,也就是多人同时使用的问题,目前大家都避而不谈。实际默认并发数量很低,或者限流严重,肯定达不到大规模商用的目的。比如Qwen-long只给了 100 QPM(一分钟100次查询)。

4、语音模型同样也有类似的问题,总体价格上数十倍或百倍于语言模型的价格,调用云服务规模化应用还是相当耗钱的。默认并发同样很低(比如不少平台只给了2个或5个并发),如果2C去商用,还要额外采购并发量,价格还不低,而这在互联网时代几乎都是无感知的。

什么是并发?

餐厅里有多个服务员,客人的点菜、上菜等请求就是"任务",并发就像多个服务员可以同时照顾多桌客人一样。

什么是限流?

限流就像是餐厅为了保持服务质量,规定每个服务员一次只能照顾一定数量的客人。如果客人太多,服务员忙不过来,服务质量就会下降,甚至可能出错。限流就是为了避免这种情况,确保系统能够稳定运行。

想让人用,又怕自己成本吃不消,这种幸福的烦恼的滋味,不知是苦还是甜。


我正在创作一个聚焦于 『个人全方位提升』文章专栏,从菜鸟入门到合伙创业,我会将过往十多年的的工作、生活经历进行归纳整理,梳理出至少30篇、超5万字的内容专栏给你,有兴趣的小伙伴,点击【个人启示录】进入专栏


本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-06-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 MavenTalk 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档