AI编程公司Replit正式将其"智能模型路由"系统设为所有账户的默认选项,全力押注模型路由这一新兴趋势。
该系统能够在任务执行过程中动态选择底层模型,Replit综合考量质量、速度与成本三个维度进行路由决策。公司表示,这一名为"Auto模式"的功能将成为全体用户的默认选项,但Core和Pro订阅者仍可在需要更精细控制时手动切换模型。
模型路由热潮涌现
此次发布恰逢模型路由领域迎来密集动作。今年8月初,Stripe宣布以约80亿美元收购模型网关平台OpenRouter。同日,Ramp上线了Router.com,该平台将请求路由至满足特定性能要求的最低成本模型。
更早之前的7月,SpaceX旗下Cursor推出了自研路由器,能够自动为编程任务选择模型,并声称以大幅更低的成本实现了同等性能。与此同时,据报道Meta正在内部开发一款名为"Switchboard"的路由系统,可按难度对编程任务进行评级,将较简单的任务分配给更经济的模型。
Replit总裁兼AI负责人Michele Catasta指出,推动路由技术广泛普及的核心动因是简单的经济逻辑——模型成本与开发者实际所需能力之间的落差日益扩大。
"在同一模型系列中,每个Token的价格可能相差数个数量级,"Catasta向The New Stack表示,"与此同时,低成本小型模型的智能水平已与大型前沿模型十分接近,这为我们提供了大量成本优化空间。"
Replit在这一方向上已积累一定基础。Catasta表示,公司在近几个月持续测试Auto模式早期版本、子智能体路由机制及多轮迭代方案。
"如同任何重要发布一样,我们在公开发布前对智能模型路由进行了长时间的Beta测试,"他说,"最重要的经验是从第一性原理出发,理解每次实验的失效模式,从而在最终交付的系统上不断迭代优化。"
Auto模式正式上线
上述积累于上周初步呈现——Replit推出了Free模式,这是一种无需消耗使用积分的低成本智能体模式,通过Auto自动选择模型,但受使用限额约束。
如今,同样的Auto路由方案正在Replit全平台推广。公司表示,智能模型路由将成为所有账户的默认配置,全体用户默认进入Free模式,由Replit判断最适合当前任务的模型。
值得注意的是,Free模式并非"无限免费"。该模式推出时,Replit面向Core和Pro订阅者开放,无需消耗使用积分,但设有每五小时重置一次的使用上限,Pro用户享有更高配额。在Free模式下,用户无法手动选择模型。
Core和Pro订阅者可切换至Power或Max模式,在这两种模式下可关闭Auto并自行选择模型。当Replit判断任务需要更强能力时,也可能建议将任务切换至上述高功率模式,但这些模式可能产生额外使用费用。
企业客户方面,管理员可在每个工作区将Auto限定在经审批的模型范围内,在满足合规要求的同时,继续享受Replit的智能路由能力。
智能体层面的竞争优势
Replit并未将掌控底层模型层作为核心竞争力,而是押注于通过控制智能体及其周边系统,获取做出更优模型选择所需的关键洞察。
"Replit从一开始就同时掌握智能体运行框架与模型周边基础设施,这使我们得以训练出精密的模型路由器,"Catasta表示,"唯有如此,才能始终以最具竞争力的价格为用户提供高质量的智能服务。"
这一优势在智能体任务执行过程中尤为突出。Replit表示,其系统能够随任务推进动态调整所调用的模型,在不同阶段寻求能力与成本的最优平衡。但对Catasta而言,这种动态路由仍只是智能体与模型协同这一宏大研究命题中的一个环节。
"模型路由目前仍处于早期发展阶段,我们预计后续研究将在适时为用户提供最优智能方面取得更大突破,"Catasta解释道,"路由只是整个智能体研究框架中紧密交织的众多要素之一。"
Replit同样认为,自身在智能体使用方式上的深度洞察,是独立路由服务商难以复制的核心壁垒。Catasta表示,路由器需要推断请求的性质、难度、范围与意图,而Replit能够基于私有使用数据进行训练,并在整个用户群中观测这些信号。
"没有任何第三方路由公司能够针对我们自己的智能体复现相同的效果,"他说。
Q&A
Q1:Replit的Auto模式是如何选择模型的?
A:Auto模式是Replit的智能模型路由系统,会综合评估任务的质量需求、响应速度和成本,自动为每个任务选择最合适的底层模型。整个过程是动态的,随着任务的进展,系统可能在不同阶段切换不同模型,以在能力与成本之间寻求最优平衡。用户无需手动干预,Replit会基于自身积累的用户使用数据和智能体运行数据持续优化路由决策。
Q2:Replit的Free模式和Auto模式有什么区别?
A:Free模式是Replit推出的一种低成本智能体模式,不消耗用户的使用积分,并强制使用Auto模式选择模型,用户无法手动选择。但Free模式有使用上限,每五小时重置一次,Pro用户配额更高。Auto模式则是Replit的智能路由机制本身,目前已成为所有账户的默认设置。Core和Pro用户若需手动选模型,可切换至Power或Max模式。
Q3:模型路由领域目前有哪些主要玩家在布局?
A:目前模型路由领域正迎来密集布局。Stripe以约80亿美元收购了模型网关平台OpenRouter;Ramp上线了Router.com,将请求路由至满足性能要求的最低成本模型;SpaceX旗下Cursor推出了专为编程任务设计的自研路由器;Meta据报道正在内部开发名为"Switchboard"的路由系统;Replit则将自研的Auto模式设为全平台默认选项,并强调掌握智能体框架带来的独特路由优势。