首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

揭秘MiniMax的「省钱」绝招

这样做的目的,就是在保持线性复杂度的同时,让模型在特定任务或数据上能获得更优表现,比如运行速度更快、内存占用更少,或者能生成更相关的注意力分布,从而提升整体效果。...但由此带来的问题是,高速推理会加速强化学习(RL)的缩放进程,让模型生成的响应越来越长,变得冗余。...CISPO 不直接裁剪 token,而是保留所有 token 的更新,修剪重要性采样(importance sampling)权重来保持训练的稳定性。...简单来说,就像大脑(训练内核)想好了最优方案,但手脚(推理内核)却跟不上或执行不到位,自然难以取得好成绩。...,时长00:35 当 Agent 规模化应用已成定局,MiniMax-M1 开源更大的意义在于,给行业提供了一个新思路:RAG 等“外挂”或许能短期内提高 Agent 的落地效果,但长期来看,基座模型本身的持续进化

8600

全面评测 MiniMax Agent:不止于聊天,它想成为你的全能 AI 任务管家

我们进行了深度剖析。 MiniMax Agent 的任务广场,你能想到的,它几乎都能尝试。 核心能力拆解:它凭什么这么“横”?...但 MiniMax Agent 将其提升到了新高度——理解并执行一个包含多种模态的复杂“任务流”。...编写代码,使用 HTML 和 CSS 完美复刻这个设计稿,确保页面是响应式的,在手机和桌面端都能良好显示。...如何体验 MiniMax Agent 已进入内测。 可通过 Google 账号登录官网 https://agent.minimax.io/ 免费尝鲜。...图 4月份央妈报道画面,来自于MiniMax公司的白板内容 Minimax对Agent的探索,正在朝着自己的方向稳步前进。 当然,MiniMax Agent 并非完美。

78740
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MiniMax深夜开源首个推理模型M1,这次是真的卷到DeepSeek了。

    而第一天(也就是昨天),发布了他们MiniMax Week的第一个项目:开源MiniMax首个推理模型M1。 出手就开源,还是秀的,看看跑分。...比如用户和AI进行了一系列对话,用户要求AI写一些东西,比如诗、谜语、文章。在这些对话中,会刻意插入多个看起来类似的话题(比如多首关于企鹅的诗)。.../MiniMax-M1 目前在MiniMax的官网上也上线了。...就是...我让它数本草纲目里一共有多少药材= = 数了8分钟,最后跟我说,有400中种,但其实答案是1892种= = 不过我也能理解,这个任务,确实实在是太变态了。。。...写作和数学就不详细提了,写作这块中规中矩,数学的高考题实在没空完整做了,我觉得我需要抽空写一个脚本。 不过测了两道大题,目前是都对的。

    29330

    最小最大值算法-AI快速进阶系列

    智能代理需要能够通过评估每个节点来遍历图,以达到“良好”(如果不是最佳)状态。 但是,存在无法应用典型图形搜索算法的特定类型的问题。...这当然是一个简单的游戏,但与之相关的状态图非常复杂,有9!必须访问的节点。 虽然这个问题不能完全解决,但可以通过丢弃冗余且不能提供更好解决方案的节点子树来缓解。...限制 尽管 alpha-beta 修剪减轻了计算成本,但它只允许算法在合理的时间限制内更深入地检查几层。指数级的计算复杂性限制了算法对层数很少的游戏的能力。...这允许算法在有限深度下检查状态,并选择良好但不是最佳解决方案。 7. 结论 在本文中,我们讨论了 Minimax 算法的功能以及通常应用它的领域。...然后,我们回顾了它的弱点,并介绍了一种通常用于解决这些问题的修剪技术。最后,我们讨论了算法的局限性以及为更高级和计算上可行的算法奠定基础的解决方案。

    17310

    【深度】浅述:从 Minimax 到 AlphaZero,完全信息博弈之路(1)

    如果一个玩家走了很多步,我们将它当成“复杂的一大步”就行了。 ?...实际中 Minimax 算法的运行 (带遍历顺序),来源:Wikipedia 当然了,现实中还有另外一个冷酷的“上帝”,那就是 Murphy's law (墨菲定律)。...我们构造一个所谓的估值函数(evaluation function),它的目的是估计某个局面的 Minimax 评分,这样我们我们就不用搜索到终盘才能得知结果。...这是很有趣的事情:虽然alpha-beta剪枝优化的是分支因子 ? ,但是在算法的实际运行中,效果反而类似于优化了深度 ? 。...良好的alpha-beta剪枝可以使得算力相同时搜索深度增大一倍,而能看远一倍的对手是非常可怕的。

    2.6K70

    用cherry studio+高德 + MiniMax 逛午门,解锁 “听” 古代大臣挨揍现场的奇妙体验

    ,能顺滑实现 MCP 链接,让我们用多元 MCP 合力搭建 “聆听故宫 秘事” 的奇妙通道,深挖午门里帝王将相那些不为人知的过往~ 关于cherry studio配置MCP的前置教程 如果想正常的运行...MCP的话,你得进行依赖的安装操作 这里我们是需要安装Uv和Bun两个依赖的 这个安装界面我们直接点击右上角的-左边的对号就行了,如果你没有安装下面两个依赖的话他是一个红色的叉叉的 我们这里添加点击添加服务器...,选择从JSON导入 因为JSON导入的话难度比较低,如果是快速创建的话我们既要配置这个还要配置那个,就很麻烦,JSON导入的话我们直接把代码已复制粘贴进去就行了 如果是JSON的话,我们将蓝耘...就行了,因为我们是国内版本的 如果你是国外版本的haul你就得加上i了https://api.minimaxi.chat 现在我们需要获取api了 MiniMax是实现语音讲解的关键!...实现自定义播放控制按钮 * 支持语音解说的暂停/继续功能 ## 输出要求 * 提供一个完整的HTML文件,包含所有景区介绍内容 * 代码应当简洁高效,注释充分,易于维护 * 确保在不同尺寸的移动设备上都能良好展示

    15220

    AlphaGo背后的力量:蒙特卡洛树搜索入门指南

    简要介绍极小极大(minimax)算法和 alpha-beta 修剪算法 2 蒙特卡洛树搜索——基本概念 2.1 模拟——AlphaGo 和 AlphaZero 2.2 博弈树的展开节点、完全展开节点和访问节点...简要介绍极小极大(minimax)策略和 alpha-beta 剪枝算法 再次提醒,我们的最终目标是在给定博弈状态的前提下,利用博弈树寻找最有潜力的下一步行动。但这究竟是什么意思呢?...另一种克服博弈树规模过大问题的方法是通过 alpha-beta 剪枝算法来修剪博弈树。...极小极大算法和 alpha-beta 修剪算法已经是相当成熟的解决方案,目前已被用于多个成功的博弈引擎例如 Stockfish——AlphaZero 的主要对手之一。...因此最安全的选择是只要资源允许,就可以一直运行 MCTS。

    1.6K50

    【重磅】AlphaZero炼成最强通用棋类AI,DeepMind强化学习算法8小时完爆人类棋类游戏

    作者:闻菲,刘小芹,常佩琦 【新智元导读】或许“智能爆炸”不会发生,但永远不要低估人工智能的发展。...这根本就不是计算机,这压根儿就是人啊! Holy fu*ck,第9场比赛太特么疯狂了! DeepMind太神了! 我的神啊!它竟然只玩d4/c4。总体上来看,它似乎比我们训练的要少得多。...知乎用户陆君慨:棋类的解决框架一直都是基于 minimax + heuristic。以前围棋难是因为minimax在有着很大分支的游戏上无法产生足够的深度,并且heuristic难以设计。...然而,这些系统高度适应它们的领域,如果没有大量的人力投入,就不能归纳到其他问题。 人工智能的长期目标是创造出可以从最初的原则自我学习的程序。...训练进行了700,000步(minibatch大小为4096),从随机初始化的参数开始,使用5000个第一代TPU生成自我对弈,使用64个第二代TPU训练神经网络。

    1.7K60

    AI大模型独角兽 MiniMax 基于 Apache Doris 升级日志系统,PB 数据秒级查询响应

    MiniMax 以“与用户共创智能”为愿景,通过对大模型持续迭代,MiniMax 在国内率先完成核心 MoE 算法技术路线的突破。...随着模型复杂度以及模型调用量的不断提升,模型训练及推理产生的运行日志也在激增,这些数据对于 AI 应用的运行监控、优化及问题定位至关重要。...为此 MiniMax 开始寻找全新的日志系统方案,并对业界具有代表性的技术栈 Apache Doris 和 Elasticsearch 进行了对比,Apache Doris 在性能、成本以及易用性等方面均优于...尽管 Grafana Loki 定位为轻量级、水平可拓展和高可用的日志系统,但其在实际业务使用过程中仍存在一些问题:查询资源消耗过大: Loki 未对日志内容创建索引,只能按照标签粒度对日志进行初步过滤...因此,对用户的查询进行了时间范围截断, 避免查询范围过大;并提前统计所有表的每 15 分钟的数据量, 动态地预估用户在不同表中最大可查询的时间长度。

    21810

    AlphaGo的制胜秘诀:蒙特卡洛树搜索初学者指南

    极小化极大算法(Minimax)和剪枝算法(alpha-beta) 不要忘了,我们的最终目标是在给定博弈状态的情况下,利用博弈树找到最优胜率下法。 但究竟如何实现呢? 这个问题没有直接的答案。...但很明显,当对手换成一名高手时,同样的策略就会适得其反。 在完全不了解对手的情况下,我们可以使用一种非常激进的策略——极小化极大算(Minimax)。...另一种克服博弈树过大问题的方法是通过 alpha-beta 剪枝算法修剪博弈树。alpha-beta 剪枝算法可以看作升级版的极小化极大算法。它以极小化极大的方式遍历博弈树,同时避免某些分支的展开。...其结果在最好的情况下与极小化极大算法结果相同,但优势在于 alpha-beta 剪枝算法通过减少搜索空间提高了搜索效率。...总之 Minimax / Alpha-beta 剪枝算法已经是非常成熟的解决方案,现在已经被成功用在了各种的博弈引擎中,比如 Stockfish —— Alpha Zero 的主要竞争对手之一。

    1.4K60

    赫尔辛基大学AI基础教程:搜索和游戏(2.3节)

    Max正在看着棋盘,思考她的下一步行动,因为现在轮到她了,但这时她突然绝望地捂着脸,看起来就像1997年的加里·卡斯帕罗夫(Garry Kasparov)对战深蓝。...是的,Min在第一排即将获得三个O,但Max可以轻松堵住它。那么Max为什么如此悲观呢? 游戏树 为了使用AI来解决游戏,我们将介绍游戏树的概念。...我们用数字1,2,…,14对节点进行了编号。 ? 游戏继续在根节点中显示的棋盘位置,在顶部编号为(1),轮到Min将O放置在三个空白单元中的任何一个上。...如果有兴趣查看实际算法(警告:需要编程),请查看(https://en.wikipedia.org/wiki/Minimax)。 ? 听起来不错,但这就结束了吗?...注: 好的启发式评估 例如,良好的国际象棋启发式算法通常会计算按其类型加权的材料(棋子)总数:女王通常被认为价值是车的两倍,马或象的三倍,兵的九倍。

    86730

    游戏人工智能 读书笔记 (五) AI算法简介——树搜索

    具体就不详细展开了,应该是任何一本讲数据结构的书上都会讲到的。 显然这样的算法效率是很低的,基本上是不实用的。...另外一个提高搜索效率的方法是alpha-beta剪枝,从算法原理上来说,当我们在博弈树第L层(轮到玩家行动)的时候,我们需要搜索玩家可能的N个动作节点 的时候,如果我们在搜索前t个Node的时候,...因为该节点的Value值由其子节点的最小值决定,因此在我们搜索 的m个子节点 的时候,如果搜索到第k个子节点的时候,其子节点的Value 已经小于第L层当前最大的Value值 的时候,那么就不用继续搜索...可以看到,即使加上一些剪枝和规则判断的过程,Minimax搜索的过程效率还是不高的。并且Minimax搜索也不能应用到一些非完全信息博弈游戏(如扑克,桥牌)和非确定性的游戏(如大富翁,双陆棋)上。...State Evaluation的函数的问题,事实上,对于一般的MCTS来说,只有两个信息是需要的:游戏的规则(定义怎么走子和合法动作) 和 终局状态(定义游戏结束的状态),其起始状态是根节点,然后随着算法的运行

    1.3K62

    AlphaGo对战李世石谁能赢?两万字长文深挖围棋AI技术(一)

    文章还结合作者本人的经历对围棋算法与中国象棋算法的差异进行了比较。 本文原标题:AlphaGo的棋局,与人工智能有关,与人生无关 前言:人生如棋 回顾一下我的人生,似乎和棋是有一些关联的。...MiniMax搜索/Alpha-Beta剪枝和象棋 这个算法最早是冯诺依曼提出来的。其实每一个下棋的人可能都在不自觉的使用这个算法,只不过没有形式化的语言描述出来而已。...Alpha-Beta剪枝 (from https://en.wikipedia.org/wiki/Alpha%E2%80%93beta_pruning) 假设minimax是4层的深度优先搜索,并且是如图的从左到右的顺序...当然上面是非常形式化的描述,其实在实际的下棋过程中我们可能自觉不自觉的使用了alpha-beta剪枝。...细节就不再展开讨论了。

    85450

    没有大招的火山引擎,拿下70%大模型玩家

    但席卷全球的这场大模型竞逐战,没有人会主动放弃阵地。 最新线索,在上海露出端倪。...在推理场景下,基于Stable Diffusion的模型,端到端推理速度是PyTorch的3.47倍,运行时对GPU显存占用量降低60%。...吴迪介绍,火山引擎的自研DPU,将算力层和平台层统一起来进行了整体优化。比如,将通信优化的算法直接写到网卡硬件中,以降低延迟、削减拥塞。...MiniMax和火山引擎一起为大模型训练搭建了高性能计算集群,一起致力于提升大模型训练的稳定性,保证了千卡训练的任务稳定运行数周以上。...从今年开始,MiniMax又和火山引擎在网络和存储上进行了更深入的优化合作,实现更低的网络延迟,将带宽利用率提升了10%以上。

    34310

    模型调参和超参数优化的4个工具

    有时,当您的模型过度拟合(在训练集上表现良好而在测试数据集上表现不佳)或欠拟合(在训练数据集上表现不佳而在测试数据集上表现良好)时,优化您的超参数确实会有所帮助。...使用它需要五个简单的步骤(我假设您已经对数据进行了预处理): 安装Tune pip install tune 选择搜索算法。有很多可供选择。...Optuna 使用修剪算法。修剪是机器学习和搜索算法中使用的一种技术,通过删除树中非关键和冗余的部分来对实例进行分类,从而减小决策树的大小。...Optuna 中的修剪会在训练的早期阶段自动停止没有希望的试验,您也可以将其称为自动早期停止。Optuna 提供以下修剪算法: 异步连续减半算法。 超频带算法。 使用中值停止规则的中值修剪算法。...Hyperopt 旨在适应基于高斯过程和回归树的贝叶斯优化算法,但遗憾的是它们目前尚未实现。

    2.4K30

    深度学习中的模型修剪

    对该网络进行10个时期的训练可以为我们奠定良好的基础- ? 现在开始修剪吧!我们将使用tensorflow_model_optimization(别名为tfmot)。...另外,您可能需要试验一下frequency(表示应应用修剪的频率),以便获得良好的性能以及所需的稀疏性。...) def get_sparsity(weights): return 1.0 - np.count_nonzero(weights) / float(weights.size) 在修剪的模型上运行它应该为修剪的所有层生成...我们可以观察到相对于其他两个模型,性能有所下降,但这是可以预料的,因为我们不是从一个已经训练好的模型开始的。 当我们通过从头开始训练来修剪网络时,通常会花费最多的时间。...中奖的彩票 Frankle等人在他们关于彩票假说的开创性论文(https://arxiv.org/abs/1803.03635)中对第一个问题进行了极大的探索。

    1.2K20

    Python 人工智能:11~15

    在本章结束时,您将对以下概念有更好的理解: 游戏中的搜索算法 组合搜索 Minimax 算法 Alpha-Beta 修剪 Negamax 算法 构建一个机器人来玩 Last Coin Stand 构建一个玩井字棋的机器人...Alpha-Beta 修剪 Minimax 搜索是一种有效的策略,但最终仍会探索树上不相关的部分。 当在节点上找到指示符,表明该子树中不存在解决方案时,则无需评估该子树。...此过程称为,称为修剪,Alpha-Beta 修剪是一种策略,用于避免搜索树中不包含解决方案的部分。 Alpha-Beta 修剪中的 Alpha 和 Beta 参数是指计算过程中使用的两个边界。...就简单性而言,这是它比 Minimax 更具优势的地方。 Minimax 要求第一个玩家选择具有最大值的移动,而第二个玩家必须选择具有最小值的移动。 这里也使用 Alpha-Beta 修剪。...我们了解了 Minimax 和 Alpha-Beta 修剪。 我们了解了 Negamax 算法是如何在实践中使用的。 然后,我们使用这些算法来构建用于玩“最后的硬币站立”和“井字棋”的机器人。

    1.8K10
    领券