在查看最新发布的大型语言模型（LLM）时，你经常会在标题中看到“MoE”。这个“MoE”代表什么？为什么这么多大型语言模型在使用它？

说明：本文节选自清华大学出版社2025年3月出版的《深入理解自然语言处理：从深度学习到大模型应用》（ISBN 978-7-302-68152-6），略有改动。

NNCF提供了一系列的训练时量化与训练后量化神经网络的接口支持，支持ONNX、OpenVINO、Pytorch等多种模型格式的压缩与量化。同时NNCF不光支持C...

通俗地说， 激活函数决定了神经元是否应该被“激活” ——即当前输入的综合信息是否足够重要，值得被传递到下一层。

近年来，随着生成式模型的飞速发展，利用合成数据进行预训练，已成为解决基于文本的行人检索任务数据稀缺、隐私敏感等问题的有效途径。然而，一个关键挑战也随之浮现：合成...

基因注释是理解基因组序列功能的关键步骤，但现有方法在处理复杂的基因进化模式和长距离序列依赖时仍存在明显局限。研究人员提出ANNEVO，一种基于混合专家架构的基因...

如果说二十世纪的药物发现是在一个小型图书馆里翻阅书目，那么当前的计算药物化学已进入了一个规模相当于整个互联网的数字宇宙。化学空间的边界正以指数级速度向外扩张——...

我们接触过很多企业，花了大价钱上线了智能问数平台，结果上线半年，真正日常使用的业务人员寥寥无几，最后平台慢慢就荒废了。为什么会这样？是业务人员不愿意用新工具？还...

在企业数据智能项目中，同样是实现"智能问数"能力，为什么有的项目90天就能交付上线，而有的项目却需要180天甚至更长时间？项目周期差异背后，究竟是团队执行问题，...

神经网络的发展最早可以追溯到 1943 年，当时数学家 McCulloch 和逻辑学家 Pitts 用数学公式模拟生物神经元，输入信号加权求和后，超过阈值则“激...

除了在真实大气数据上训练神经网络（如科学家用ACE2所做的），科学家们还在物理模型的预测上训练神经网络——然后用这些神经网络以闪电般的速度做出新预测。与物理模型...

相比传统的Monge-Ampère（MA）网格移动方法需要迭代求解非线性偏微分方程，UM2N通过神经网络前向传播直接预测网格变形，实现了近两个数量级的加速。