大规模语言模型虽然在各大自然语言处理任务上都展现了优越的性能，不过算术类题目仍然是一大难关，即便是当下最强的GPT-4也很难处理基础运算的问题。
前言 最近在用Polymer封装纯数字的输入框，开发过程中发现不少坑，也有很多值得研究的地方。本系列打算分4篇来叙述这段可歌可泣的踩坑经历： 《动手写个数字输入框1：input[type=numbe
前两天，OpenAI对step-by-step数学推理问题发表了最新的研究，指出了「过程监督优于结果监督」的结论，旨在提升GPT-4的数学推理能力。今天给大家分享的这边篇文章就是基于该理论（「好像比OpenAI要早」），旨在提升模型大数计算能力，基于LLaMA预训练了Goat模型，Goar-7B在Zero-shot上的准确效果，堪比、甚至超越PaLM-540B模型的Few-shot结果；在大数计算方面远超GPT-4。
克雷西 发自 凹非寺 量子位 | 公众号 QbitAI GPT-4的使用成本，竟然是GPT-3.5的50倍之多； 而让大语言模型同时处理25个请求的时间，仅是处理单个请求的2倍…… 这些数据听上去可能有些出乎意料，但都是真实的。 它们出自一篇名为《大语言模型（LLM）开发者必须知道的数字》的GitHub文章。 文章发布之后仅1天，便获得了1200次星标。 文章基于真实的开发经验，介绍了提示工程、硬件资源、价格等方面的数据。 就算没有成为开发者的打算，拿来扩充一下知识储备也是极好的。 都有哪些数字值得关注
过去几个月里，Meta的LLaMA引领了一场语言模型的开源狂潮，并且随着大众对语言模型训练研究的深入，很多问题也都有了答案。
这种方法得到的模型，已经学会了看图玩扑克、算“12点”等任务，表现甚至超越了GPT-4v。
下面，让我们跟随Hugging Face的研究员Clémentine Fourrier一起，
年初，Sora 爆火，其带来的视觉冲击让我们不禁期待国内企业是否能给我们带来更多惊喜？谷歌发布的 Gemma 首次提出开放模型的概念，这是否是开源、闭源之外的第三条路线？智能编码工具的快速普及是否会带来全新的编程模式？被誉为生成式 AI 最先看到商业落地价值的“Agent”是否能在 2024 年给我们一些冲击？“大力出奇迹”的规律还将继续适用吗？
在企业人工智能中，有两种主要类型的模型：判别式和生成式。判别式模型用于对数据进行分类或预测，而生成式模型用于创建新数据。尽管生成式 AI 近来占据新闻头条，但企业仍在追求这两种类型的 AI。
近期，OpenAI首次开发者日上，不仅向大家演示了如何完全靠自然语言的输入创造出属于自己的GPTs，发布了帮助开发者在自己程序中构建Agent的Assistants API，同时表示多模态作为当前模型团队重点关注和发展的技术，开发者可以通过文本转语音 API 从文本生成人类质量的语音。
本文全面研究图像编辑前沿方法，并根据技术路线精炼地划分为3个大类、14个子类，通过表格列明每个方法的类型、条件、可执行任务等信息。
检索增强生成促进了 LLM 和实时 AI 环境的彻底改造，以产生更好、更准确的搜索结果。
在Word表格里选中要填入相同内容的单元格，单击“格式→项目符号和编号”，进入“编号”选项卡，选择任意一种样式，单击“自定义”按钮，在“自定义编号列表”窗口中“编号格式”栏内输入要填充的内容，在“编号样式”栏内选择“无”，依次单击“确定”退出后即可。
数据降维的重要性就不必说了，而用NN（神经网络）来对数据进行大量的降维是从2006开始的，这起源于2006年science上的一篇文章：reducing the dimensionality of data with neural networks，作者就是鼎鼎有名的Hinton，这篇文章也标志着deep learning进入火热的时代。 花了点时间读了下这篇文章，下面是一点笔记： 多层感知机其实在上世纪已经被提出来了，但是为什么它没有得到广泛应用呢？其原因在于对多层非线性网络进行权值优化时很难得到
数字人（Digital Human / Meta Human），是运用数字技术创造出来的、与人类形象接近的数字化人物形象。数字人可简单的分为 2D 数字人和 3D 数字人。本文使用的数字人是通过 MetaHuman Creator 制作工具生成的 3D 数字人。3D 数字人的驱动方式可简单的分为真人驱动和模型驱动。本文使用的驱动方式为真人驱动。
LLM的问题就是权重参数太大，无法在我们本地消费级GPU上进行调试，所以我们将介绍3种在训练过程中减少内存消耗，节省大量时间的方法:梯度检查点，LoRA和量化。
近日，来自UC伯克利、NYU等机构研究人员发现，微调后的多模态大模型，会产生灾难性遗忘。
ChatGPT4是目前最先进的基于Transformer的语言模型之一，其在自然语言处理任务中表现良好。但是，由于如此之高的复杂性和大量的参数，ChatGPT4对于一些具体应用场景的优化可能达不到我们的预期。因此，微调（Fine-tune）是一种常用的技术，可以根据特定任务使用实际数据集进一步优化模型。
摘要：尽管在各种复杂任务中表现出色，但现代大型语言模型（LLM）仍然难以处理一些对人类来说简单直观的数学问题，例如加法。虽然我们可以很容易地学习加法的基本规则，并将其应用于任何长度的新问题，但LLM也很难做到这一点。相反，他们可能依赖于训练语料库中看到的类似“案例”来寻求帮助。我们将这两种不同的推理机制定义为“基于规则的推理”和“基于案例的推理”。由于基于规则的推理是必不可少的，获得系统的泛化能力，我们的目标是探索究竟是基于规则的或基于案例的推理Transformers器的数学问题。通过精心设计的干预实验五个数学任务，我们证实，Transformers进行基于案例的推理，无论是否使用便笺，这与以前的观察，变压器使用子图匹配/快捷学习的原因。为了缓解这些问题，我们提出了一个规则遵循微调（RFFT）技术教Transformers执行基于规则的推理。具体来说，我们在输入中提供明确的规则，然后指示Transformers背诵并一步一步地遵循规则。通过RFFT，我们成功地使LLM在1-5位数加法上进行微调，以超过95%的准确度推广到12位数加法，比暂存器高出40%以上。这一显著的改进表明，教授LLM显式使用规则有助于他们学习基于规则的推理，并在长度上更好地概括。
为了创建新的 Llama 2 模型系列，我们从Llama预训练方法开始（在参数小的情况尽量学习更多高质量的数据），使用优化的自回归变压器，但进行了一些更改以提高性能。具体来说，进行了更强大的数据清理 ，更新了数据混合，对总标记数量增加了 40% 进行了训练，将上下文长度加倍，并使用分组查询注意力 (GQA) 来提高更大模型的推理可扩展性。 表 1 比较了新 Llama 2 型号与 Llama 1 型号的属性。
今天为大家介绍的是来自Lingpeng Kong团队的一篇论文。扩散模型在文本处理中获得了广泛关注，与传统的自回归模型相比，它们提供了许多潜在优势。作者在这项工作中探索了扩散模型与链式思考（Chain-of-Thought, CoT）的集成，CoT是一种在自回归语言模型中提高推理能力的成熟技术。
正像陆奇博士所说的那样，大型语言模型为从文本生成到问题回答的各种任务提供了令人印象深刻的能力，不仅彻底改变了自然语言处理(NLP)领域，而且作为基础模型会改变整个软件生态。
info: W. X. Zhao et al., “A Survey of Large Language Models.” arXiv, Sep. 11, 2023. Accessed: Sep. 18, 2023. [Online]. Available: http://arxiv.org/abs/2303.18223
机器之心专栏 机器之心编辑部 中山大学人机物智能融合实验室（HCP）在 AIGC 及多模态大模型方面成果丰硕，在近期的 AAAI 2023、CVPR 2023 先后入选了十余篇，位列全球研究机构的第一梯队。 其中一个工作实现了用因果模型来显著提升多模态大模型在调优中的可控及泛化性——《Masked Images Are Counterfactual Samples for Robust Fine-tuning》。 链接：https://arxiv.org/abs/2303.03052 使用预训练的大规模
在《如何用 Python 和 fast.ai 做图像深度迁移学习？》一文中，我为你详细介绍了迁移学习给图像分类带来的优势，包括：
机器之心报道 编辑：Rome 降低 ChatGPT 等大语言模型的 prompt 成本，斯坦福大学的这篇论文提供了全新的思路。 进入正文之前，先考虑一下像 ChatGPT 这样的 Transformer 语言模型（LM）的 prompt： 随着每天产生数百万用户和查询，ChatGPT 使用自注意力机制对 prompt 进行反复编码，其时间和内存复杂度随输入长度呈二次方增长。缓存 prompt 的 transformer 激活可以防止部分重新计算，但随着缓存 prompt 数量的增加，这种策略仍然会产生很大
CVPR2015 PAMI 2016 Fully Convolutional Networks for Semantic Segmentation Code: https://github.com/shelhamer/fcn.berkeleyvision.org
你问它： 3457 * 43216 = ，它回答 149261912 （这是错的。正确结果是 149397712）。
基于目标人群、用途和适用场景的不同，大模型市场可分为通用大模型和垂直大模型两大类。
论文地址：https://www.nature.com/articles/s41586-023-06291-2
今天为介绍一篇来自于香港理工大学，上海交通大学和上海人工智能实验室的文章，也是MolReGPT[1]的续作。
GPT 是由人工智能研究实验室 OpenAI 在2022年11月30日发布的全新聊天机器人模型, 一款人工智能技术驱动的自然语言处理工具 它能够通过学习和理解人类的语言来进行对话, 还能根据聊天的上下文进行互动,能完成撰写邮件、视频脚本、文案、翻译、代码等任务
从 Llama、Llama 2 到 Mixtral 8x7B，开源模型的性能记录一直在被刷新。由于 Mistral 8x7B 在大多数基准测试中都优于 Llama 2 70B 和 GPT-3.5，因此它也被认为是一种「非常接近 GPT-4」的开源选项。
前面我们讲了用R来拼图和排版，告别AI和PS(一)和用R来拼图和排版，告别AI和PS(二)：调节宽度和高度，今天我们来看看如何给图片添加一些注释信息。
我承认我又偷懒了，只是大概写了下提纲，和完成了第一章节的部分写作。不睡午觉的恶果啊，原本已经写好草稿，讲讲语言和信息的关系，结果，实在是回家后好困。
火热了半年多，国内大模型领域迎来中场战事，眼下入场的包括在垂直领域深耕多年的机构、企业，开始借助行业特色优势打入大模型战场。
谷歌研究科学家Quoc V. Le近期提出了一个1370亿参数语言模型FLAN，探讨了一种提高语言模型zero-shot学习能力的新方法。
点击 APP 界面上的【相机】复选框，在红外图像上层出现半透明的相机图像，默认透明度为 50%。
谷歌推出了全新的开源模型系列「Gemma」。相比 Gemini，Gemma 更加轻量，同时保持免费可用，模型权重也一并开源了，且允许商用。
1.1 根据原视频，截取产生1个包含很多关键帧的视频step1_output_larger.mkv
网上已经有很多关于微调的文章，介绍各种方式下的使用，这里不会赘述。我个人比较关心的是微调时的loss计算逻辑，这点在很多的文章都不会有相关的描述，因为大多数人都是关心如何使用之类的应用层，而不是其具体的底层逻辑，当然咱也说不清太底层的计算。
ChatGPT最近凭借强大的功能席卷了互联网，起草法律合同、写小说都不在话下，甚至还能帮你编程。
单元格类型定义了在单元格中呈现的信息的类型，以及这种信息如何显示，用户如何与其进行交互。单元格类型可以被赋给单个的单元格，整行或者整列。 用户可以使用两种不同的单元格类型对表单中的单元格进行设置： 一种是可以简单地关联于单元格的文本格式，另一种就是显示控件或者图形化信息。我们在本篇介绍常用的文本单元格类型，下一篇介绍常用的图形单元格类型。 通用单元格GeneralCellType 对于表单中的单元格而言，通用单元格是默认的单元格类型。 除非你指定了其他的单元格类型，控件通常会默认将通用单元格类型赋给单元格。
作者丨王晋东 整理丨维克多 迁移学习是机器学习的一个重要研究分支，侧重于将已经学习过的知识迁移应用于新的问题中，以增强解决新问题的能力、提高解决新问题的速度。 4月8日，在AI TIME青年科学家——AI 2000学者专场论坛上，微软亚洲研究院研究员王晋东做了《迁移学习前沿探究探讨：低资源、领域泛化与安全迁移》的报告，他提到，目前迁移学习虽然在领域自适应方向有大量研究，相对比较成熟。但低资源学习、安全迁移以及领域泛化还有很多待解决的问题。 针对这三方面的工作，王晋东提供了三个简单的、新的扩展思路，以下是演讲
在大家不断升级迭代自家大模型的时候，LLM（大语言模型）对上下文窗口的处理能力，也成为一个重要评估指标。
地球科学是一门古老的学科，不仅研究岩石、矿物和土地的性质，还探讨地球的气候、海洋、大气、生态系统等多个方面现象和原理。地学与我们的日常生活息息相关，帮助我们预测天气，了解地球的演化历史，维护海洋生态系统平衡和海洋资源均衡等。同时火山活动、地震、恐龙化石、气象现象等引人入胜的内容，也被一个个地学工作者阐述出来，带给大家一个又一个令人惊奇和引人入胜的故事。
创意饼图 ▽ 觉得默认的饼图不够炫酷、不够养眼，木有逼格 没关系，今天就交给大家一种创意饼图的制作技巧 图标填充饼图 首先你需要下载两个代表男性、女性的图标素材 百度一下一大堆，最好是PNG格式
琳琅满目的乐高积木，通过一块又一块的叠加，可以创造出各种栩栩如生的人物、景观等，不同的乐高作品相互组合，又能为爱好者带来新的创意。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
