如何为科学构建GPT-3模型

如何为科学构建GPT-3模型

想要生成一幅关于“1932年摩天大楼顶上的午餐”风格的迅猛龙在摩天大楼上工作的图像吗？使用DALL-E。想要生成彼得·蒂尔、埃隆·马斯克和拉里·佩奇想象中的单口喜剧表演吗？使用GPT-3。想要深入理解COVID-19研究并根据证据回答问题吗？学习如何进行布尔搜索、阅读科学论文，或许还得读个博士学位，因为目前没有基于大量科学研究出版物训练的生成式AI模型。如果存在这样的模型，获得有证据支持、用通俗语言回答的科学问题答案将成为最简单的益处之一。

用于科学的生成式AI可以通过更容易、更便宜地发现新想法，帮助逆转科学创新速度的放缓。这类模型还可以对注定失败的治疗假设提供数据支持的预警，以平衡人类偏见，避免投入数十亿美元、耗时数十年的死胡同。最后，此类模型可以通过映射、权衡和背景化研究结果，提供可信度评分，来对抗可重复性危机。

那么，为什么我们还没有一个用于科学的DALL-E或GPT-3呢？原因是，尽管科学研究是世界上最有价值的内容，但它也是世界上最难获取和理解的内容。我将解释需要什么来大规模解锁科学数据，使科学的生成式AI成为可能，以及它将如何改变我们参与研究的方式。

是什么让科学研究数据具有挑战性

研究出版物是世界上有史以来最重要的内容和信息库之一。它们将跨时间和跨学科的想法和发现联系在一起，并由图书馆网络永久保存。它们有证据、分析、专家见解和统计关系的支持。它们极具价值，但大部分隐藏在网络之外，使用效率非常低。网络上充斥着可爱、令人想拥抱的猫咪视频，但基本上没有尖端癌症研究的内容。例如，科学引文索引是最全面的科学知识索引之一。它已经存在了几十年，但大多数读者可能从未听说过，更不用说使用过它。我们大多数人都无法获取研究论文，即使可以获取，它们也往往内容密集、难以理解，并且被打包成PDF格式——一种为打印而非网络浏览设计的格式。

由于科学论文不易获取，我们无法轻松使用这些数据来训练像GPT-3或DALL-E这样的生成式模型。你能想象吗，如果研究人员可以提出一个实验，AI模型可以立即告诉他们这个实验是否已经做过（更好的是，给出结果）？然后，一旦他们从一项新颖的实验中获得了数据，AI可以根据结果建议后续实验。最后，想象一下，如果研究人员可以上传他们的结果，AI模型可以为他们撰写论文草稿，这将节省多少时间。我们曾经最接近“科学的DALL-E”的是谷歌学术，但它不是一个可持续或可扩展的解决方案。IBM Watson也曾着手实现我在这里描述的许多目标，但大部分工作都是在近期大语言模型进展之前进行的，并且没有使用适当或充足的数据来匹配营销宣传。

为了解锁我所描述的这种价值，我们需要长期的投资、承诺和愿景。正如最近在Future上提出的，我们需要将科学出版物视为可以大规模组合和分析的“基底”。一旦我们消除了障碍，我们将能够利用科学来“喂养”数据饥渴的生成式AI模型。这些模型在加速科学和提高科学素养方面具有巨大潜力，例如通过训练它们生成新的科学想法，帮助科学家管理和驾驭浩瀚的科学文献，帮助识别有缺陷甚至伪造的研究，以及将复杂的研究成果综合并翻译成普通人能理解的语言。

我们如何才能获得一个用于科学的DALL-E或GPT-3？

如果你身处科技行业，向朋友展示DALL-E或GPT-3等生成式AI模型的输出就像在展示魔法。这些工具代表了下一代网络。它们源于对海量信息的综合，超越了简单的链接，创造出具有生成能力的工具。那么，我们如何在科学领域创造同样神奇的体验，让任何人都能用通俗语言向科学文献提问，并获得有证据支持的、可理解的答案？我们如何帮助研究人员创建、发展、完善和测试他们的假设？我们如何可能避免在阿尔茨海默病研究中浪费数十亿美元于失败的假设，以及避免错误地将遗传学与抑郁症联系起来？

这些问题的解决方案听起来可能像科幻小说，但有证据表明，当科学工作的用途超越其各部分的总和时，我们可以做出令人惊叹且不可思议的事情。事实上，利用蛋白质数据库中近20万个蛋白质结构，使AlphaFold能够准确预测蛋白质结构，这刚刚对每一个有记录的蛋白质（超过2亿个！）都做到了。以类似方式利用研究论文，将是自然而然的一步。

将论文分解为其最小组成部分

研究论文充满了有价值的信息，包括图表、统计关系以及对其他论文的引用。将它们分解为不同的组成部分并大规模使用，可以帮助我们训练机器完成不同类型的科学相关工作、提示或查询。简单的问题可能通过对一种组件类型的训练来回答，但更复杂的问题或提示则需要整合多种组件类型，并理解它们之间的关系。

一些复杂的潜在提示示例包括：

• “告诉我为什么这个假设是错误的”
• “告诉我为什么我的治疗方法行不通”
• “生成一个新的治疗想法”
• “支持社会政策X的证据是什么？”
• “谁在这个领域发表了最可靠的研究？”
• “根据我的数据为我写一篇科学论文”

一些团体正在朝着这个愿景取得进展。例如，Elicit将GPT-3应用于数百万篇论文的标题和摘要，以帮助回答研究者的问题——有点像科学版的Alexa。系统提取了实体之间的统计关系，显示了不同概念和实体是如何关联的。Primer本身并不专注于研究论文，但它与arXiv合作，并为公司和政府提供了一个信息仪表板，用于综合和理解来自许多来源的大量数据。

访问所有组成部分

不幸的是，这些团体主要只依赖标题和摘要，而非全文，因为大约六分之五的文章不是免费或容易获取的。对于像科学引文索引和某中心这样拥有数据或论文的机构，它们的许可和使用范围是有限的或未定义的。就某中心而言，目前尚不清楚为什么没有公开宣布利用谷歌学术中的全文科学研究来训练AI模型的努力。令人惊讶的是，即使在COVID-19大流行使世界陷入停滞期间，这种情况也没有改变。某中心的AI团队挺身而出，为公众提供了一种询问COVID-19相关问题的方式。但是——关键点在于——他们只使用了PubMed的开放获取论文，而不是谷歌学术。

获取论文并不仅仅一次阅读一篇地使用它们，这个问题是一些团体倡导了几十年的。我个人也为此工作了近十年，在博士最后一年的夏天推出了一个名为The Winnower的开放获取出版平台，然后在另一家名为Authorea的初创公司致力于构建“未来的文章”。虽然这两项计划都没有完全按照我设想的方式实现，但它们引导我走向了目前在scite的工作，该公司通过与出版商直接合作，至少部分解决了访问问题。

连接组件并定义关系

我们在scite的目标是引入下一代引用——称为智能引用——它显示任何文章、研究人员、期刊或主题如何以及为什么被引用，以及更广泛地在文献中被讨论。通过与出版商合作，我们直接从全文文章中提取他们在正文中使用参考文献的句子。这些句子提供了关于新工作如何引用论文的定性见解。这有点像研究领域的“烂番茄”。

这需要访问全文文章，并与出版商合作，以便我们能够使用机器学习大规模提取和分析引用语句。因为有足够的开放获取文章可以开始，我们能够构建概念验证，并一个接一个地向出版商展示我们系统中索引文章的可发现性提高，并为他们提供一个系统来显示更好的指标以进行更负责任的研究评估。我们视为专家陈述的内容，在他们看来是其文章的预览。现在出版商已经大规模签约，我们已从超过一半的已发表文章中索引了超过11亿个智能引用。

使用关系数据训练AI模型

从论文中提取的组件和关系可用于为研究训练新的大语言模型。GPT-3虽然非常强大，但并非为科学研究而构建，并且在回答类似SAT考试的问题上表现不佳。当GPT-2通过在其上训练数百万篇研究论文进行适配时，它在特定知识任务上的表现优于单独的GPT-2。这凸显了用于训练模型的数据极其重要。

一些团体最近使用GPT-3来撰写学术论文，虽然这令人印象深刻，但它们可能声称展示的事实或论点可能是非常错误的。如果该模型连简单的SAT风格问题都答不对，我们能信任它写一整篇论文吗？SCIGen比GPT-3早了近20年，它表明生成看起来真实的论文相对容易。他们的系统虽然简单得多，但生成的论文被多个会议接受。我们需要一个不仅看起来科学，而且本质上就是科学的模型，这需要一个系统来为机器和人类验证主张。Meta最近引入了一个用于验证维基百科引用的系统，一些出版商曾公开表示希望他们的学术出版物也能有类似系统。

当前进展

再次强调，实现这一系统的关键障碍之一是缺乏获取论文和创建系统所需的资源。在论文或信息变得可以大规模使用的地方，我们确实看到工具和新模型的蓬勃发展。某中心的专利团队使用了1亿项专利来训练一个用于专利分析辅助的系统，有效地创建了一个GooglePatentBERT。其他机构也引入了如BioBERT和SciBERT等模型，尽管它们只针对特定学科领域约1%的科学文本进行了训练，但它们在学术任务上表现出色，包括我们在scite的引用分类系统。

最近，发布了一个ScholarBERT模型，它实际上使用了全部科学文献来训练BERT。他们克服了访问问题，但值得注意的是，他们对如何做到这一点语焉不详，只是强调其用途是“非消耗性的”。这个用例可能为其他人在没有出版商明确许可的情况下使用文章打开了大门，并可能是创建“科学的DALL-E”的重要一步。然而，令人惊讶的是，ScholarBERT在各种专门知识任务上的表现比SciBERT等规模较小的科学语言模型还要差。

重要的是，BERT风格的模型规模远小于像GPT-3这样的大语言模型，并且它们不允许那种推动了GPT-3大部分热潮的通用提示和上下文学习。问题依然存在：如果我们应用来自ScholarBERT的相同数据来训练一个像GPT-3那样的规模化生成模型会怎样？如果我们能以某种方式展示机器的答案来源，或许直接将它们与文献（如智能引用）联系起来，那会怎样？

为什么是现在？

幸运的是，论文正变得更加开放，机器正变得更加强大。我们现在可以开始利用论文和相关知识库中包含的数据来训练机器，以基于研究回答问题和综合新想法。这可能会对医疗保健、政策、技术以及我们周围的一切产生变革性影响。想象一下，如果我们不仅仅搜索文档标题，而是专门搜索答案，这将如何影响所有学科的研究和工作流程。

将世界科学知识从可访问性和可理解性这两大障碍中解放出来，将有助于推动网络从专注于点击、浏览、点赞和注意力，转向专注于证据、数据和真实性。制药公司显然有动力实现这一点，因此越来越多的初创公司正在使用AI识别潜在的药物靶点——但我相信公众、政府以及任何使用某中心搜索的人，可能愿意为了信任和节省时间而放弃免费搜索。世界迫切需要这样一个系统，而且需要得快。FINISHED