AMD 推出的科研 AI“Agent Laboratory”； Agent Laboratory的使用步骤

AMD 推出的科研 AI“Agent Laboratory”

1. **核心功能与优势**

- **一站式科研流程**：由 LLM 驱动，涵盖**文献综述、实验、报告**撰写三个阶段。用户只需提供科研想法和笔记，就能快速获得**研究报告和代码**，相比以往自主研究方法节省 **84%的研究费用**，凸显其高效性和经济性。

- **出色的代码性能**：生成的**代码可实现 SOTA（当前最优）性能**，且在实验过程中通过多种机制不断优化代码质量和稳定性，如 **mle - solver 模块**的程序采样、迭代优化、自我反思及性能稳定化措施等。

2. **工作流程详解**

- **文献综述阶段**：由**“PhD Student**”角色负责，利用 arXiv API 检索相关论文。先抓取前 20 篇论文摘要，再提取部分重要论文全文，最后经迭代筛选将相关文本纳入综述，直至达到指定数量**完成综述**，为后续研究奠定基础。

- **实验环节**

- **计划制定**：“PhD Student + Postdoc”依据综述和目标对话制定实验计划，涵盖**实验步骤、模型、数据集**等关键内容，Postdoc 提交计划作为后续指南。

- **数据准备**：“ML Engineer”用 Python 处理数据，可在 **HuggingFace 数据**集搜索资源，检查代码确保无误后提交，保障数据可靠性。

- **运行实验**：借助 **mle - solver 模块**，从高性能程序采样并迭代优化，执行代码后检查、评分、比较，依结果更新最优程序，同时进行自我反思和性能稳定化操作，确保实验高效执行。

- **结果解释**：“PhD Student + Postdoc”分析结果，合理则 Postdoc 提交解释，为报告撰写提供素材。

- **报告撰写阶段**：“PhD Student + Professor”通过“论文求解器”（paper - solver）完成。包括生成**初始框架、拓展文献资料、编辑报告、模拟评审、依意见修订**等步骤，以规范格式总结研究成果。

3. **模型性能评估**

- **对比实验结果**：用 GPT - 4o、o1 - mini 和 o1 - preview 完成 15 篇论文，由普通人按五个问题评分。o1 - preview 对研究最有帮助，o1 - mini 实验质量得分最高，GPT - 4o 表现最差。

- **审稿差异分析**：自动审稿与人工审稿差异显著，自动审稿倾向高估论文分数，平均分别为 6.1/10 和 3.8/10，表明在评估环节仍需关注两者差异及人工评审的重要性。

Agent Laboratory的使用步骤

使用Agent Laboratory的步骤如下：

1. 克隆GitHub仓库：使用`git clone git@github.com:SamuelSchmidgall/AgentLaboratory.git`命令克隆仓库。

2. 设置并激活Python虚拟环境：

- `python -m venv venv_agent_lab`设置虚拟环境。

- `source venv_agent_lab/bin/activate`激活虚拟环境。

3. 安装所需库：执行`pip install -r requirements.txt`命令安装依赖库。

4. （可选）安装pdflatex：若要编译LaTeX源代码，执行`sudo apt install pdflatex`。若因无sudo权限无法运行此步骤，可通过添加`--compile_latex=false`参数关闭pdf编译。

5. 运行Agent Laboratory：使用`python ai_lab_repo.py --api-key "api_key_here" --llm-backend "o1-mini" --research-topic "your_research_idea"`命令运行，其中：

- `--api-key "api_key_here"`：需替换为实际的API密钥。

- `--llm-backend "o1-mini"`：可根据需求选择不同的模型，如o1-mini或o1-preview等。

- `--research-topic "your_research_idea"`：替换为你的研究主题。

另外，还可以通过以下方式提高研究成果：

1. 详细记录笔记：在`ai_lab_repo.py`中修改`task_notes_LLM`结构，添加实验计划、API密钥、图表设计等详细信息，帮助智能助手更好地理解研究目标。

2. 选择更强大的模型：计算资源允许时，优先使用先进的模型，如o1-(mini/preview)或类似的最先进大型语言模型，但需在性能和成本效益之间取得平衡。

3. 从检查点加载之前的保存：若研究过程中遇到中断或失败，可在运行时添加`--load-existing True`参数从先前的状态加载进度。

在使用过程中，Agent Laboratory会通过多个智能体协作完成整个科研流程，包括文献综述、实验设计和报告撰写等阶段。每个阶段都有相应的智能体负责特定任务，并结合外部工具如arXiv、Hugging Face、Python和LaTeX等来优化结果。例如，在文献综述阶段，PhD Student智能体利用arXiv API检索相关论文；在实验阶段，ML Engineer智能体负责准备数据和运行实验等。具体流程可参考上述各阶段的详细介绍。