GPU并行计算中需要大规模地在计算节点之间同步参数梯度，产生了大量的集合通信流量。为了优化集合通信性能，业界开发了不同的集合通信库（xCCL），其核心都是实现 ...

如今的大语言模型（Large Language Model，简称LLM），无论是在底层的基座，还是下游的应用都取得了很大的成功。其中，在2022年同期发布的 L...

近年来，得益于大规模预训练，许多视觉语言基础模型在许多下游视觉任务上取得了显著成果，展现出了强大的泛化能力。其中，具有视觉语言预训练的模型，如 CLIP 及其在...

通过设计过的 prompt 样本提示指令，我们能够更有效地发挥模型的能力，选择更合适的生成方式，并进一步优化回答的品质和相关性。它不仅增加了我们与 LLM 模型...

LLM_USER_ID 是业务后端在 llm 服务端注册的用户的 id，LLM_KEY 是业务后端在 llm 服务端注册的用户申请到的密钥

【引】NLP中的经典组件在大模型应用中还有效么？大模型对自然语言处理中的典型任务有什么影响么？

最近大家都在探讨和尝试复现OpenAI O1的思考效果，解码出的关键技术方向，包括之前已经探讨过的Inference Time Scaling在推理过程中进行路...

Hello folks，我是 Luga，今天我们来聊一下 LLM（大型语言模型） 生态相关技术：LLM Gateway - LLM 网关。

在当今人工智能技术飞速发展的时代，大型语言模型(LLM)无疑已成为焦点炯炯的科技明星。自从ChatGPT的推出以来，其强大的自然语言理解和生成能力便惊...

Hello folks，我是 Luga，今天我们来聊一下人工智能（AI）生态领域相关的技术 - LLM -常见的本地运行 LLM 方法。

LLM Tokens 是 LLM 中的一个关键概念，直接影响着模型的输入表示和计算效率。作为一种文本数据在模型内部的表示形式，在文本上下文中，令牌可以是单词、单...

Hello folks，我是 Luga，今天我们继续来聊一下人工智能（AI）生态领域相关的技术 - LLM Hallucinations ，本文将继续聚焦在针对...

在日新月异的人工智能领域，语言模型已经成为舞台主角，重新定义了人机交互的方式。ChatGPT 的广泛认可以及 Google 等科技巨头纷纷推出类似产品...

理解并推理长序列对于大语言模型（LLMs）至关重要，尤其是在像多轮对话、代码生成、多文本文档总结和问答等任务中。这些任务通常需要处理成千或甚至数百万个 Toke...

时间序列预测在众多领域中具有重要意义，包括金融、能源管理（马丁等，2010年）、医疗保健、气候科学（穆德，2019年）和工业运营（王等，2020年）。传统的预测...

近年来，许多自然语言处理任务（NLP）和超出NLP范畴的能力得到了令人瞩目的表现。这些能力主要归因于学习涵盖了通用世界知识的广泛语料库。这些语料库是人类社会创造...

在 AI 代理开发中，您可以使用可用于大型语言模型 (LLM) 和视觉语言模型 (VLM) 的系统提示，为代理添加角色。

  大语言模型（后文简称LLM）已经火热了近两年，相信大家或多或少都学习过一些Prompt技巧。但你有没有思考过：为什么使用这些Prompt能得到更好的输出结...

大型语言模型（LLMs）是人类达到智能水平的重要一步。这些模型能够在几乎所有人类可以完成任何文本任务上达到合理的分数。