- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI工程落地
TensorRT LLM vs OpenPPL LLM
支持模型和功能对比PPL LLM只支持baichuan、chatglm、llama三个模型，Tensor-LLM支持几乎所有大模型。 TensorRT-LLM使用起来更方便模型量化TensorRT-LLM是离线量化，支持更多的量化方法，smooth quant、weight only、AWQ等PPL LLM是实时量化（i8i8），支持整个网络一起量化 模型DeployTensorRT-LLM量化结束，不需要deploy中间模型，直接进入编译器。部分模型可以支持onnx可视化PPL LLM不需要deploy以及编译，直接用onnx调算子。 /docs/llama_guide.md at master · openppl-public/ppl.llm.serving (github.com)TensorRT LLM原模型-->量化-->编译 两个框架都是tensor并行框架依赖Tensor-LLM需要依赖tensorrt，但主要是一些单算子（卷积、激活函数、gemm等），融合算子都是Tensor-LLM自带的。PPL LLM没有依赖
1.1K30编辑于 2023-11-21 - 来自专栏NewBeeNLP
LLM in Reranking——利用LLM进行重排
现有的涉及LLM的重排方法大致可以分为三类： 用重排任务微调LLM 使用prompt让LLM进行重排 以及利用LLM做训练数据的增强 本文中针对前两种方法介绍一些研究。 Method 使用TF-IDF相似度得到初步的候选文档集，再使用LLM进行重排。 LLM对召回的文档先进行打分，保留top K_1个文档，用超链接对这些文档进行扩展，再用LLM对扩展文档打分并挑选top K_2的文档，如此往复直到到达最大深度H。 一方面，LLM的输入长度对于一个文档列表来说还是十分受限的，必须通过滑动窗口或集成的方式才能实现文档输入。 另外，还有参数过剩与时效性的问题会导致LLM重排器难以落地。
3.1K30编辑于 2023-10-25 - 来自专栏前行的CVer
LLM评测
Open LLM Leaderboard（英文） Open LLM Leaderboard中包含有下列Benchmark： 所有能力 通用&数学&code——MT-Bench，由80个高质量的多轮对话问题组成的基准 是多个数据集的结合，划分了LLM的语言、知识、推理、数学、Code、Agent几类能力。
1K10编辑于 2024-08-05 - 来自专栏k8s技术圈
LLM On Kubernetes
从今年开始，人们对大型语言模型 (LLM) 及其在 GPU 基础设施上的部署的兴趣显着增加。这种不断增长的热情是由人工智能和机器学习的进步推动的，这需要 GPU 能够有效提供大量的计算能力。 Ollama 是一个开源的机器学习模型部署工具，它可以帮助您将模型部署到生产环境中，简化大型语言模型 (LLM) 的管理和交互。
58510编辑于 2024-07-20 LLM挂载&部署
limit_mm_per_prompt image=4 --max_model_len 8784 成功挂载： 在Dify中编辑“模型供应商”，添加更多模型供应商“OpenAI-API-compatible”，不仅支持LLM
21110编辑于 2025-05-22- 来自专栏磐创AI技术团队的专栏
拥有LLM模型
大型语言模型（LLM）越来越显示出其价值。将图像纳入LLMs使它们作为视觉语言模型更加有用。在本文中，我将解释一个名为GIT-LLM的模型的开发，这是一个简单但强大的视觉语言模型。 然而，在本文中，我尝试使用强大的LLM并进行微调。在这里，我称该模型为“GIT-LLM”。 使用Hugging Face的Transformers的LLM 我将使用Hugging Face的Transformers库来开发GIT-LLM。 我相信Transformers对于最近LLM衍生物的发展做出了重要贡献。 在其中，需要将一个视觉编码器与一个LLM连接起来。我将解释一些关键组件。
45810编辑于 2024-06-06 - 来自专栏charlieroro
LLM RAG系列
该方式用于通过LLM来选择知识库。 with function call llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0) structured_llm = llm.with_structured_output (structured_llm)输入提示(prompt)来产生结果 router = prompt | structured_llm 下面是使用方式。 还是作为一个代理工具，将其输出导入到其他LLM中进一步处理？如果是后者，可能需要限制传递到下一个LLM的上下文窗口的输出长度。 另外一个CRAG由于其他方法(如Self-RAG)的点是它可以灵活地替换底层LLM，如果未来可能要采用更加强大的LLM，这一点至关重要。
1.1K25编辑于 2024-04-02 - 来自专栏用户9703952的专栏
LLM安全专题
提示攻击 提示攻击是一种利用 LLM 漏洞的攻击方式，通过操纵输入或提示来实现。与传统黑客攻击（通常利用软件漏洞）不同，提示攻击依赖于精心设计的提示，欺骗LLM执行非预期的操作。 填空式攻击：输入被禁词汇的一部分，要求LLM补全剩余部分或根据上下文生成。 有效载荷拆分 有效载荷拆分涉及将攻击性输入分成多个部分，然后让LLM将它们组合并执行。 递归注入 需要在第一个 LLM 产生的输出在经过第二个 LLM 评估时产生恶意效果，比如下面的组合： 请提供以下主题或对象的正面信息，并谈论其与自然的关系： {{用户输入}} 第一个LLM在回答关于自然的问题之后 {{第一个LLM输出}}. 第二个LLM可能会按照嵌入的指令回答是，即使原始输出并未包含任何猥亵或冒犯性内容，这样一来就成功地完成了提示攻击。 代码注入 攻击者能让LLM运行任意代码（通常是Python），这种情况可能发生在使用工具增强的LLM中，LLM能够将代码发送给解释器执行。
45210编辑于 2025-02-06 - 来自专栏入门到放弃之路
LLM学习笔记：如何理解LLM中的Transformer架构
前言AI已经在我们的工作和生活中全面开花了，好久之前在GPT、混元大模型出来的时候，就想着能够学习一下关于AI的知识，所以这次打算从LLM开始学习，就问DeepSeek关于LLM的学习路线，DeepSeek 总结本篇文章主要是对 LLM Transformer 学习笔记的一个整理，内容更多的是一些概念性的东西，主要是了解 Transformer 的相关知识，为下一步的学习奠定基础。
54220编辑于 2025-03-10 - 来自专栏架构师成长之路
大模型llm：Ollama部署llama3学习入门llm
二、Ollama安装 1、Ollama简介 Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。 :11.020314Z", "response": "Here are the translations:\n\n**Chinese:** 《Meta Llama 3》：迄今最强大的公开可用的LLM \n\n**Korean:** 《Meta Llama 3》：현재 가장 강력한 공개 사용 가능한 LLM\n\n**Japanese:**\n\n《Meta Llama 3》：現在最強の公開使用可能 なLLM\n\n\n\nNote: (Meta Llama 3) is a literal translation, as there is no direct equivalent for \"Meta } ] }' 五、配置Open-WebUI 可以直接使用dify开源的llm ops集成：https://guisu.blog.csdn.net/article/details/138978737
6.5K00编辑于 2024-05-24 - 来自专栏第一专栏
LLM-TAP随笔——有监督微调【深度学习】【PyTorch】【LLM】
5.3、模型上下文窗口扩展 上下文窗口：在自然语言处理中，LLM（Large Language Model，大型语言模型）的上下文窗口指的是模型在处理文本时所考虑的文本片段或单词的范围。
59440编辑于 2023-09-26 - 来自专栏AI工程落地
TensorRT LLM--RMSNorm
LayerNormµ是均值，σ是标准差RMSNormRMSNorm删除了均值，性能提升7%-64%pRMSNorm再RMSNorm基础上，进一步只让前p%的元素参与运算论文给出的经验值：p=6.25%TensorRT-LLM
27020编辑于 2023-11-22 - 来自专栏计算机技术-参与活动
“LLM是否是泡沫”
，读再多的论文，刷再多的技术文章，也不如一次 debug 多机通讯报错带来的认知深刻一、LLM领域的发展与挑战二、LLM领域的机遇与前景三、对LLM是否是泡沫的判断“LLM是否是泡沫”培养自己鉴别论文价值的能力 然而，LLM领域也存在一些问题和挑战，这些问题在一定程度上引发了关于LLM是否是泡沫的讨论。 这些挑战限制了LLM在某些领域的应用，并可能导致一些人对LLM的未来发展持怀疑态度。 应用落地难度： 将LLM技术应用于实际场景中需要解决诸多问题，如数据整合、模型定制化、成本控制等。 二、LLM领域的机遇与前景 技术创新： LLM领域的技术创新不断涌现，如新的模型架构、训练算法、优化技术等。这些创新为LLM的进一步发展提供了有力支持，并推动了自然语言处理技术的整体进步。 这些政策为LLM技术的研发和应用提供了良好的政策环境和资金支持。三、对LLM是否是泡沫的判断 当前状况： 目前，LLM领域确实存在一些泡沫现象，如部分项目估值过高、技术应用过于乐观等。
12011编辑于 2024-11-24 - 来自专栏MySQL解决方案工程师
大型语言模型LLM
最近在学习OCI的生成式AI相关方面的内容，对相关内容做一下整理，内容涉及LLM基础、LLM架构、提示（Promot）、微调（fine-tuning）、各种模型、OCI的生成式AI、RAG，及向量数据库等等 什么是LLM？ LLM（Large Language Model）是大型语言模型的缩写，语言模型（LM）是一个文本的概率模型。为了能够简单说明该模型，在这里举一个简单的例子。 我们所需要学习的就是LLM如何利用这些词汇的分布生成文本，以及我们如何去影响词汇的分布。 LLM架构 LLM的多个架构聚焦在编码和解码，例如嵌入和生成文本。 LLM中的各种模型具备不同的能力，例如嵌入（emmbedding）/生成（generation），模型的类型不同导致了它们的参数数量不同。 以上内容是关于LLM基础及架构的一个简单介绍，后续会介绍提示及微调等方面的内容。感谢关注MySQL解决方案工程师。
41810编辑于 2024-06-14 - 来自专栏产品笔记
大语言模型(LLM)
研究者们发现通过扩大预训练语言模型的参数量和数据量，大语言模型（Large Language Model）能够在效果显著提升的同时，展示出许多小模型不具备的特殊能力（如上下文学习能力、逐步推理能力等）。最近，作为代表性的大语言模型应用ChatGPT展现出了超强的人机对话能力和任务求解能力，对于整个AI研究社区带来了重大影响。01
1.6K40编辑于 2023-09-09 - 来自专栏AutoML(自动机器学习)
LLM 入门笔记-Tokenizer
下图展示了完整的 tokenization 流程，接下来会对每个步骤做进一步的介绍。
78611编辑于 2023-12-02 - 来自专栏自然语言处理
【LLM 论文阅读】NEFTU N E: LLM微调的免费午餐
指令微调的局限性 指令微调对于训练llm的能力至关重要，而模型的有用性在很大程度上取决于我们从小指令数据集中获得最大信息的能力。 NEFTune可以实现在会话任务上惊人的性能跳跃，同时在事实问题回答基线上保持性能，这种技术似乎是LLM微调的免费午餐。 结论 NEFTune的成功指出了算法和正则化器在LLM训练中的重要性被忽视。与多年来一直在研究正则化和过拟合的计算机视觉社区不同，LLM社区倾向于使用标准化的训练循环，而不是泛化。 在这种环境下，LLM的研究人员已经专注于数据集和模型缩放作为前进的主要路径。考虑到NEFTune的一致性收益，以及在小指令数据集上的过拟合的倾向，似乎正则化值得在LLM设置中重新加入。 论文的研究有几个局限性： 采用AlpacaEval作为llm教学遵循能力的中心指标，它受到单一法官（GPT-4）偏见的影响。
51110编辑于 2024-01-10 - 来自专栏自然语言处理(NLP)论文速递
LLM推理速度飙升23倍！Continuous Batching：解锁LLM潜力！
（LLM）的推断过程以及传统批处理策略中存在的低效性。 示例迭代过程： 第一次迭代：LLM 生成第一个 token "S"，此时我们有 ["S"]。 第二次迭代：LLM 生成第二个 token "a"，此时我们有 ["S", "a"]。 它可以提高 LLM 生成的内存效率。 这些策略和方法旨在充分利用GPU内存，减少内存开销，从而提高LLM推断的吞吐量和效率。 Q10. 提高计算资源的利用率：LLM 推断通常是内存 - IO 受限的，而不是计算受限的，意味着加载数据到 GPU 的计算核心比在计算核心上执行 LLM 计算花费的时间更多。 这样做更有效地利用了芯片的内存带宽，提高了计算利用率、吞吐量，并降低了 LLM 推断的成本。 然而，LLM 推断是一个迭代的过程。
3K31编辑于 2023-10-24 - 来自专栏windealli
LLM Agent 简介
什么是LLM Agent导语GPT（尤其是GPT-4）等大语言模型（LLM）的推出，让人类认识到了大语言模型强大的文本生成能力。 只是用来做文本生成工具的话，LLM的能力就被严重低估了。 LLM Agent 概念定义关于LLM Agent， OpenAI 应用人工智能研究负责人Lilian Weng在其Blog中将LLM Agent定义为LLM、记忆（Memory）、任务规划（Planning 通过LLM和三个关键组件，LLM Agent可以拥有复杂的工作流程，其中模型基本上是与自身对话，而无需人工参与到交互的每个部分。 LLM Agent通过迭代运行并定义一些新的目标/任务，而非传统GPT那般接受单个查询的输入并返回输出LLM Agent 常见功能LLM Agent能够基于大语言模型进行对话、完成任务、推理，并可以展示一定程度的自主行为 LLM 与 三个组件LLM Agent 以 LLM 驱动，并需要三大组件辅助以完成工作（图片来自： https://lilianweng.github.io/posts/2023-06-23-agent
6.6K23编辑于 2024-01-12 - 来自专栏自然语言处理(NLP)论文速递
分享10篇优秀论文，涉及LLM对齐、LLM评估、LLM隐私、RAG增强等热门话题！
为了解决与 LLM 相关的高能耗和大内存问题，BitNet 提供了可扩展且高效的解决方案。 SELF-RAG 是一个新框架，通过按需检索和自反思来提高LLM的质量和真实性。它使用反射Token进行自评估，在各种任务中显着优于传统的LLM。该框架涉及两个组件：生成器和批评家模型。 在六项任务的评估结果中表明，SELF-RAG 优于经过预训练和指令调整的 LLM，包括那些具有更多参数的 LLM。 LLM评估 https://arxiv.org/pdf/2310.14424.pdf 本文解决了通过人工标注有效评估大型语言模型 (LLM) 的问题。 RepE 的应用之一是增强大型语言模型 (LLM) 中的诚实性，减少大模型幻觉。
99810编辑于 2024-01-31
腾讯云开发者
