腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

在国产系统上部署开源大模型

本地部署大模型的方法很多，一般选择 docker 容器部署，或者使用本地服务框架。这里介绍使用本地服务框架 Ollama 部署。 Ollama 大模型框架 Ollama 是一个新兴的大模型框架，旨在为机器学习和人工智能研究提供高效、灵活和可扩展的解决方案。启动一个大模型非常简单，比如我想运行 gemma2 27b 参数的大模型： (base) alex@alex-deepin-os:~$ ollama run gemma2:27b pulling manifest 我使用的是 Google 的 Gemma2 9b 大模型，速度还挺快。如果你想尝试其它的大模型，可以去 ollama 的模型仓库看看。小结写到这里，是不是感觉到在 Deepin 系统上部署大模型太简单了？

2024-07-18

1.1K0

标签:

【大模型AIGC系列课程 3-2】国产开源大模型：ChatGLM

GLM https://arxiv.org/pdf/2103.10360.pdf GLM是General Language Model的缩写，是一种通用的语言模型预训练框架。具体来说，GLM通过随机遮盖文本中连续的标记，并训练模型按顺序重新生成这些遮盖的部分。这种自回归的空白填充目标使得GLM能够更好地捕捉上下文中标记之间的依赖关系，并且能够处理可变长度的空白。在生成过程中，模型可以根据之前生成的词片段和Part A中的上下文来预测下一个词片段。 d) 自注意力掩码：为了限制模型的注意力范围，

小爷毛毛_卓寿杰

2023-08-28

1K0

标签:

GLM-5.2 开源，国产大模型这几年走了多远？

近期，智谱开源GLM-5.2的消息已经刷屏了！说起来有点意思。前几年提到AI编程的第一梯队，大家默认就是Claude和OpenAI，偶尔加上谷歌的Gemini。国产模型更多出现在国产替代的讨论里，而不是全球顶尖的榜单上。但GLM-5.2这次的表现，让这个格局出现了松动。在Claude Fable 5之下，GLM-5.2拿下了开源界AI编程第一名，全球第二。有个实测：让GLM-5.2处理一个88万token的Appsmith开源项目，覆盖Web前端、后端、插件、部署和权限模块。他全程在旁边观察，没有干预。这个19分的跃升不是线性的，而是代表模型处理终端任务的能力从能跑变成了能打! 结语写这篇文章的时候，我一直在想一个问题：国产大模型这几年走了多远？早期的国产大模型，更多是在跟随和追赶。开源、长上下文、面向真实工程任务的Coding Agent底座——这条路线的价值，不只在于国产模型也能写代码，更在于它给开发者和企业提供了一个闭源体系之外的选择。

臻成AI大模型

2026-06-24

9960

标签:

Llama2开源后，国产大模型在卷什么？

这意味着，作为开源大模型的代表，Llama2 第一次进入了大范围的商业考量决策之中，开发者们拥有了一个免费、开源且足够商用的大模型底座。开源与闭源大模型的比赛从此刻开始正式打响。面对开源大模型更低的成本、更快的迭代速度、更高的定制化上限，闭源大模型的壁垒会由什么构建，成为一个问题。在 Llama2 推出之前，开源社区最强的大模型 Llama 在商用许可上具有限制，而 OpenAI 的接口在国内面临着不确定的监管风险，因此相比于两者，国产大模型在市场竞争中的优势通常是「可商用」、「 Llama2 的释出削弱了国产大模型创业公司在市场上的竞争力。「从许多公开的测试集上，我们可以看到，国内大部分的大模型公司的水平距离 GPT-3.5 仍然有距离」，一位 AI 方向资深投资人称。全球来看 GPT 的市场份额应当是最大的，而国内目前 Llama2 能够受影响的市场仅仅只是担心 GPT 受监管影响、且国产大模型都不适用的这部分客户，是一个「暂存市场」。

2023-09-08

8990

标签:

别再说国产大模型技术突破要靠 Llama 3 开源了

Meta还透露，Llama 3的 400B+ 模型仍在训练中。 Meta 顺利地保住了它在开源大模型领域的王座。开源本身是一件致力于打破技术垄断、有利于促进整个行业不断进步、带来创新的事情，但每次Meta一开源，从Llama 到 Llama 3，国产大模型都要经历一次来自国人的嘲讽和贬低。根据 SuperBench 标准测试结果可以发现，国产大模型早已有能强过 Llama 3 的大模型，国产大模型 GLM-4 和文心一言早就达到了 Llama 3 的实力，属于全球大模型竞争第一梯队。同样，经过过去一年的奋力追赶和学习，如GLM-4、文心一言这样的国产大模型打败了最强开源模型Llama 3，跻身全球竞争第一梯队，为只会跟随、模仿的国产技术正名。过去一直强调要睁开眼看世界，学习国外，但大模型时代，看看国产大模型过去一年的变化，我们更多缺少的是正视国产技术的进步。

2024-05-06

1K0

标签:

国产大模型已无公司可投

再看开源领域，以LLaMA-2为代表，整体实力也在迅速增强。纵向对比，相继奔赴大模型创业的公司太多了。据不完全统计，包含通用与垂直、开源与闭源不同类型在内，国产大模型数量已超百家。毕竟拉起队伍后，大模型商业模式不明确，盈利点不清晰，许多创业项目还停留在概念验证阶段。到训出大模型、拿出真产品，甚至赶上GPT-3.5，赛道上的国内选手们要走的路还挺长。仍持观望态度投资人们举着棋子不敢轻易尝试，还没买到入场券的，有的在观望，会不会在开源领域出现比LlaMA-2更厉害的模型，让大家都没得玩？还有的在等应用层的机会。 8个月前，ChatGPT一石激起千层浪；6个月前，国内的大模型赛道开始备受瞩目，热度逐渐如日中天。到现在，想走大模型路线通向AGI的人依旧络绎不绝。大火热炒半年，大模型身下燃烧的大火开始转向小火模式，在年初“宣布入局”和年底“模型/产品问世”之间的这段空隙，种种迹象表明，大模型创投界渐渐迎来了第一波冷静期。

2023-09-08

5850

标签:

国产大模型如何追上OpenAI

其高效的训练方法和较低的计算成本，可以给其他没有资源的公司借鉴一下，也验证了大规模的GPU集群不是训练大模型的必要条件。数据集才是关键？之前就曾经有爆料称，OpenAI的下一代大模型效果不及预期。这可能就说明，为什么迟迟不出来GPT-5了，因为提升幅度有限，所以把GPT-5改名成立了Orion目前最主流的说法认为，大模型的scaling raw正在慢慢失效，也就是目前的大模型尽管有着大量的数据集进行训练主要是现在大模型所需要的大规模数据集已经耗尽了，高质量的数据集其实没有多少。OpenAI就为此创建了一个“基础团队”，主要研究怎么合成高质量的数据，提供给大模型进行学习。而如果能够源源不断的提供给大模型一个高质量的数据集，那么确实有可能会进一步提升要生成高质量的数据，目前常用的方法是通过一个在相关内容上进行过预训练的大语言模型生成合成数据。写在最后其实国内的大模型能够追上来，算力落后不是一个关键，更为关键的原因在于能否获取到有用的数据集，来进一步提升模型的效果。

算法一只狗

2025-01-06

5510

标签:

腾讯技术创作特训营S11#重启人生

ClaudeCode-接入国产大模型

05 · 接入第三方 / 国产模型用 DeepSeek 等国产 / 第三方模型驱动 Claude Code，把账单砍下来系列导航：上一篇 04 · API 配置讲了怎么用官方 API Key 接通这一篇换个思路——把后面那个「大脑」整个换掉，用 DeepSeek 之类的国产模型来省钱。 ⚠️ 本篇开头先打个预防针：用第三方模型驱动 Claude Code 属于「实验性玩法」。模型就是发动机。原厂发动机（Claude）动力最猛但油费贵；你想省钱，可以拆下来塞一台国产发动机（DeepSeek）。车还是那辆车，开起来手感差不多，就是动力和油耗变了。那「换发动机」具体怎么换？维度官方 Claude（Anthropic API）第三方 / 国产模型（如 DeepSeek）价格贵，Opus 尤其烧钱 ✅ 便宜，常便宜一个数量级国内直连多数要魔法上网 ✅ DeepSeek 可一旦遇到那种「读懂五六个文件的调用关系、跨模块大重构」的活儿，DeepSeek 有两次漏掉了关键依赖，Claude 同样的 prompt 一次就对。

2026-07-16

1.2K0

标签:

Claude Code接入国产大模型

前言本文介绍在macOS环境中搭建Claude Code接入国产大模型的详细步骤。配置MiniMax国产大模型访问MINIMAX官网，注册并登录账号，申请API key。登录Claude Code 配置上述连接地址后，在终端执行 claude login，即可成功连接上大模型。通过 claude -p 指令进行问答快速验证效果，参数-p表示不要进入交互式会话。让它简要介绍下大模型，测试效果如下。

2026-03-04

3.4K0

标签:

简单3步部署本地国产大模型DeepSeek大模型

简单3步部署本地国产大模型DeepSeek大模型DeepSeek是最近非常火的开源大模型，国产大模型 DeepSeek 凭借其优异的性能和对硬件资源的友好性，受到了众多开发者的关注。本文将介绍如何通过简单 3 步在本地部署 DeepSeek 大模型，让你能够轻松体验这一强大的 AI 工具。 deepseek-r1的哪个版本的大模型？什么是OllamaOllama是一个开源项目，旨在让用户能够轻松地在其本地计算机上运行大型语言模型（LLM），是一个开源的大型语言模型服务。理论上就安装完成了，可以只在命令行中使用大模型了。修改路径文件保存路径可以不用改，如果C盘空间不够用，建议修改。

2025-02-13

7.3K0

标签:

腾讯技术创作特训营S11#重启人生