首页
学习
活动
专区
圈层
工具
发布
首页标签大模型部署

#大模型部署

免费搭建开放语言模型API的实用指南

用户11764306

Press enter or click to view image in full sizeImage by storyset on Freepik

3810

基于视觉大模型的实时监控系统技术实现解析

思通数科

若你正关注计算机视觉技术在货架状态感知场景的落地,寻求低成本、高复用性的实时监控技术方案,那么这款AI视觉系统的技术实现逻辑值得深入探讨。其核心围绕视觉感知与智...

5110

聚焦大模型落地:2025 年推理优化、MCP 探索与部署权衡的实战心得

fanstuck

2025年对我来说是充满挑战和收获的一年。这一年里,我聚焦于大模型应用落地与推理优化,从工程实践中总结经验。从提升大模型推理性能、调优OpenAI API参数,...

23856

大模型+高精度OCR双轮驱动:智能文档抽取技术赋能精准文档比对

中科逸视OCR专家

在合同审核、金融尽调或法律证据比对等场景中,专业人员常常需要面对堆积如山的文件。传统的文档比对依赖人工逐字逐句核对,不仅效率低下,而且容易因疲劳导致关键信息遗漏...

9310

资源有限,本地跑大模型太难?手把手教你用 llama.cpp 安全部署任意 GGUF 模型(含 DeepSeek-R1 实战)

ceagle

无需高端显卡、不依赖云服务、一行命令启动,支持流式输出 + OpenAI 兼容 API 本文提供一套生产级、可复现、安全加固的本地 LLM 部署方案,已成功...

33310

vLLM部署Qwen3:6B模型启动失败

yuezht

腾讯 | 高级工程师 (已认证)

忘记安装gcc g++ python-dev等依赖库,执行下面命令安装相应依赖库后解决

10500

【Claude Code 全攻略】终端AI编程助手从入门到进阶(2026最新版)

JasonAI爱街舞代码

作为Anthropic推出的终端级AI编程助手,Claude Code凭借项目级全局视野、自然语言交互和强大的实操能力,正在改变开发者的工作流程。本文从安装配置...

46910

轻量级大模型在RAG系统中的集成方案

七夜zippoe

轻量级RAG系统的核心设计理念是"检索增强+轻量化推理"的双重优化。传统RAG架构依赖大型语言模型(LLM)的强大能力,但在小型语言模型(SLM)场景下存在显著...

12010

进阶教程:基于 ModelScope 本地部署 Qwen3-4B 并使用诗词数据集进行模型训练指南

参谋带个长

本文仅用于技术分享和学习交流,内容不包含任何广告、推广、引流、付费课程或外链信息,即便出现链接地址也均为相关产品的官网地址(来自于网络公开资料)所有示例和配置均...

19420

ModelScope 模型选择完全指南:根据显卡配置选择合适的 AI 模型

参谋带个长

本文仅用于技术分享和学习交流,内容不包含任何广告、推广、引流、付费课程或外链信息,即便出现链接地址也均为相关产品的官网地址(来自于网络公开资料)所有示例和配置均...

29220

从零开始:基于 ModelScope 本地部署 CogVideoX-2B 文生视频完全指南

参谋带个长

本文仅用于技术分享和学习交流,内容不包含任何广告、推广、引流、付费课程或外链信息,即便出现链接地址也均为相关产品的官网地址(来自于网络公开资料)所有示例和配置均...

19520

从零开始:基于 ModelScope 本地部署 Stable Diffusion XL AI 绘画完全指南

参谋带个长

本文仅用于技术分享和学习交流,内容不包含任何广告、推广、引流、付费课程或外链信息,即便出现链接地址也均为相关产品的官网地址(来自于网络公开资料)所有示例和配置均...

15620

Sparse FlashAttention 算子架构分析与调优技巧

fanstuck

大规模Transformer模型的注意力机制在长序列情况下面临严重的计算和内存瓶颈:传统自注意力需执行级别的矩阵运算,并存储同规模的中间结果,频繁读写高带宽内存...

16410

从“生成”到“深度推理”:2026 大模型三巨头横评:Gemini 3 Pro、GPT-5.2 与 Claude Opus 4.5 谁更强?

羊cc

Gemini 3 Pro 是 Google DeepMind 于 2025 年11 月18 日 年底发布的旗舰级 AI 模型,标志着人工智能从单纯的“内容生成”...

71820

小模型大作为:小型语言模型如何在钓鱼网站攻防战中“以轻制重”?

草竹道人

中国互联网络信息中心 | 工程师 (已认证)

当大型语言模型(LLM)还在云端消耗数百GB显存、动辄需要数十万美元部署成本时,一群“身材娇小”的小型语言模型(Small Language Models, S...

6010

RAGAS的AnswerRelevancy指标分析

melodyshu

https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/answer_releva...

11910
领券