首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >Gemma 3:单GPU/TPU运行的强大开源模型

Gemma 3:单GPU/TPU运行的强大开源模型

原创
作者头像
用户11764306
发布2026-05-27 21:16:22
发布2026-05-27 21:16:22
110
举报

Gemma 3:可在单张GPU或TPU上运行的最强模型

Gemma开源模型家族是实现让有用AI技术普及化这一承诺的基础。Gemma 3是一系列轻量级、最先进的开源模型,基于与Gemini 2.0模型相同的研究与技术构建。这些模型专为在设备上快速运行而设计——从手机、笔记本电脑到工作站——帮助开发者在任何需要的地方创建AI应用。Gemma 3提供多种规模(1B、4B、12B和27B),允许根据特定硬件和性能需求选择最佳模型。

开发者可使用的Gemma 3新能力

构建全球最佳单加速卡模型:Gemma 3在其规模上提供了最先进的性能,在LMArena排行榜的初步人工偏好评估中,超越了同尺寸级别的其他模型。这有助于在单张GPU或TPU主机上构建引人入胜的用户体验。

覆盖140种语言:构建能够使用用户母语的应用程序。Gemma 3开箱即支持超过35种语言,并预训练支持超过140种语言。

利用扩展的上下文窗口处理复杂任务:Gemma 3提供128k token的上下文窗口,使应用程序能够处理和理解大量信息。

使用函数调用创建AI驱动的工作流:Gemma 3支持函数调用和结构化输出,帮助自动化任务并构建智能体体验。

量化模型提供更快的高性能:Gemma 3引入官方量化版本,在保持高精度的同时减小模型尺寸和计算需求。

构建Gemma 3的严格安全协议

开源模型需要仔细的风险评估,方法平衡创新与安全——根据模型能力调整测试强度。Gemma 3的开发包括广泛的数据治理、通过微调与安全策略对齐以及稳健的基准评估。针对其增强的STEM性能,进行了关于滥用可能性(如制造有害物质)的特定评估,结果显示风险较低。

ShieldGemma 2内置图像应用安全

与Gemma 3一同发布ShieldGemma 2,这是一个基于Gemma 3构建的强大4B图像安全检查器。它提供现成的图像安全解决方案,输出三个安全类别的标签:危险内容、色情内容和暴力内容。开发者可进一步定制以满足自身安全需求和用户需要。

准备与你已使用的工具集成

Gemma 3和ShieldGemma 2无缝集成到现有工作流中:

  • 使用喜欢的工具开发:支持Hugging Face Transformers、Ollama、JAX、Keras、PyTorch、某机构AI Edge、UnSloth、vLLM和Gemma.cpp。
  • 数秒内开始实验:在Google AI Studio中即时访问,或通过Kaggle、Hugging Face下载模型。
  • 根据特定需求定制:附带重构的代码库,包含高效微调和推理的配方。可使用Google Colab、Vertex AI甚至游戏GPU进行训练和适配。
  • 按需部署:提供多种部署选项,包括Vertex AI、Cloud Run、GenAI API、本地环境等。
  • 在NVIDIA GPU上获得优化性能:NVIDIA直接优化了Gemma 3模型,确保从Jetson Nano到最新Blackwell芯片的任何规模GPU上都能获得最高性能。现已在NVIDIA API Catalog中提供,只需API调用即可快速原型设计。
  • 跨多种硬件平台加速AI开发:Gemma 3还为某机构云TPU优化,并通过开源ROCm™栈与AMD GPU集成。对于CPU执行,Gemma.cpp提供了直接解决方案。

模型与工具的“Gemmaverse”

Gemmaverse是由社区创建的Gemma模型和工具组成的庞大生态系统。为促进学术研究突破,推出了Gemma 3学术计划。学术研究者可申请某机构云积分(每项奖励价值$10,000)以加速基于Gemma 3的研究。

开始使用Gemma 3

  • 即时探索:在浏览器中直接以全精度试用Gemma 3(无需设置),通过Google AI Studio。从Google AI Studio直接获取API密钥,并配合Google GenAI SDK使用。
  • 定制与构建:从Hugging Face、Ollama或Kaggle下载Gemma 3模型。使用Hugging Face Transformers库或首选开发环境轻松微调和适配模型。
  • 部署与扩展:通过Vertex AI将自定义的Gemma 3成果大规模推向市场。在Cloud Run上使用Ollama运行推理。通过NVIDIA API Catalog中的NVIDIA NIMs入门。FINISHED

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Gemma 3:可在单张GPU或TPU上运行的最强模型
    • 开发者可使用的Gemma 3新能力
    • 构建Gemma 3的严格安全协议
    • ShieldGemma 2内置图像应用安全
    • 准备与你已使用的工具集成
    • 模型与工具的“Gemmaverse”
    • 开始使用Gemma 3
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档