OpenMMLab-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

OpenMMLab

专栏成员

204

文章

279180

阅读量

51

订阅数

CVPR 2024丨基于文本可控的图生视频扩散模型

设计视频迁移动效模型

https://openxlab.org.cn/apps/detail/zhangyiming/PiaPia

OpenMMLab 官方账号

2024-06-27

2620

LLM推理后端性能大比拼，来自BentoML团队的深度评估！

LLM 后端量化模型性能

选择适宜的推理后端来服务大型语言模型 (LLMs) 至关重要。它不仅可以确保用户通过快速生成速度获得最佳体验，还可以通过 token 的高生成率和资源利用率降本增效。如今，开发者可以选择多种由知名研究和行业团队创建的推理后端。但是，为特定用例选择最佳后端可能具有挑战性。

OpenMMLab 官方账号

2024-06-17

1.8K0

InternLM2-Math-Plus全面升级，全尺寸最强的开源数学模型

数学性能开源 math 模型

数学能力是大语言模型推理水平的重要体现。上海人工智能实验室在推出领先的开源数学模型 InternLM2-Math 的三个月之后对其进行了升级，发布了全新的 InternLM2-Math-Plus。升级后的 InternLM2-Math-Plus 在预训练和微调数据方面进行了全面的优化，显著提高了其在自然语言推理、代码解题以及形式化数学语言上的性能。模型包括了 1.8B、7B、20B、8x22B 四种不同尺寸的版本，其中 1.8B、7B、20B 版本基于 InternLM2 基座，而 8x22B 版本则基于 Mixtral-8x22B 基座。

OpenMMLab 官方账号

2024-06-04

2360

丝滑小连招，部署 Vision Language 模型

量化模型数据并发部署

以上模型，除了 InternLM-XComposer2 外均采用 Llama 模型结构作为语言模块，而视觉模块则各有不同。LMDeploy 采用 AWQ 算法量化语言模块，并用 TurboMind 引擎进行加速，而视觉部分仍采用原有的 Transformers 对图片进行 encode。InternLM-XComposer2 模型的语言模块，使用了 Plora 对原本的 Llama 模型进行了微调。LMDeploy 在进行量化时，略过了 Plora 部分的权重，推理时 Plora 保持 w16a16 计算不变。我们挑选了 3 款模型，在 MMBench 数据集上，评测并对比了其量化前后的模型精度。如下表所示，LLaVA、InternVL-Chat 量化后，精度几乎无损，InternLM-XComposer2 略有损失。

OpenMMLab 官方账号

2024-06-04

2250

Latte专场：深度解析视频生成与训练技术的最新进展

工作解决方案模型设计视频

本次分享将聚焦于基于机器学习的视频生成这一内容，旨在梳理其从 GAN 到 Diffusion Model 的发展演变。讲者将深入探讨从 DCGAN 问世以来至 Stable Diffusion，以及如今的 DiT 技术下，视频生成模型的设计思想和代表工作。

OpenMMLab 官方账号

2024-04-14

3020

具身智能中的多模态三维感知思考

框架论文模型数据系统

从驾驶场景到室内场景，具身三维感知系统面对的是更复杂的室内语义，更多样的物体类别和朝向，以及大不相同的感知空间和需求。重新思考其中差异和数据基础，EmbodiedScan 团队构造了一套基于第一视角的多模态全场景三维感知系统/工具包，从数据标注到模型训练，从基准构建到任务评测，以大规模真实场景扫描和面向下游的全面标注为基础，训练出一套可直接部署、且在开放场景表现优异的基础模型，旨在构建一套可量化的、面向通用具身场景的感知系统基准，并希望通过开源推动领域发展。

OpenMMLab 官方账号

2024-03-07

5790

谁是最强多模态模型？评测框架 VLMEvalKit 全方位揭秘多模态能力

性能开源测试框架模型

不同的多模态模型通常会提供不同评测集上的测试结果，但迄今为止，尚无一个统一的开源评测框架来全面覆盖这些多样化的模型和评测集。

OpenMMLab 官方账号

2024-01-19

1.4K0

CV领域不断突破，原创成果连连！音频领域初探自带光环！OpenMMLab季报报告请收好

数据算法音频开源模型

时光荏苒，岁月如梭，不知不觉，我们又一起走过了 2023 年。在刚过去的三个月里，OpenMMLab 又攒了哪些“瓷器活儿”，各个算法库进行了哪些重大更新？社区里开展了哪些精彩的活动呢？现在我们就来向社区的小伙们报告啦！

OpenMMLab 官方账号

2024-01-10

2980

实时推理+SOTA精度！RTMO引领MMPose姿态估计新高度

部署接口框架模型数据

实时高精度的单阶段人体姿态估计算法 RTMO 正式开源！RTMO 结合了坐标回归策略与 YOLOX 检测框架，克服了现有的单阶段人体姿态估计模型精度与速度难以兼得的难题。RTMO 具有两个突出的优势：

OpenMMLab 官方账号

2024-01-10

1.8K0

距离GPT-4更近一步?Mistral AI开源Mixtral MoE模型

开源 gpt 架构模型性能

随着 ChatGPT 的发布，大模型进入快速发展期，2023 年 2 月 Llama 模型的开源更是为社区注入新的活力，推动相关技术快速进步。全球范围内的大模型开发呈现出井喷式增长。国产大模型诸如 ChatGLM、Baichuan、InternLM、Qwen 和 DeepSeek 等，以其卓越的性能和本土化优势，吸引了广泛的关注和讨论。在国际舞台上，Falcon、Vicuna、Mistral 等模型也同样赢得了全球开发者的青睐，开源模型的创新和潜力不断激发着社区的探索热情。

OpenMMLab 官方账号

2023-12-13

5890

距离GPT-4更近一步?Mistral AI开源Mixtral MoE模型

开源 gpt 架构模型性能

随着 ChatGPT 的发布，大模型进入快速发展期，2023 年 2 月 Llama 模型的开源更是为社区注入新的活力，推动相关技术快速进步。全球范围内的大模型开发呈现出井喷式增长。国产大模型诸如 ChatGLM、Baichuan、InternLM、Qwen 和 DeepSeek 等，以其卓越的性能和本土化优势，吸引了广泛的关注和讨论。在国际舞台上，Falcon、Vicuna、Mistral 等模型也同样赢得了全球开发者的青睐，开源模型的创新和潜力不断激发着社区的探索热情。

OpenMMLab 官方账号

2023-12-13

5320

MMDetection全流程实战指南：手把手带你构建目标检测模型

测试脚本模型数据终端

MMDetection 是一个由 OpenMMLab 开发的开源目标检测工具箱，基于 PyTorch 实现。该库提供了丰富的目标检测算法，包括经典的 Faster R-CNN、YOLO 和最新的一些研究成果，非常方便于研究者和工程师进行模型的训练和推理。具有高度模块化和可扩展性的设计，使得用户可以非常灵活地进行个性化配置和二次开发。这一工具箱已经成为目标检测领域的事实标准之一，被广泛应用于学术研究和产业界。

OpenMMLab 官方账号

2023-12-13

10.8K3

30+视觉/多模态工具！通用Agent工具库AgentLego给大模型一双 “慧眼”

agent 工具接口模型系统

在当今大语言模型（LLM）的浪潮中，不管是由 OpenAI 领衔的一系列商业闭源模型，还是百花齐放的社区开源模型，在不断刷新技术边界的同时，也激发了大家越来越多的期待—— LLM 还能带来怎样的可能性？OpenAI 提供了插件系统，社区也涌现了一系列大模型智能体（LLM-based Agent）项目，让 LLM 学会借助外部工具，扩展自己的能力边界，向 AGI 更进一步。

OpenMMLab 官方账号

2023-12-13

9960

遥感、医学与更多领域前沿图像分割技术！MMSegmentation最新进展来啦

深度学习模型数据算法图像分割

在图像分割领域，MMSegmentation 是目前应用最广泛的开源算法库之一。自今年 v1.0 版本发布以来，MMSegmentation 在社区同学和核心开发者共同努力下，不断拓展到更多分割相关的视觉任务，包括遥感图像处理、医疗图像分割、深度估计和开放语义分割等。下面让我们逐一介绍这些新功能。

OpenMMLab 官方账号

2023-12-01

1.5K0

当分类从固定类别走向开放类别！基于MMPreTrain实现Prompt-base分类丨开源之夏中选项目分享

开源 prompt self 继承模型

「开源之夏 (OSPP)」是中科院软件所「开源软件供应链点亮计划」指导下的系列暑期活动，旨在鼓励在校学生积极参与开源软件的开发维护，培养和发掘更多优秀的开发者，促进优秀开源软件社区的蓬勃发展，助力开源软件供应链建设。

OpenMMLab 官方账号

2023-11-16

4250

一招带你轻松实现MM系列模型的一键转换与高效部署！

部署测试框架模型算法

模型转换一直以来都是在实际应用中很让人头疼的问题。在使用 OpenMMLab 等算法框架训练完模型后，我们通常得到模型的配置和权重文件。这些文件可以与待测数据一同加载到 image_demo.py 脚本中，从而观察模型预测效果。

OpenMMLab 官方账号

2023-11-15

7110

MMYOLO一站式上手指南，从安装、训练到模型优化全面覆盖

脚本可视化模型数据优化

MMYOLO 是一个基于 PyTorch 和 MMDetection 的 YOLO 系列算法开源工具箱，它是 OpenMMLab 项目的一部分。MMYOLO 定位为 YOLO 系列热门开源库以及工业应用核心库，其中实现了很多 YOLO 系列的算法（YOLOv5、v6、v7 以及 RTMDet-Rotated、RTMDet）。

OpenMMLab 官方账号

2023-11-13

1.7K0

大模型能成为你的私人医生么？中文医疗大模型评估基准CMB现已加入OpenCompass

医疗论文模型数据研发

近期，中国的医疗大模型研发正蓬勃进行，涌现了诸多具有影响力的工作，例如 BenTsao[7]、MedicalGPT[4]、Med-ChatGLM[5]、HuatuoGPT[1] 等。然而，由于缺乏标准化的基准，我们难以对这些模型的提升进行量化。为此，基于临床医学领域的行业特性，香港中文大学(深圳)的研究人员构造了中文医疗大模型评估基准 CMB，该基准通过选择题和复杂病历问诊任务对各模型的医学知识与诊断能力进行了全面评估。CMB 旨在为中文医学大模型的开发者们提供详细且精准的反馈，以加速模型的迭代过程，并推动中文医学领域语言模型的进一步发展与应用。

OpenMMLab 官方账号

2023-11-03

1.1K0

大模型要抢我工作？先看看这篇 AI 打工仔压榨攻略！

工作开发开发者模型索引

从一开始的荒芜到现在的勃勃生机，人工智能在引领人们进入更迅速的发展轨道。然而，大家都不知道舆论憧憬的“未来”是虚还是实，大家都在想。技术奇点是否真的到来，又是喜还是忧……

OpenMMLab 官方账号

2023-11-02

3450

最接近《银翼杀手》追踪杀人犯的AI？DiffBIR：统一的盲人脸修复和盲图像超分SOTA框架

开源变量框架模型优化

"这是我们到目前为止最接近《银翼杀手》中的"增强"功能的时刻。"近日，美国金融科技公司 Brex 技术负责人在推特（现更名为：X）上介绍近日火热的 DiffBIR 算法时，如是说道。

OpenMMLab 官方账号

2023-10-23

6860

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态