pipeline(管道)是huggingface transformers库中一种极简方式使用大模型推理的抽象,将所有大模型分为音频(Audio)、计算机视觉(Computer vision)、自然语言处理(NLP)、多模态(Multimodal)等4大类,28小类任务(tasks)。共计覆盖32万个模型
今天介绍CV计算机视觉的第八篇,零样本物体检测(zero-shot-object-detection),在huggingface库内有36个零样本图像分类模型。
零样本物体检测是一项计算机视觉任务,用于在图像中检测物体及其类别,而无需任何事先训练或类别知识。零样本物体检测模型接收图像作为输入,以及候选类别列表,并输出检测到物体的边界框和标签。
比较典型的模型是google发布的owlvit-base-patch32,OWL-ViT 使用 CLIP 作为其多模态主干,使用类似 ViT 的 Transformer 获取视觉特征,使用因果语言模型获取文本特征。为了使用 CLIP 进行检测,OWL-ViT 删除了视觉模型的最终标记池层,并将轻量级分类和框头附加到每个 Transformer 输出标记。通过将固定分类层权重替换为从文本模型获得的类名嵌入,可以实现开放词汇分类。作者首先从头开始训练 CLIP,然后使用二分匹配损失在标准检测数据集上对分类和框头进行端到端微调。每个图像可以使用一个或多个文本查询来执行零样本文本条件对象检测。
str
或ModelCard
,可选)— 属于此管道模型的模型卡。str
,可选)— 要使用的框架,"pt"
适用于 PyTorch 或"tf"
TensorFlow。必须安装指定的框架。str
,默认为""
)— 管道的任务标识符。int
,可选,默认为 8)— 当管道将使用DataLoader(传递数据集时,在 Pytorch 模型的 GPU 上)时,要使用的工作者数量。int
,可选,默认为 1)— 当管道将使用DataLoader(传递数据集时,在 Pytorch 模型的 GPU 上)时,要使用的批次的大小,对于推理来说,这并不总是有益的,请阅读使用管道进行批处理。int
,可选,默认为 -1)— CPU/GPU 支持的设备序号。将其设置为 -1 将利用 CPU,设置为正数将在关联的 CUDA 设备 ID 上运行模型。您可以传递本机torch.device
或str
太str
或torch.dtype
,可选) - 直接发送model_kwargs
(只是一种更简单的快捷方式)以使用此模型的可用精度(torch.float16
,,torch.bfloat16
...或"auto"
)bool
,可选,默认为False
)——标志指示管道的输出是否应以序列化格式(即 pickle)或原始输出数据(例如文本)进行。str
、List[str]
或PIL.Image
)List[PIL.Image]
——管道处理三种类型的图像: List[str]
) — 该图像的候选标签str
,可选,默认为)— 与候选标签"This is a photo of {}"
结合使用的句子,通过用候选标签替换占位符来尝试图像分类。然后使用 logits_per_image 估计可能性float
,默认为 None)— 等待从网络获取图像的最长时间(以秒为单位)。如果为 None,则不设置超时,并且调用可能会永远阻塞。分别采用google/owlvit-base-patch32和google/owlv2-base-patch16-ensemble对该图片进行分类
采用pipeline代码如下
import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
os.environ["CUDA_VISIBLE_DEVICES"] = "2"
from transformers import pipeline
detector = pipeline(model="google/owlvit-base-patch32", task="zero-shot-object-detection")
output=detector(
"http://images.cocodataset.org/val2017/000000039769.jpg",
candidate_labels=["cat", "couch"],
)
print(output)
detector = pipeline(model="google/owlv2-base-patch16-ensemble", task="zero-shot-object-detection")
output=detector(
"http://images.cocodataset.org/val2017/000000039769.jpg",
candidate_labels=["head", "bird"],
)
print(output)
执行后,自动下载模型文件并进行识别:
在huggingface上,我们将零样本物体检测(zero-shot-object-detection)模型按下载量从高到低排序,总计36个模型,前10仅有google和IDEA-Research发布的模型,可能在物体检测方面,多数情况用不到zero-shot吧。
本文对transformers之pipeline的零样本物体检测(zero-shot-object-detection)从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍,读者可以基于pipeline使用文中的2行代码极简的使用计算机视觉中的零样本物体检测(zero-shot-object-detection)模型。