LLM入门4 | Segment Anything | MetaAI

机器学习炼丹术

发布于 2023-09-02 13:54:16

5000

发布于 2023-09-02 13:54:16

文章被收录于专栏：机器学习炼丹术机器学习炼丹术

<<大型语言模型LLM与Visual>>

LLM入门1 | 初见LLaMA | MetaAI

LLM入门2 | 羊驼AIpaca | Stanford

LLM入门3 | 基于cpu和hugging face的LLaMA部署

Segment Anything!
official github：https://github.com/facebookresearch/segment-anything
论文：https://ai.facebook.com/research/publications/segment-anything/
文章转自微信公众号：机器学习炼丹术（已授权）

必须赶紧学习一下，大模型已经烧到CV的家门口了。

1 概括

我们在 Meta AI Research 和 FAIR 的团队开发了一个称为 SAM 的分割基础模型，其中包括一个可提示的分割任务、一个分割模型和一个数据引擎。我们的数据集拥有超过 10 亿个masks和 1100 万张图像。

在这项工作中，我们的目标是建立一个基础图像分割模型。也就是说，我们寻求开发一个可提示的模型并使用任务在广泛的数据集上对其进行预训练,这使得强大的泛化成为可能。有了这个模型，我们,旨在解决一系列下游细分问题,使用提示工程在新数据分布上。

2 解释一些东西

2.1 promptable segmentation

Promptable segmentation is a new task in image segmentation that involves segmenting an image based on a natural language prompt. This means that instead of manually selecting regions of interest or using pre-defined labels, the model is given a prompt in natural language and generates a segmentation mask based on that prompt.

可提示分割是图像分割中的一项新任务，涉及基于自然语言提示分割图像。这意味着不是手动选择感兴趣的区域或使用预定义的标签，而是给模型一个自然语言的提示，并根据该提示生成一个分割掩码。

2.2 Ambiguity-aware

ambiguity-aware refers to the ability of the model to handle ambiguous input prompts. A single input prompt may correspond to multiple valid masks, and the model must learn to average over these masks. To eliminate this problem, SAM uses a small number of output tokens and predicts multiple masks simultaneously. During training, the loss is computed between the ground truth and each of the predicted masks, but only backpropagated from the lowest loss. This technique ensures that SAM is able to handle ambiguous input prompts effectively. 歧义感知是指模型处理歧义输入提示的能力。单个输入提示可能对应多个有效掩码，模型必须学习对这些掩码进行平均。为了消除这个问题，SAM 使用少量输出标记并同时预测多个掩码。在训练期间，损失是在真实值和每个预测掩码之间计算的，但仅从最低损失反向传播。该技术确保 SAM 能够有效地处理不明确的输入提示。

2.3 模型要求

可提示分割任务和真实世界对模型的要求，包含模型支持flexible prompt, real-time speed and ambiguity-aware。因此选择了这样的模型结构：

a powerful image encoder computes an image embedding,
a prompt encoder embeds prompts,
then the two information sources are combined in a lightweight mask decoder that predicts segmentation masks.

2.4 data engineer

可以理解为是网页端的，对数据进行标注的一个工具，然后模型根据标注结果进行在线学习，然后模型会给出更好的分割结果，不断减轻标注人员的压力。

2.5 模型结构

包含三个部分：

image encoder
flexible prompt encoder
a fast mask decoder

我们是基于Transformer Vision Models，同时做了一些tradeoffs，为了real-time performance。

【image encoder】受到可扩展和强大的预训练方法，我们使用了MAE来预训练ViT。图像编码器运行一次就可以得到每个图片的embedding了

【Prompt encoder】我们考虑了两种prompt：

sparse prompt：points，boxes， text
dense： masks 我们用位置编码来表示点和boxes的位置，使用CLIP的text encodder来表示free-form text的编码

【mask decoder】使用一个modification of a transformer decoder block和一个dynamic mask prediction head。我们的modified解码器使用了提示的自注意力和两个方向的交叉注意力（prompt-to-image embedding and image-to-prompt embedding）。运行两个blocks后，我们上采样图像embedding，然后一个MLP来把output token映射到动态的线性分类器，也就是计算mask概率的。

【Resolving ambiguity】我们让模型一次预测多个输出结构 for a single prompt。想这幅图一样

图中的绿色点是一个prompt，模型给出了三个不同的output。

我们发现三个mask的outputs足够解决大多数的问题，一般这三个是整体、部分和子部分不同层级的。在训练的时候，我们仅仅反向传播最小的loss。模型同时会给出一个confidence score，就像是目标检测中的IoU一样，这样可以给mask进行排序。这里的做法和目标检测YOLO的多预测类似。

【损失函数和训练】我们有监督的训练mask prediction使用focal loss和dice loss的线性组合。

下一篇主要仔细剖析SAM的官方代码及本地部署。这个虽然是大模型，但是是很轻量的模型只有不到1B的参数。

<<其他>>

医学图像重建 | Radon变换，滤波反投影算法，中心切片定理

医学图像重建2 | CT&PET，比尔定律，衰减矫正

whole-body PET ？全人研究的催化剂？

TB-PET揭示体内复杂的骨骼代谢网络

综述深度学习在神经成像领域的前景与挑战

功能连接矩阵 | 双向LSTM深度时间组学习针对轻度认知障碍

PCA、SVD深入浅出与python代码

ICA | 用RNN-ICA探索功能核磁内在网络模型的时空动力学

Dual-time-point的两篇文献浅学