Android OpenCV（四十三）：图像分割（Grabcut）

Vaccae

发布于 2021-07-30 16:04:41

1.2K00

代码可运行

文章被收录于专栏：微卡智享微卡智享

运行总次数：0

代码可运行

图像分割

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像素赋予相同的编号。

Grabcut

GraphCut需要用户提供精确的前景背景的种子，而且当提供的种子无法覆盖所有分布时，必然会影响分割的准确度。为了解决这个问题，微软研究室提出了更加快捷高效的GrabCut分割算法。GrabCut需要用户提供一个矩形，矩形内包含前景，而矩形外是背景。GrabCut具体步骤如下：

1. 矩形外的像素作为背景，矩形内的像素作为前景，用标记的前景背景去训练背景GMM和前景GMM(这里GMM指高斯混合模型)；

2. 用训练好的两个GMM来计算每一个像素属于背景和属于前景的概率，进而计算出能量函数E中的Data项，能量函数中的Smoothness项的计算方法大致与GraphCut相同；

3. 通过最优化能量函数得到图像的一个分割；

4. 用步骤3的分割结果中的前景像素和背景像素去训练前景GMM和背景GMM；

5. 重复2，3，4，直到分割结果收敛(不再有大的变化)。

由以上步骤可以看出，GrabCut是一个循环执行的算法，其循环的目的是为了EM（Expectation Maximization）。因为用户提供的矩形内也有部分背景像素，所以这样的种子是不完全正确的。好在GMM模型并不要求所有的训练数据正确，即使有一部分分类不正确，也可以通过EM步骤使得最终结果正确。而GrabCut正是利用了GMM的这一特性。值得注意的是，GMM有陷入局部最优的问题无法解决，所以GrabCut也有此问题。

算法论文地址：https://www.microsoft.com/en-us/research/wp-content/uploads/2004/08/siggraph04-grabcut.pdf

API

public static void grabCut(Mat img, Mat mask, Rect rect, Mat bgdModel, Mat fgdModel, int iterCount, int mode)

参数一：img，输入的待分割图像。必须是8位三通道。
参数二：mask，输入/输出8位单通道掩码图像。图像中像素值取值及其含义如下。标志位值含义GC_BGD0一个明显为背景的像素GC_FGD1一个明显为前景（对象）的像素GC_PR_BGD2一个可能为背景的像素GC_PR_FGD3一个可能为前景的像素
参数三：rect，包含细分对象的ROI区域。ROI外的区域被标记为"明显的背景”。当第七个参数mode为GC_INIT_WITH_RECT时，该参数才会被使用到。
参数四：bgdModel，前景模型临时对象。处理同一图像时，请勿对其进行修改。
参数五：fgdModel，背景模型临时对象。处理同一图像时，请勿对其进行修改。
参数六：iterCount，迭代次数。注意，可以通过使用mode == GC_INIT_WITH_MASK或mode == GC_EVAL进行进一步调用来完善结果。
参数七：mode，分割模式标志位。标志位值含义GC_INIT_WITH_RECT0使用提供的矩形初始化状态和掩码。之后根据算法进行迭代更新GC_INIT_WITH_MASK1使用提供的掩码初始化状态。可以组合使用GC_INIT_WITH_RECT和GC_INIT_WITH_MASK。然后，使用GC_BGD自动初始化ROI之外的所有像素。GC_EVAL2表示算法应该恢复GC_EVAL_FREEZE_MODEL3表示算法仅在固定模型下运行grabCut算法（单次迭代）

操作

/**
 * 图像分割 Grabcut
 * author: yidong
 * 2020/11/21
 */
class GrabcutActivity : AppCompatActivity() {

    private val mBinding: ActivityGrabcutBinding by lazy {
        ActivityGrabcutBinding.inflate(layoutInflater)
    }

    private lateinit var mRgb: Mat

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(mBinding.root)

        val bgr = Utils.loadResource(this, R.drawable.lena)
        mRgb = Mat()
        Imgproc.cvtColor(bgr, mRgb, Imgproc.COLOR_BGR2RGB)
        mBinding.ivLena.showMat(mRgb)
        GlobalScope.launch(Dispatchers.IO) {
            doGrabCut()
        }
    }

    private fun doGrabCut() {
        val rectMat = Mat()
        mRgb.copyTo(rectMat)
        val rect = Rect(80, 30, 340, 390)
        Imgproc.rectangle(rectMat, rect, Scalar.all(255.0), 2)
        GlobalScope.launch(Dispatchers.Main) {
            mBinding.ivLena.showMat(rectMat)
        }
        val bgdModel = Mat.zeros(1, 65, CvType.CV_64FC1)
        val fgdModel = Mat.zeros(1, 65, CvType.CV_64FC1)
        val mask = Mat.zeros(mRgb.size(), CvType.CV_8UC1)
        Imgproc.grabCut(mRgb, mask, rect, bgdModel, fgdModel, 5, Imgproc.GC_INIT_WITH_RECT)

        val result = Mat()
        for (i in 0 until mask.rows()) {
            for (j in 0 until mask.cols()) {
                val value = mask.get(i, j)[0].toInt()
                if (value == 1 || value == 3) {
                    mask.put(i, j, 255.0)
                } else {
                    mask.put(i, j, 0.0)
                }
            }
        }
        Core.bitwise_and(mRgb, mRgb, result, mask)
        GlobalScope.launch(Dispatchers.Main) {
            mBinding.ivResult.showMat(result)
        }
    }

    override fun onDestroy() {
        mRgb.release()
        super.onDestroy()
    }
}