分类模型的评估指标 | 混淆矩阵（2）

遥感影像分类评估

书接上回，今天我们来看一看遥感影像分类是如何进行评估的。

01

概念

首先我们先了解一下什么是遥感影像分类。

遥感影像分类就是一个对给定的遥感影像所包含的所有像元的地表属性进行识别归类的过程；目的是在属性识别归类的基础上获取研究区域内各个地物类型的分布状况及面积。

对遥感影像分类结果进行评估就是一个通过比较检验样本与分类结果的符合程度来确定分类准确度的过程。

02

精度与准确度

在刚刚的概念中我们也了解到，评估是确定分类准确度的一个过程。那么在了解这个过程之前，我们先来区分一下精度和准确度这两个不同的概念。

经常有小伙伴分不清精度和准确度这两个名词，将其混为一谈，并以“精确度”统一概括。

其实，严格意义上来讲，尤其是从计量学的意义上来讲，所谓的“精确度”仅仅指的是“精度”，是对同一批样本采用相同方法进行多次的测定，比较各次的测定值之间彼此接近的程度。如果每个测定值彼此之间越接近，则精度越高，体现的是测定结果的重现性。

举个例子，我们测量一段线段的长度，每次都采用相同的方法——用直尺进行测量，经过多次测量之后我们发现，每次测量的结果都是1cm，这就说明我们以直尺进行测量这种方法的精度很高。

准确度则不然，是指测量结果与真实值相符合的程度。还是以测量线段长度举例，真实的线段长度为1.00001cm，我们的测量结果为1cm，这就说明我们测量方法的准确度还是很高的。

两者之间的关系：

准确度高，意味着我们的精度也很高，但是精度高却不意味着准确度高。

还是上面那个例子。假设我们第一次的测量结果为1.5cm，第二次为1.52cm，第三次为1.49cm，表面上我们的精度很高，但实际上线段的长度只有1.00001cm，准确度并不高。

评估指标

01

总体分类精度

指针对每一个随机样本，所分类的结果与检验数据类型相一致的概率，也就是被正确分类的像元总和除以总像元数。放到混淆矩阵中就是对角线上的像元数总和除以总像元数目。

02

生产者精度

生产者精度，也称制图精度，指相对于检验数据中的任意一个随机样本，分类图上相同位置的分类结果与其相一致的概率。放到混淆矩阵中，就是分类器将整幅影像正确分类为A的像元数（对角线上A类的值）与真实情况下A的像元数（真实情况A的像元数总和）之比。

03

用户精度

是指在分类结果中任取一随机样本，其所具有的类型与地表真实情况相符合的条件概率。放到混淆矩阵中，是分类器将整幅影像正确分类为A的像元数和（对角线上A类的值）与分类器分出的所有A类像元数（预测值为A的像元数总和）之比。

04

错分误差

指对于分类结果中的某种类型，与参考图像类型不一致的概率。放到混淆矩阵中，就是被分类器分为A类的像元中，分类出错的像元数所占的比率。我们也就不难发现，错分误差+用户精度=1

05

漏分误差

指对于参考图像上的某种类型，被分类器分为其他类别的概率。放到混淆矩阵中就是真实情况为A类的像元数中有多少像元数被分类器分为了别的类别。同样，漏分误差+生产者精度=1.

06

kappa系数

1

---概念

基于混淆矩阵，我们可以计算出kappa系数，用于检验一致性或衡量分类精度。不同于总体分类精度，总体分类精度只考虑了对角线方向上被正确分类的像元数，而kappa系数则将漏分和错分的像元考虑进来。

2

---结果

kappa系数的计算结果处于（-1，1）之间，但一般情况下其结果处于（0，1）之间，且可分为五个级别来表示一致性：

（0，0.2】表现为极低一致性；

（0.2，0.4】表现为一般一致性；

（0.4，0.6】表现为中等一致性；

（0.6，0.8】表现为高度一致性；

（0.8，1）则可表现为几乎完全一致了。

3

---计算方法

其中，Po是总体分类精度；

Pe是每一类的真实样本像元数与每一类的预测样本像元数之积再对所有类别的计算结果求和，再与总像元数的平方之比.

07

小例子

这次我们还是使用上一期的混淆矩阵。

除总体分类精度和kappa系数外，其他指标以A类为例：

1

---总体分类精度

overall accuracy=（20+15+18）/100=53%

2

---生产者精度

producer accuracy=20/(20+5+2)≈74%

3

---用户精度

user accuracy=20/（10+10+20）=50%

4

---错分误差

commission error

=（10+10）/40

=1-user accuracy=50%

5

---漏分误差

omission error

=（5+2）/27

=1-producer accuracy

≈26%

6

---kappa系数

Po=0.53

Pe

=（27*40+35*30+38*30）/100*100

=（1080+2190）/10000

=0.327

k=（0.53-0.327）/（1-0.327）

=0.203/0.673

≈30.2%

以上就是遥感影像分类评估的概念、意义及各项指标。有没有一种豁然开朗的感觉呢( •̀ ω •́ )