【Convex Optimization (by Boyd) 学习笔记】Chapter 2 - Convex sets(1) 仿射集&凸集

I. 仿射凸集(Affine and convex sets)

1. 线与线段

假设\(R^n\)空间内两点\(x_1,x_2\, (x_1≠x_2)\),那么\(y=\theta x_1+(1-\theta)x_2, \theta∈R\)表示从x1到x2的线。而当\(0≤\theta≤1\)时，表示x1到x2的线段。

2.仿射集

• 仿射集(Affine sets) 定义: 假设有一个集合\(C∈R^N\),如果通过集合C中任意两个不同点之间的直线 (上的任何点) 仍在集合C中，那么称集合C是仿射的； 也就是说\(\forall x_1，x_2∈R,\theta∈R\),有\(\theta x_1+(1-\theta)x_2∈C\)

推论：

如果\(C\)是一个仿射集，且\(x_1,...,x_n∈C,\theta_1+...+\theta_k=1\)，那么点\(\theta_1x_1+...+\theta_kx_k\)也属于\(C\)。

• 仿射包(Affine Hull) 仿射集\(C\)中各个点之间的组合的集合称为\(C\)的affine hull，用\(aff \, \, C\)表示且有: \[aff \,\, C=\{\theta_1x_1+...+\theta_kx_k|x_1,...,x_k∈C,\theta_1+...=\theta_k=1\}\]

仿射包是包含仿射集\(C\)的最小仿射集，也就是说对于任何满足\(C\subseteq{S}\)的仿射集S,都有\(aff \,\,C\subseteq S\)。

3. 仿射维度(Affine Dimension)&相对内部(Relative Interior)

• 仿射维度 将仿射包的维度定义为仿射集\(C\)的维度。
• 相对内部 用\(relint \,\,C\)表示，简单理解就是闭仿射包(closure C, 用\(cl\,\,C\)表示) 的内部即为相对内部。即需要满足如下: \[relint\,\,C=\{x∈C|B(x,r)\bigcap aff \,\,C\subseteq{C} \,\,\,\,for \,\,some\,\,r>0\}\] 上面等式中的\(B(x,r)=\{y| \|y-x\|≤r\}\)表示相对边界(relative boundry),用\(cl\,\,C /\ relint\,\,C\)表示,x可以理解为球的中心点，r表示半径

4. 凸集(Convex sets)

凸集定义:

如果集合\(C\)中的任意两点之间的线段(上的所有点)在\(C\)上，也就是说如果\(\forall{x_1,x_2∈C},0≤\theta≤1\),都有\(\theta x_1+(1-\theta)x_2∈C\),那么集合\(C\)为凸集。

注意要区分凸集和仿射集定义，前者是线段，后者是直线。

和affine hull类似，凸集也有convex hull (conv C) 凸包，其定义如下：

\[conv\,\,C=\{\theta_1x_1+...+\theta_kx_k|x_i∈C,\theta_i≥0,i=1,...,k,\theta_1+...=\theta_k=1\}\]

5. 圆锥(Cones)&凸锥(Convex cones)

• Cone的定义 一个集合\(C\)中任意元素\(x\)，如果满足\(\theta x∈C,\theta≥0\),则称\(C\)为cone或者nonnegative homogeneous(非负齐次)
• Convex Cone定义 如果一个集合\(C\)是凸的，而且是一个cone，也就是说如果\(\forall{x_1,x_2∈C},\theta_1,\theta_2≥0\)，都有\[\theta_1 x_1+\theta_2 x_2∈C \tag{5.1}\]，那么我们称\(C\)为凸锥(convex cone)

由上面公式(5.1)可知该形式的点在一个以0为顶点，经过\(x_1,x_2\)的扇形区域。如下图示

• conic hull(锥包) 定义 集合\(C\)的conic hull是指所有点的conic combination的集合，即 \[\{\theta_1x_1+...+\theta_kx_k|x_i∈C,\theta_i≥0,i=1,...,k\}\]

6. 小结

在开始下一届之前有必要对本节内容做一下总结，以便有更清晰的理解。总结参考仿射集、凸集、仿射包、凸包。

• 仿射集（affine set）、凸集（convex set） 这两个概念是对集合本身性质的描述，先看他们的定义： 集合S是仿射的\(\Leftrightarrow\) 对任意\(x,y\in S, \theta \in R\)，有\(\theta x+(1-\theta )y\in S\) 集合S是凸的\(\Leftrightarrow\) 对任意\(x,y\in S, 0\leq \theta \leq 1\)，有\(\theta x+(1-\theta )y\in S\)
• 仿射包（affine hull）、凸包（convex hull） 这两个概念是对已有集合生成新的集合的方法，同样看定义： 集合S的仿射包\(aff\,\,S = \left\{ \sum_{i}^{n}{\theta_{i} x_{i} } | x_{i}\in S, \sum_{i}^{n}{\theta_{i}}=1 \right\}\) 集合S的凸包\(conv\,\,S = \left\{ \sum_{i}^{n}{\theta_{i} x_{i} } | x_{i}\in S, \theta _{i}\geq 0 , \sum_{i}^{n}{\theta_{i}}=1 \right\}\)

根据上面的总结可以知道相对于凸集的定义，仿射集要求更严苛，因为凸集只需要是线段即可(因为\(0\leq \theta \leq 1\)),而仿射集需要是直线。注意这里只是说仿射集要求更加严苛，但是条件更严苛并不等同于仿射集就是凸集的子集。

为了更好地理解他们之间的关系下面举一个例子，以一维空间为例：

假设这条直线用\(L:y=0\)表示。我们可以知道\(L\)即为仿射集，因为该直线上任意两点组成的直线依旧在\(L\)上。

那么凸集呢？我们可以看到下图中\(L_1,L_2,L\)都是凸集。

此时你还会讨论仿射集和凸集哪一个是是子集的问题吗？因为谁也不是谁的子集，但是以上面的例子为例，如果你只取其中的一个凸集\(L_2\)，那么很显然凸集\(L_2\)是仿射集\(L\)的子集。但是在没有特定说明的前提下讨论谁是谁的子集是不准确的。

另外需要知道的是仿射集其实也是凸集，但是凸集不一定是仿射集。(这里面有概念之间的嵌套，需要好好理解定义)

另外子集的问题，其实准确的说是在讨论仿射包和凸包之间的关系，由上面的例子可以知道包含所有仿射集的集合是包含所有凸集的集合的子集，因为一个仿射集是一个凸集。