,其中gk是f(x)的梯度向量在x(k)的值,H(x(k))是f(x)的黑塞矩阵在点x(k)的值.牛顿法利用极小点的必要条件f(x)处的梯度为0,每次迭代中从点x(k)开始,假设
?...拟牛顿法:用一个n阶正定矩阵Gk=G(x(k))来近似代替黑塞矩阵的逆矩阵就是拟牛顿法的基本思想.在牛顿法中黑塞矩阵满足的条件如下:
?
,令
?
,则有
?...先验概率和后验概率:
先验概率就是事情发生前的预测概率.
后验概率是一种条件概率,它限定了事件为隐变量取值,而条件为观测结果。一般的条件概率,条件和事件可以是任意的....最大熵原理:学习概率模型时,在所有可能的概率模型中,熵最大的模型是最好的模型.直观地,最大熵原理认为模型首先要满足已有的事实,即约束条件.在没有更多信息的情况下,那些不确定的部分都是"等可能的"....,πi表示时刻t=1处于状态qi的概率.隐马尔可夫模型由初始状态概率向量π,状态转移概率矩阵A以及观测概率矩阵B确定.π和A决定即隐藏的马尔可夫链,生成不可观测的状态序列.B决定如何从状态生成观测,与状态序列综合确定了观测序列