Tag Archives: EM

隐马尔可夫模型及其应用(2)学习问题&识别问题

上一回介绍了HMM的解码问题,今天我们介绍HMM的学习问题和识别问题,先来看学习问题。


正如上一回结束时所说,HMM的学习问题是:仅已知观测序列$$\vec y$$,要估计出模型参数组$$\vec\lambda=(\mu,A,B)$$,其中$$\mu$$为初始概率分布向量,$$A$$为转移概率矩阵,$$B$$为发射概率矩阵。

算法设计

求解HMM的参数学习问题,就是求解如下的最优化问题:

$$!\begin{equation} P(\vec Y = \vec y|\hat \lambda)=\max\limits_{\vec \lambda} P(\vec Y = \vec y|\vec \lambda)\end{equation}$$

也就是找一个参数$$\vec \lambda$$,使得模型在该参数下最有可能产生当前的观测$$\vec y$$。如果使用极大似然法求解,对于似然函数$$P(\vec Y=\vec y|\vec \lambda)=\sum\limits_{i_1,…,i_T}\mu_{i_1}b_{i_1y_1}a_{i_1i_2}…a_{i_{T-1}i_T}b_{i_Ty_T}$$而言,这个最大值问题的计算量过大,在实际中是不可能被采用的。为此,人们构造了一个递推算法,使其能相当合理地给出模型参数$$\vec \lambda$$的粗略估计。其核心思想是:并不要求备选$$\vec\lambda$$使得$$P(\vec Y=\vec y|\vec \lambda)$$达到最大或局部极大,而只要求使$$P(\vec Y=\vec y|\vec \lambda)$$相当大,从而使计算变为实际可能。 Continue reading