由于在公众号上文本字数太长可能会影响阅读体验，因此过于长的文章，我会使用"[L1]"来进行分段。这系列将介绍Seq2Seq模型中的Beam Search算法。第一篇文章：[L1]Seq2Seq中Beam Seach的应用场景。
命名实体识别中，BERT负责学习输入句子中每个字和符号到对应的实体标签的规律，而CRF负责学习相邻实体标签之间的转移规则。详情可以参考这篇文章CRF在命名实体识别中是如何起作用的？。该文章中我们对CRF做了简单易懂的介绍，其中提到CRF的损失函数计算要用到最优路径，因为CRF的损失函数是求最优路径的概率占所有路径概率和的比例，而我们的目标是最大化这个比例。那么这里就涉及到计算最优路径的问题。这里的路径在命名实体识别的例子中，就是最终输出的与句子中的字或符号一 一对应的标签序列。不同标签序列的顺序组成了不同的路径。而CRF就是要找出最正确的那条标签序列路径，也就是说这条标签路径的概率将是所有路径中最大的，那么我们可以穷举出所有可能的标签路径，计算出每条路径的概率和，然后比较出最大的那条，但是这样做的代价太大了，所以crf选择了一种称为维特比的算法来求解此类问题。
首先，让我们简单回顾一下BERT和CRF在命名实体识别中各自的作用： 命名实体识别中，BERT负责学习输入句子中每个字和符号到对应的实体标签的规律，而CRF负责学习相邻实体标签之间的转移规则。详情可以参考这篇文章CRF在命名实体识别中是如何起作用的？。该文章中我们对CRF做了简单易懂的介绍，其中提到CRF的损失函数计算要用到最优路径，因为CRF的损失函数是求最优路径的概率占所有路径概率和的比例，而我们的目标是最大化这个比例。那么这里就涉及到计算最优路径的问题。这里的路径在命名实体识别的例子中，就是最终输出的与句子中的字或符号一 一对应的标签序列。不同标签序列的顺序组成了不同的路径。而CRF就是要找出最正确的那条标签序列路径，也就是说这条标签路径的概率将是所有路径中最大的，那么我们可以穷举出所有可能的标签路径，计算出每条路径的概率和，然后比较出最大的那条，但是这样做的代价太大了，所以crf选择了一种称为维特比的算法来求解此类问题。
隐马尔可夫模型 (Hidden Markov Model，HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中，随后在语言识别，自然语言处理以及生物信息等领域体现了很大的价值。平时，经常能接触到涉及 HMM 的相关文章，一直没有仔细研究过，都是蜻蜓点水，因此，想花一点时间梳理下，加深理解，在此特别感谢 52nlp 对 HMM 的详细介绍。 考虑下面交通灯的例子，一个序列可能是红-红/橙-绿-橙-红。这个序列可以画成一个状态机，不同的状态按照这个状态机互相交替，每一个状态都只依赖
本文介绍了隐马尔可夫模型，首先介绍了隐马尔科夫模型定义，核心思想是引入了隐状态序列（引入隐状态是所有隐因子模型最巧妙的地方，如：隐因子分解，LDA），然后介绍了隐马尔科夫模型要解决的三个问题，1）在参数已知的情况下计算可观测序列的总概率，2）在给出观测序列数据时学习模型的参数，3）在参数已知的情况下通过维特比解码预测出所有产生可观测序列中概率最大的一条不可观测序列，即序列标注问题。
（一）：定义及简介： 介绍（introduction） 通常我们总是对寻找某一段时间上的模式感兴趣，这些模式可能出现在很多领域：一个人在使用电脑的时候使用的命令的序列模式；一句话中的单词的序列；口语中的音素序列。总之能产生一系列事件的地方都能产生有用的模式。 考虑一个最简单的情况：有人(柯南？)试图从一块海藻来推断天气的情况。一些民间的传说认为“soggy”的海藻意味着潮湿（wet）的天气，“dry”的海藻预示着晴朗（sun）。如果海藻处于中间状态“damp”，那就无法确定了。但是，天气的情况不可能严格的
原文地址：http://www.cnblogs.com/jacklu/p/6225073.html
HMM模型，韩梅梅的中文拼音的缩写，所以又叫韩梅梅模型，由于这个模型的作者是韩梅梅的粉丝，所以给这个模型取名为HMM。开玩笑！
一个马尔科夫过程是状态间的转移仅依赖于前n个状态的过程。这个过程被称之为n阶马尔科夫模型，其中n是影响下一个状态选择的（前）n个状态
什么问题用HMM解决 现实生活中有这样一类随机现象，在已知现在情况的条件下，未来时刻的情况只与现在有关，而与遥远的过去并无直接关系。 比如天气预测，如果我们知道“晴天，多云，雨天”之间的转换概率
什么问题用HMM解决 现实生活中有这样一类随机现象，在已知现在情况的条件下，未来时刻的情况只与现在有关，而与遥远的过去并无直接关系。 比如天气预测，如果我们知道“晴天，多云，雨天”之间的转换概率，那么
关键字全网搜索最新排名 【机器学习算法】：排名第一 【机器学习】：排名第二 【Python】：排名第三 【算法】：排名第四 前言 在做文本挖掘的时候，首先要做的预处理就是分词。英文单词天然有空格隔开容易按照空格分词，但是也有时候需要把多个单词做为一个分词，比如一些名词如“New York”，需要做为一个词看待。而中文由于没有空格，分词就是一个需要专门去解决的问题了。无论是英文还是中文，分词的原理都是类似的，本文就对文本挖掘时的分词原理做一个总结。 分词的基本原理 现代分词都是基于统计的分词，而统计的样本内容
一. 爬山算法 ( Hill Climbing ) 介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达
相信大家都看过上一节我讲得贝叶斯网络，都明白了概率图模型是怎样构造的，如果现在还没明白，请看我上一节的总结：贝叶斯网络
原文地址：http://www.cnblogs.com/jacklu/p/7753471.html
隐马尔可夫模型（HMM）是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。
寄语：本文先对马尔可夫过程及隐马尔可夫算法进行了简单的介绍；然后，对条件随机场的定义及其三种形式进行了详细推导；最后，介绍了条件随机场的三大问题，同时针对预测问题给出了代码实践。
隐马尔可夫模型（Hidden Markov Model，简称HMM）由Baum等人在1966年提出[1]，是一种概率图模型，用于解决序列预测问题，可以对序列数据中的上下文信息建模。所谓概率图模型，指用图为相互依赖的一组随机变量进行建模，图的顶点为随机变量，边为变量之间的概率关系。
这里最主要的是依靠两个模型：声学模型和语言模型，声学模型接收我们说话的音频，输出的结果为拼音，而从拼音转换到文字，这个就需要语言模型来进行操作。也就是这一篇文章的核心，基于马尔可夫的拼音文字转换方法。
隐马尔科夫模型（Hidden Markov Model，以下简称HMM）是比较经典的机器学习模型了，它在语音识别，自然语言处理，模式识别等领域得到广泛的应用。那么什么样的问题需要HMM模型来解决，一般有以下两个特征： (1)我们的问题是基于序列的，比如时间序列，或者状态序列； (2)我们的问题中有两类数据，一类序列数据是可以观测到的，即观测序列；而另一类数据是不能观察到的，即隐藏状态序列，简称状态序列。
1. 算法背景——蚁群的自组织行为特征 高度结构化的组织——虽然蚂蚁的个体行为极其简单，但由个体组成的蚁群却构成高度结构化的社会组织，蚂蚁社会的成员有分工，有相互的通信和信息传递。 自然优化——蚁群在觅食过程中，在没有任何提示下总能找到从蚁巢到食物源之间的最短路径；当经过的路线上出现障碍物时，还能迅速找到新的最优路径。 信息正反馈——蚂蚁在寻找食物时，在其经过的路径上释放信息素（外激素）。蚂蚁基本没有视觉，但能在小范围内察觉同类散发的信息素的轨迹，由此来决定何去何从，并倾向于朝着信息素强度
HMM模型最关键的一点就是在一个状态序列中，某一步状态的概率只与上一步的状态有关。也正是因为与前面一步状态有关，所以HMM模型天然地适用动态规划算法。
如何寻找一条合适的路径，几乎是一个永恒的话题。每个人、每天都会遇到。大到全国列车的运行规划，小到每个人的手机导航。其中一部分是关于“如何寻找两个位置间的最短距离”的，这一部分有较为成熟的理论与确切的解法，还有与之匹配的各种算法。
本题主要和图的遍历求解最短路径相关，可以用 Dijkstra 或者 Bellman-Ford 算法进行解决。
语音识别（Speak Recognition），和图像识别不同，它是连续行为的识别（视频行为分析也一样）。比如“你是谁”这句话，不知道这三个词所占的时间。
（1）初始化。设置进化代数计数器 \(g=0\)，设置最大进化代数 \(G\)，随机生成 \(NP\) 个个体作为初始群体 \(P(0)\)。
有若干个城市，任何两个城市之间的距离都是确定的，现要求一旅行商从某城市出发必须经过每一个城市且只在一个城市逗留一次，最后回到出发的城市，问如何事先确定一条最短的线路已保证其旅行的费用最少？
这篇博客主要阐述我们在分词任务中常用的分词库结巴jieba分词的实现原理，以及之前博客中讲到的HMM在分词中的应用，算是复习与加深理解一下HMM的知识。jieba分词作为一个十年前的分词库，更新到现在依然还是非常好用而且也很经典适合学习。
今天讲讲字节的一个召回的文章：《Deep Retrieval: An End-to-End Learnable Structure Model for Large-Scale Recommendations》(公众号后台回复【dr】可下载)
TSP问题（Traveling Salesman Problem）是一个组合优化问题。该问题可以被证明具有NPC计算复杂性。
关键字全网搜索最新排名 【机器学习算法】：排名第一 【机器学习】：排名第一 【Python】：排名第三 【算法】：排名第四 前言 在做文本挖掘时，首先要做的预处理就是分词。英文单词天然有空格隔开容易按照空格分词，但有时也需要把多个单词做为一个分词，比如一些名词如“New York”，需要做为一个词看待。而中文由于没有空格，分词就是一个需要专门去解决的问题了。无论是英文还是中文，分词的原理都类似，本文就对文本挖掘时的分词原理做一个总结。 分词的基本原理 现代分词都是基于统计的分词，而统计的样本内容来自于一些标
前言：上一篇文章中我们学习的模拟退火算法是通过模拟物体的物理退火过程得以实现的，今天我们要学习的遗传算法则是通过模拟生物学中物种的进化过程来实现的！
在做文本挖掘的时候，首先要做的预处理就是分词。英文单词天然有空格隔开容易按照空格分词，但是也有时候需要把多个单词做为一个分词，比如一些名词如“New York”，需要做为一个词看待。而中文由于没有空格，分词就是一个需要专门去解决的问题了。无论是英文还是中文，分词的原理都是类似的，本文就对文本挖掘时的分词原理做一个总结。
RRT*算法是一种基于随机采样的路径规划方法，不仅具有概率完备性，还具有渐进优化能力。假设 代表 维构型空间，
蚁群算法(ant colony optimization)最早是由Marco Dorigo等人在1991年提出，他们在研究新型算法的过程中，发现蚁群在寻找食物时，通过分泌一种称为信息素的生物激素交流觅食信息从而能快速的找到目标，据此提出了基于信息正反馈原理的蚁群算法。
萧箫 发自 凹非寺 量子位 | 公众号 QbitAI 探索游戏中的迷宫很有趣，然而玩多了就没啥“新鲜感”了？ 没错，如果游戏迷宫差别不大，时间一久就容易熟悉地图，降低了探索的乐趣。 现在，一个“横空出现”的概率编程语言MarkovJunior解决了这一问题： 利用马尔科夫算法，随机生成批量迷宫，没有一个是重复的，你永远也不知道玩到的下一个迷宫长什么样子： 不仅是2D迷宫，就连需要搭建好几层地图的3D迷宫，也能随机生成： 这个项目一出，立刻上了GitHub热榜，不到一周就已经收获2.6k Star。 有
设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditional probability)为：
这一节我们重点来讲一下马尔可夫，正如题目所示，看了会一脸蒙蔽，好在我们会一点一点的来解释上面的概念，请大家按照顺序往下看就会完全弄明白了，这里我给一个通俗易懂的定义，后面我们再来一个个详解。
。一共有4个箱子，2种球，结合前面的箱子的详细数据，可以得到从每一个箱子取到各种颜色球的可能性，用一个表格表示：
蚁群算法是一种智能优化算法，在TSP商旅问题上得到广泛使用。蚁群算法于1992年由Marco Dorigo首次提出，该算法来源于蚂蚁觅食行为。由于蚂蚁没有视力，所以在寻找食物源时，会在其经过的路径上释放一种信息素，并能够感知其它蚂蚁释放的信息素。信息素浓度的大小表征路径的远近，信息素浓度越高，表示对应的路径距离越短。通常，蚂蚁会以较大的概率优先选择信息素浓度高的路径，并且释放一定的信息素，使该条路径上的信息素浓度增高，进而使蚂蚁能够找到一条由巢穴到食物源最近的路径。但是，随着时间的推移，路径上的信息素浓度会逐渐衰减。
在了解了如何检测到文本之后，我们需要识别出检测文本内的文字信息。在文本识别完成之后，整个OCR光学字符识别的过程才算基本完成。那么，本次课程主要讲述识别文本的算法。
前几篇解释了一些智能优化算法，今天才想到还有一个重要的给忘了，，言归正传，蚁群算法也是一种生物仿生算法，它是通过模拟自然界中蚂蚁集体寻径行为而提出的一种基于种群的启发式随机搜索算法。自然界常理，蚂蚁可以通过群体行动在没有任何提示下从家找到食物源的最短路径，并能随着环境变化不断调整适应性地搜索出新的路径产生新的选择使得找到的路径最短。一般来说每个蚂蚁可以看成是独立的个体，相互交流的纽带是通过释放分泌信息素来实现的，所以这也是该算法模拟的核心地方，根据信息素的浓度进行下一个最优移动方向的选择，从而做到周游所有地点的最短路径，具体过程下面详述
前 排 最近这个春节又快到了，虽然说什么有钱没钱回家过年。但也有部分小伙伴早已经备好了盘缠和干粮，准备在这个难得的假期来一场说走就走的旅行了。毕竟世界这么大我想去看看呵……等等，醒醒吧各位 但是，作为21世纪的新一代青年，即使咱穷，梦想还是要有的，对吧。那么，问题来了，如何用最少的钱，环绕中国各大城市走一波？咳咳，今天小编就是为解决此问题而来的。顺带提一波，最近天冷了。小编在这里给大家送上最真切的关心…… ＊ 内容提要： ＊旅行商问题介绍 ＊模拟退火算法 ＊旅行商问题的解决 我想用最少的钱环游中国一圈 01
维特比译码算法是维特比在1967年提出。维特比算法的实质是最大似然译码，但它利用了编码网格图的特殊结构，从而降低了计算的复杂度，与完全比较译码相比，它的优点是使得译码器的复杂性不再是码字序列中所含码元数的函数。
目前常用的分词工具很多，包括盘古分词、Yaha分词、Jieba分词、清华THULAC等，现在项目使用的分词方法是结巴分词，本次来介绍一下。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
