高精地图（High-definition Map）在自动驾驶研究领域一直占据重要地位。
在线监测系统广泛应用于高铁、火力发电厂以及航空航天等领域，其核心内容是研究传感器输出信号的变化趋势，后续依据智能算法对设备的剩余寿命进行预测，该方法即可以防止因维修不足引起的系统故障，也可避免维修过剩造成的资源浪费，是保证机械设备安全高效运行的关键技术。
之前我们讨论的学习都是「批量学习」（batch learning）。批量学习的特点是我们会基于一个训练集进行学习，然后在独立的测试数据上评估学习得到的假设
PAL: A Position-bias Aware Learning Framework for CTR Prediction in Live Recommender Systems(RecSys2019)
在标签查询服务中，T日所灌入的是T-1日的离线标签数据，其面临的主要问题是：无法获取当日新增用户的标签数据。标签实时预测服务支持实时挖掘用户的标签值，可以覆盖新增用户标签查询，从而弥补离线标签数据缺失从而提高标签覆盖率。
摘要：本篇主要是学习美团技术团队分享的《美团搜索中NER技术的探索与实践》学习笔记。首先介绍了背景，包括NER任务定义、美团搜索场景下的NER以及美团搜索NER任务面临的挑战；然后重点介绍了美团基于实体词典匹配+模型在线预测框架。通过实体词典匹配可以解决头部搜索NER匹配问题，而长尾复杂的搜索则通过模型在线预测解决。对于想了解美团搜索NER技术实践的小伙伴可能有所帮助。
研究人员在本研究中，通过对非人类灵长类动物的皮质内信号解码手指连续运动，将RNN与其他神经网络结构进行了实时比较。下面是实验过程。
与美国、欧洲和中国一些大型互联网公司的机器学习和基础设施工程师聊过之后，我发现这些公司可以分为两大类。一类公司重视实时机器学习的基础设施投资（数亿美元），并且已经看到了投资回报。另一类公司则还在考虑实时机器学习是否有价值。
引言:集群管理的一个重要目标是提高资源利用率，随着集群规模的扩大，基础设施成本上涨，资源利用率问题逐步突显，为降低成本，混部技术应运而生。本篇文章结合腾讯技术团队在混部方面的落地和实战经验，来介绍各类场景下在线离线混部的相关概念、面临的问题及混部技术方案，抛砖引玉，供大家交流。 混部背景 各大厂商都有自己的集群管理平台，典型的是以k8s（kubernetes）为代表的容器云平台，集群管理的一个重要目标便是提高资源利用率，随着集群规模的扩大，机器成本增加，资源利用率问题开始变得越来越重要。造成集群利用率低的
本文介绍了广告和推荐系统部署机器学习模型的不同架构，包括预测函数上线架构和预测结果上线架构。预测函数上线架构将模型和大部分控制逻辑部署在离线机器上，而预测结果上线架构将预测结果部署到线上，适合各种场景。
美国的在线旅游市场正在走向成熟。根据eMarketer发布的报告 ，美国的在线旅游销售增长幅度正在放缓，增速从2011年的15.1％下降到2013年的8.0％，预测在2017年的增长幅度为4.5％。对于酒店和旅游业的公司来说这意味着什么呢？新增的在线消费者人数后继增长乏力——仅仅给用户提供一个带预订功能的网站是不够的，在线的访问体验必须要吸引客户多次回访并在线下单。消费者可以选择在线下单或通过手机进行预订。为了避免你的潜在客户跑到你的竞争对手那里预订酒店与旅游产品，你必须要了解你的潜在客户的意图，并提供
XGBoost是一种强大的机器学习算法，但训练好的模型要想在实际应用中发挥作用，需要进行部署并实现在线预测功能。本指南将详细介绍如何在Python中部署XGBoost模型，并实现在线预测功能，同时提供相应的代码示例。
在线教育场景下的学生退课行为预测，一直是机器学习（ML）与教育（EDU）交叉领域内较为火热的研究课题。
昨天我看到公众号的后台有同学留言说我好几天没有更新公众号了，我开玩笑的回复，我的公众号遵循国家法定假日。在这里感谢大家的支持，一直默默地关注着我的公众号。
互联网到移动互联网最大的变化莫过于用户“随时随地”地接入互联网。不过，还有一点正在悄悄发生的是，“内容和服务的实时性”正在变得重要起来。 一、实时直播 中秋节，百度联合国家天文台在北京、台北、拉萨、
A：网上已经有很多的文章解释过这个问题，简单的说就是离线评估的 AUC 是评估请求与请求之间点击率的序，而在线评估的是广告与广告点击率的距，评估的角度就不一致，所以这种情况是有可能发生的。举一个极端的例子，假设人在 wifi 环境下更喜欢点广告，但无论是哪个广告更喜欢点的程度都是一样的，如果在离线环境下如果我们加入了是否在 wifi 环境下这个特征，我们就应该能得到更高的 AUC，而在线时，因为这个特征的影响对所有广告是一样的，其实无法提升我们的在线效果，因为 P(Ad_x|Wifi)=P(Ad_x)，所以不会提升。
选自Uber 作者：JEREMY HERMANN、MIKE DEL BALSO 机器之心编译 参与：黄小天、路雪、蒋思源 近日 Uber 提出了他们的机器学习平台 Michelangelo，该平台构建在 Uber 数据和计算基础设施之上，并且由一系列开源系统和内置组件组成。Michelangelo 可提供易于使用且自动化的工具处理数据管理、模型训练、模型评估、模型部署、执行预测和检测预测等工作流程。Uber 希望 Michelangelo 可以在推动 AI 民主化方面贡献出应有的力量。 Uber Engin
观看艺术通常被视为一种高度个人化和主观的体验。然而，是否有普遍的因素使一件艺术作品令人难忘呢?我们进行了三个实验，在这些实验中，我们记录了来自芝加哥艺术学院的4021幅画的在线记忆表现，在不受限制地参
个性化推荐是现代在线广告的基础，既提升了广告主的回报也优化了用户体验。个性化的核心在于对用户的理解，过去主要依赖于人工设计的特征和简化的架构。以深度学习为基础的推荐系统的发展改变了这一格局，其利用复杂的神经网络模型来学习微妙的用户表示。
摘要 计算正确奖励函数的能力对于通过加强学习优化对话系统十分的关键。在现实世界的应用中，使用明确的用户反馈作为奖励信号往往是不可靠的，并且收集反馈花费也十分地高。但这一问题可以有所减轻，如果能提前知道用户的意图或是数据能预先训练任务离线的任务成功预测器。在实践中这两种都不太适合现实中的大多数应用。在这里我们提出了一个在线学习框架，通过带有高斯过程模式的主动学习，对话策略能按照奖励模式共同进行训练。高斯过程开发了一系列连续的空间对话表示，但都是在无监督的情况下使用递归神经网络编码和解码器完成的。试验结果表明所
亚细胞定位是指某种蛋白或某个基因表达产物在细胞内的具体存在部位，包括细胞核、细胞质和细胞膜等部位。传统的实验方法有，利用一些荧光蛋白如GFP、YFP，通过其在激光照射下发出的绿色或黄色荧光，从而精确确定编码蛋白的定位。如果面对质谱打出来很多蛋白，传统的实验方法显得十分乏力。如果能利用生物信息学手段基于一些算法如机器学习等开发的方法进行亚细胞定位预测分析辅助于实验，这样就能省时省力节约成本。
陈凯悦，腾讯云高级开发工程师，Crane和SuperEdge项目核心开发。专注于大规模离在线混部和资源调度，目前负责Crane离在线混部和调度相关工作。 孟凡杰，腾讯云容器专家工程师，Crane项目发起人，致力于云原生成本优化，腾讯云降本产品研发负责人。 背景 用户使用云时，为不同特征的业务完成精确的资源配置不是一件容易的事情。FinOps 时代如何玩转应用资源配置 提供了诸多最佳实践。我们再来借助下图的单节点资源使用情况探讨一下资源合理利用的挑战，为简化问题，我们只关注核心资源 CPU。 假设该节点总计
Flink Forward 是由 Apache 官方授权，用于介绍 Flink 社区最新动态、发展计划以及各一线大厂围绕 Flink 生态的生产实践经验的会议。Flink Forward 以前只在美国和德国举办，2018年12月20日首次来到中国。腾讯云大数据团队参加了会议并在会上介绍团队在公有云流计算平台服务化过程中的一些监控运维经验。
目前互联网已经进入了AI驱动业务发展的阶段，传统的机器学习开发流程基本是以下步骤：数据收集->特征工程->模型训练->模型评估-> 并在线上使用训练的有效模型进行预测。这种方式主要存在两个瓶颈：模型更新周期慢，不能有效反映线上的变化，最快模型更新都需要小时级别，一般是天级别甚至周级别。另外一个是模型参数少，预测的效果差；模型参数多线上predict的时候需要内存大，QPS无法保证。
如果在训练和推理系统中特征工程代码不相同，则存在代码不一致的风险，因此，预测可能不可靠，因为特征可能不相同。一种解决方案是让特征工程作业将特征据写入在线和离线数据库。训练和推理应用程序在做出预测时都需要读取特征-在线应用可能需要低延迟（实时）访问该特征数据，另一种解决方案是使用共享特征工程库（在线应用程序和训练应用程序使用相同的共享库）。
刚刚度过了一个特殊的春节，美美在这里给大家拜个晚年。相信大家作为各公司技术团队的骨干，应该也和我的同事们一样，正在紧张忙碌地用技术支撑着各方面的工作，同舟共济，抗击疫情吧。请大家注意做好个人和家庭防护，多加强运动，提高免疫力。让我们一起为武汉加油，愿疫情早日结束！
最近有不少质疑大数据的声音，这些质疑有一定的道理，但结论有些以偏概全，应该具体问题具体分析。对大数据的疑问和抗拒往往是因为对其不了解，需要真正了解之后才能得出比较客观的结论。 大数据是一个比较宽泛的概念，它包含大数据存储和大数据计算，其中大数据计算可大致分为计算逻辑相对简单的大数据统计，以及计算逻辑相对复杂的大数据预测。下面分别就以上三个领域简要分析一下：第一，大数据存储解决了大数据技术中的首要问题，即海量数据首先要能保存下来，才能有后续的处理。因此大数据存储的重要性是毫无疑问的。第二，大数据统计是对海量
编译 | 量子位 若朴 赌徒往往依赖直觉，庄家偏爱铁一般的事实。他们的最终结局，殊途同归于预测。对于在线赌博和游戏公司而言，他们可以藉由用户鼠标的每次点击获得大量数据，而把这些数据变成有价值预测的关键，就是复杂的机器学习。 有何帮助？ 机器学习的意思是，不需要细致入微的编程，就能让机器从数据中学到关系和模式。这种方式需要大型数据集和规划。不同的公司在开发机器学习算法是，有不同的优先级和目标。比方，有公司想利用玩家数据来改进游戏设计；而另一公司可能更希望最大化收入，并识别出最可能花钱的玩家。 让我们举个实
“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。
腾讯云结合自身优势，从在线教育的业务营销、教学业务应用与管理方面助力行业合伙发展。智能营销云以AI+大数据和基础资源为依托，提供精准流量获取、付费转化、持续服务的全流程解决方案。从流量获取到报名转化，从意向沟通到课程试听、口语等能力评测，从付费报名到持续服务，腾讯云在各个环节助力培训机构短时间、低成本获客；互动课堂解决方案以腾讯云领先的音视频技术，满足教育企业的授课体验需求；腾讯云AI+大数据领先的算法与技术能力模型，为行业伙伴提供未来竞争的筹码；
---- 新智元报道 来源：reddit 编辑：LRS 【新智元导读】Reddit扫盲贴火了！提问者对手写体生成技术惊呆了，寻求网友帮助探究背后原理，引来无数热心网友分析论文！其中有一位眼尖的网友发现可以上传手写体数据，但生成的数据并不好，于是怀疑作者是来骗数据的！ Reddit上一个问题火了！ 一个小哥访问了一个手写体生成的网站之后，感觉太不可思议了，想问一下是机器学习技术是怎么帮助生成手写体的？ 为了避免广告嫌疑，提问者声明：我不是制作这个的人，但它的工作原理是如此的令人着迷---- 我的笔
MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction(CIKM20)
在不同数据集上训练的大型Transformer模型往往具备很强的上下文学习能力。今天分享的这篇文章，作者主要研究了Transformer在问题决策中的上下文学习能力，为此介绍了「一种决策预训练Transformer（DPT）方法」，该方法是一种有监督得预训练方法，即：在不同的任务中，Transformer在给定请求状态和上下文交互数据集的情况下预测出最佳动作。
大数据文摘作品 作者：Ajay Agrawal、Joshua Gans、Avi Goldfarb 翻译：Happen AI将如何改变公司战略？ 这是我们三个人在公司高管那儿听到最常见的问题，它回答起来并不简单。AI从根本上来说是一项预测技术。随着AI预测成本越来越低，经济学理论需要更频繁、广泛地用到AI预测，预测补充的价值——例如人类行为判断——将不断提升。这对战略来说又意味着什么？ 我们可以用亚马逊的思维实验来说明这个问题。很多人都能够熟练地在亚马逊网站上购物，这和大多数的在线购物平台一样，你选择一些商品
注：这是一份学习笔记，记录的是参考文献中的可扩展机器学习的一些内容，英文的PPT可见参考文献的链接。这个只是自己的学习笔记，对原来教程中的内容进行了梳理，有些图也是引用的原来的教程，若内容上有任何错误，希望与我联系，若内容有侵权，同样也希望告知，我会尽快删除。这部分本应该加上实验的部分，实验的部分在后期有时间再补上。 可扩展机器学习系列主要包括以下几个部分： 概述 - Spark分布式处理 - 线性回归(linear Regression) - 梯度下降(Gradient Descent)
作者 | 黄波，何沧平 责编 | 何永灿 随着人工神经网络算法的成熟、GPU计算能力的提升，深度学习在众多领域都取得了重大突破。本文介绍了微博引入深度学习和搭建深度学习平台的经验，特别是机器学习工作流、控制中心、深度学习模型训练集群、模型在线预测服务等核心部分的设计、架构经验。微博深度学习平台极大地提升了深度学习开发效率和业务迭代速度，提高了深度学习模型效果和业务效果。 深度学习平台介绍 人工智能和深度学习 人工智能为机器赋予人的智能。随着计算机计算能力越来越强，在重复性劳动和数学计算方面很快超过了
开工第一天，小伙伴们是不是还没有从过年的状态转换过来？今天给大家介绍一个AI Studio新功能，能让大家用自己训练好的模型，轻松生成在线预测服务，通过在线API调用，而且是免费的哦~
教育机构如何提升在线教育技术能力？ 如何给用户稳定、清晰流畅的在线互动体验？ AI和大数据的发展会给行业带来哪些变革？ 腾讯云结合自身优势，从在线教育的业务营销、教学业务应用与管理方面助力行业合伙发展。智能营销云以AI+大数据和基础资源为依托，提供精准流量获取、付费转化、持续服务的全流程解决方案。从流量获取到报名转化，从意向沟通到课程试听、口语等能力评测，从付费报名到持续服务，腾讯云在各个环节助力培训机构短时间、低成本获客；互动课堂解决方案以腾讯云领先的音视频技术，满足教育企业的授课体验需求；腾讯云AI+大
对自主机器人来说，感知场景的深度是一项重要的任务——准确估计目标离机器人有多远的能力对于避开障碍、安全规划以及导航来说至关重要。虽然可以从传感器数据（比如 LIDAR）中获得（学习到）深度值，但是也可以只依赖机器人的运动以及因此而产生的不同视角场景，以无监督的方式从单目相机中学到深度值。在这个过程中，也在学习「自我运动（Ego-motion）」（机器人/摄像机在两个帧之间的运动），它提供了机器人自身的位置。这种方法由来已久——来自 SfM（Structure-from-Motion，运动恢复结构）和多视图地理范式——是基于技术的新学习，具体来说就是通过使用深度神经网络对深度和自我运动进行无监督学习，刷新了当前的最佳结果，包括 Zhou 等人的研究（《Unsupervised Learning of Depth and Ego-Motion from Video》）以及作者之前的研究（《Unsupervised Learning of Depth and Ego-Motion from Monocular Video Using 3D Geometric Constraints》，在训练期间对准场景的 3D 点云）。
为此，论文提出Guided Anchoring来根据图片特征在线生成anchor。首先判断目标可能出现的位置，然后学习不同位置上的目标的形状，可根据图片特征在线学习稀疏的候选anchor。然而，在线生成的anchor形状各异，固定的感受域可能不匹配其形状，所以Guided Anchoring根据anchor的形状进行自适应特征提取，然后再进行预测框精调与分类。
目前的模型训练过程只获取用户的反馈作为标签，而没有考虑到之前推荐中的错误。本文为推荐系统构建一个自纠正学习循环（称为 ReLoop），从而从之前的推荐错误中学习知识。构建自定义损失来鼓励每个新模型版本在训练期间减少对先前模型版本的预测误差。
以下文章来自知乎，作者Bill Tong。Bill Tong，上海交通大学管理科学与工程博士，曾出版《在线文本数据挖掘》一书。
线性回归（Linear Regression）是非常流行的机器学习算法。线性回归可以用来确定两种或两种以上变量之间的定量关系。具体来说，线性回归算法可以根据一组样本数据，拟合出一个线性模型，并通过对该模型的参数进行估计和预测，达到对未知数据进行预测的目的。
在 如何使用sklearn进行在线实时预测（构建真实世界中可用的模型） 这篇文章中，我们使用 sklearn + flask 构建了一个实时预测的模型应用。无论是 sklearn 还是 flask，都是用 Python 编写的，在工业界，我们经常会使用 Python 或 R 来训练离线模型， 使用 Java 来做在线 Web 开发应用，这就涉及到了使用 Java 跨语言来调用 Python 或 R 训练的模型。很明显，之前方式就无法满足要求了。
选自arXiv 机器之心编译 参与：蒋思源 近日，腾讯发表了一篇介绍并行贝叶斯在线深度学习（PBODL）框架的论文，该论文表示这一框架已经用于腾讯广告系统的点击率预测，并获得了稳定高效的性能。该论文还
自监督学习 (SSL) 的对比方法通过最小化同一数据点（positive pairs）的两个增强视图之间的距离，和最大化不同数据点（negative pairs）的视图之间的距离来学习表征。
摘要：科大讯飞试水英特尔KNL、KNM芯片用于深度学习模型的离线训练，试水CPU+FPGA（英特尔A10）方案用于在线预测。 记者：王艺 wangyi@csdn.net 2017年4月9-11日，第五
随着AI工具AlphaFold2的问世，已解析了约2亿个蛋白质的结构，几乎覆盖了地球上已知的蛋白质。现如今，蛋白结构解析已变得可行，但大多数可用的蛋白序列缺乏相应的生物学注解。相比于全长的蛋白，其结构域在语义注解方面所受关注却较少。
人类基因组测序数据分析得到的变异位点，如SNV、INDEL，需要经过基因信息、人群频率、进化保守性预测、蛋白功能影响预测等分析，才能用于遗传分析和解读。虽然各实验室相继推出了如pubvar、mutlazer之类的查询网站，但由于维护频率不高，后台很多数据库未及时更新，导致注释的结果存在信息不全、版本过低等情况。目前已知的主流变异位点注释软件包括annovar、VEP、 snpeff等，VEP是ensembl出品，质量有保障。VEP发布了在线版和下载版，对于非生物信息背景的各位，可以用在线版实现相关信息的注释。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
