文本端到端识别是一项从图像或视频序列中提取文本信息的任务，虽然取得了一些进展，但跨领域文本端到端识别仍然是一个难题，面临着图像到图像和图像到视频泛化等跨域自适应的挑战。
在科学研究中，从方法论上来讲，都应先见森林，再见树木。当前，人工智能科技迅猛发展，万木争荣，更应系统梳理脉络。为此，我们特别精选国内外优秀的综述论文，开辟“综述”专栏，敬请关注。
作者：TencentOCR团队 全球 OCR 最顶级赛事，TencentOCR 以绝对领先优势斩获三冠，腾讯技术再扬威名！ 一、竞赛背景 2021 年 9 月，两年一届的 ICDAR 竞赛落下帷幕，这是文字识别（OCR）领域全球最顶级赛事。TencentOCR 团队在本届比赛中参加了视频文字识别竞赛，并包揽该赛道全部 3 项冠军，成绩遥遥领先。这也是继 2017 年团队勇夺 4 项官方认证冠军[1]、2019 团队勇夺 7 项冠军后[2]，再创佳绩，同时也标志着腾讯 OCR 技术稳居国际第一流水准。
在全球文字识别（OCR）领域顶级盛会ICDAR 2023上，腾讯OCR团队基于自研算法，斩获四项冠军，这是继2017年、2019年、2021年以来，连续四届参会同时创造佳绩，共获得18项官方认证冠军，展示了腾讯OCR技术在全球的一流水平。
在以UGC(User Generated Content 用户原创内容)业务为主的视频网站中，每天都有大量的视频被上传。用户上传的视频有数量大、重复视频多的特点，特别是一些热点视频会同时有多个用户上传。这样会导致搜索或者推荐结果中出现大量重复视频。如何识别出这些相同内容的视频，为用户提供更好的搜索和推荐体验，是一个需要解决的问题。下面介绍几种识别相同视频的方法：
在 素材 面板中 , 选择 " 文本 " 选项卡 , " 智能字幕 " , 然后选择 " 识别字幕 " , 即可设置字幕 ;
随着人工智能的热度上升，图像识别这一细分领域也渐渐被人们所关注。在很多公司的业务中，有很多需要对图片进行识别的需求。为了帮助业务实现对这些图片、文档的识别和结构化，业界进行了一系列的实践和探索，最终确定了一些可行的方法。实践过程中，可能遇到过一系列问题和难点。本次直播分享，我们将结合目前的业务需求，说说爱奇艺在探索中遇到的痛点和难点以及识别技术中的一些细节。
本文分享论文『ActionCLIP: A New Paradigm for Video Action Recognition』，假设视频动作识别不是分类问题，而是检索问题？并基于 CLIP，浙大提出 ActionCLIP，用检索的思想做视频动作识别！性能 SOTA！代码已开源！
提取视频文件中的图像然后使用OCR技术识别静态图像中的文本，提取视频文件中的音频然后使用语音识别技术提取其中的文本，如果视频文本或音频文本中包含指定的关键词则进行提示。
“道路千万条，安全第一条，行车不规范，亲人两行泪”——这句话，出自科幻电影《流浪地球》，却也恰巧概括出内容平台的“辛酸经历”。
ICPR2022多模态字幕识别比赛(Multimodal Subtitle Recognition简称MSR竞赛)，日前圆满结束了。 本次竞赛由Tencent OCR & ASR Oteam 联合华南理工、华中科技大学、联想等依托于计算机国际学术顶会ICPR举办，吸引了376位来自各大高校和企业的参赛者报名，26支队伍，提交次数高达932次。 大赛聚焦多模态字幕识别，希望推动字幕识别技术的准确性和应用性的进一步提升，弥补该技术领域的空白，并为学术界和业界创造交流机会 01 赛事背景 伴随着短视频、网络直
付费电视服务在与运营商之外的第三方通过互联网提供（Over-The-Top，OTT）的视频点播（Video-on-Demand，VoD）服务的竞争中逐渐处于劣势，尽管电视服务运营商拥有海量的媒体内容，但是后者利用短视频和刷剧（binge-watching）的功能可以更好地迎合如今观众的需求。为了解决这个问题，一些电视服务运营商通过人工将线性的视频内容剪成视频点播的形式向用户提供简短的内容，但这通常不可行也不可扩展。而且研究表明，用户尽力去发现的新内容总是令人失望的。近些年来，机器学习算法尤其是深度学习因其在目标识别和语音识别任务中可以匹敌甚至超过专业人士的表现得到了极大的普及。
【导读】本文分享一篇浙江大学和海康威视最新联合提出的视频场景文本定位（Video Scene Text Spotting）方向的算法：SVST（spotting video scene text）。之前CVer曾分享过场景文本检测相关的论文
本文分享论文『Prompting Visual-Language Models for Efficient Video Understanding』，用 CLIP 做多个视频任务！上交&牛津提出基于 Prompt 将CLIP 拓展到多个视频任务，在 open-set 场景中效果极佳！
互联网发展之初受到网络带宽、数据存储等相关技术的限制，信息传播以单模态形式为主，如文字报道、图像相册等。进入大数据时代，信息传播变得丰富多彩，人们从互联网中同时接受图像、视频、文本等不同模态的信息。例如，当我们在互联网上浏览一篇精彩的新闻报道时，不仅可以看到详细的文字描述，还能看到现场拍摄的照片，甚至还有相关的视频报道。这体现了互联网数据从单模态到多模态的转变。 随着互联网多模态数据的出现和传播，“管不住”和“用不好”两大问题也日益突出。“管不住”是指多模态大数据中隐藏着大量涉恐、涉暴等有害信息，极大地
本文介绍了一种基于深度学习的视频字幕识别和生成方法，包括字符级和单词级两个模块，以及针对视频字幕中字符和单词的识别和生成任务。首先，通过深度学习模型对视频中的字幕进行定位和提取，然后使用字符级和单词级两个模块分别进行字符和单词的识别和生成。实验结果表明，该方法能够有效地识别和生成视频字幕，对于艺术字体、手写字体等难以切分的情况，以及对于视频中的噪声干扰，都具有较高的鲁棒性。
最近，QQ V7.6.0版本发布，新增视频通话“口吐弹幕”功能，引发网友热议。 寻找最新黑科技与视频通话的契合点，使视频聊天更潮、更互动、更具趣味性是，一直是QQ视频通话探索的方向。这次我们结合实时语
本挖掘典型地运用了机器学习技术，例如聚类，分类，关联规则，和预测建模。这些技术揭示潜在内容中的意义和关系。文本发掘应用于诸如竞争情报，生命科学，客户呼声，媒体和出版，法律和税收，法律实施，情感分析和趋势识别。 在本篇博客帖中，你将会学习到如何将机器学习技术应用到文本挖掘中。我将会向你展示如何使用RapidMiner（一款流行的预测分析开源工具）和亚马逊S3业务来创建一个文件挖掘应用。亚马逊S3业务是一项易用的存储服务，可使组织在网页上的任何地方存储和检索任意数量的数据。 掘模型产生的结果可以得到持续的推导并
随着短视频的快速发展以及安全管理的需求不断增多，视频领域的相关技术应用包括视频智能标签、智能教练、智能剪辑、智能安全管理、文本视频检索、视频精彩片段提取、视频智能封面正逐渐成为人们生活中的重要部分。
本挖掘典型地运用了机器学习技术，例如聚类，分类，关联规则，和预测建模。这些技术揭示潜在内容中的意义和关系。文本发掘应用于诸如竞争情报，生命科学，客户呼声，媒体和出版，法律和税收，法律实施，情感分析和趋势识别。 在本篇博客帖中，你将会学习到如何将机器学习技术应用到文本挖掘中。我将会向你展示如何使用RapidMiner（一款流行的预测分析开源工具）和亚马逊S3业务来创建一个文件挖掘应用。亚马逊S3业务是一项易用的存储服务，可使组织在网页上的任何地方存储和检索任意数量的数据。 掘模型产生的结果可以得到持续的推
CLIP由于其强大的泛化性能，简单的代码逻辑，受到了广泛的关注。目前CLIP也被应用到各个其他场景中，在这篇文章中，我们就来盘点一下，怎么把CLIP这个图文预训练的模型拓展到具有时序信息的视频任务中。
近期，机器人技术和自动驾驶系统利用实时的深度传感器，如激光雷达（LiDARs），来实现三维感知。激光雷达产生的点云可以提供丰富的几何信息，并帮助机器理解环境感知。早期方法集中于从静态点云中解析现实世界，忽略了时间变化。为了更好地理解时间变化的世界，近期研究更专注于在4D空间理解点云视频，包括三个空间维度和一个时间维度。已有几项工作在4D点云建模方面取得进展。这些方法要么旨在设计改进的网络来建模4D点云，要么采用自监督方法来提高4D点云表示的效率。
本文分享 CVPR 2022 论文『Bridging Video-text Retrieval with Multiple Choice Questions』，港大&腾讯&UCBerkeley提出带有多项选择任务的视频文本检索模型，《BridgeFormer》，性能SOTA！
大模型在深度学习中的应用已经变得日益广泛和深入，其庞大的参数规模和复杂的结构赋予了其强大的数据处理和学习能力，为深度学习领域的多个任务提供了有效的解决方案。
多模态融合是多模态信息处理的核心问题。本文介绍 NLP 领域关注度较高的多模态应用和相关的数据集。
OCR技术指的是 Optical Character Recognition 或光学文字识别技术，即从图像中识别文字，并将其转换为电子文本或机器可读格式。它可以被广泛应用于图像处理，文字处理，自然语言处理，计算机视觉和数据挖掘领域。
这就是Facebook、哥伦比亚大学等大学的新研究，共同开发了一个框架——Vx2Text。
近日，全国“扫黄打非”办公室为贯彻落实2019年“扫黄打非”专项行动，从3月起开始大力组织开展“净网2019”、“护苗2019”、“秋风2019”等专项行动，持续净化社会文化环境。
论文解读: Quantized Convolutional Neural Networks for Mobile Devices
机器之心发布 作者：香港大学、腾讯ARC Lab 本文提出了一个全新的借口任务用于视频文本预训练，叫做多项选择题（MCQ）。通过训练辅助的BridgeFormer根据视频内容回答文本构成的选择题，来学习细粒度的视频和文本特征，并实现下游高效的检索。该研究已被 CVPR 2022 收录为 Oral。 用于文本视频检索的多模态预训练工作主要采用两类方法：“双流”法训练两个单独的编码器来约束视频级别和语句级别的特征，忽略了各自模态的局部特征和模态间的交互；“单流”法把视频和文本联结作为联合编码器的输入来进行模态间
在腾讯20多年的发展历程中，存储并非像其他技术那样万众瞩目，它更像是盖房子时的“地基”，看不见，却不可或缺。随着数据量爆炸的时代来临，在网络安全政策越来越完善的情况下，如何对存储的数据进行强有力的内容安全保障，已经受到各界的关注。
1.Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively
2023 年我们正见证着多模态大模型的跨越式发展，多模态大语言模型（MLLM）已经在文本、代码、图像、视频等多模态内容处理方面表现出了空前的能力，成为技术新浪潮。以 Llama 2，Mixtral 为代表的大语言模型（LLM），以 GPT-4、Gemini、LLaVA 为代表的多模态大语言模型跨越式发展。然而，它们的能力缺乏细致且偏应用级的评测，可信度和因果推理能力的对比也尚存空白。
训练自定义模型的方法已经过时，基于最近大语言模型（LLM）和视觉语言模型（VLM）的技术进展，通过 prompt 工程使用 ChatGPT 或 GPT-4 等通用模型才是时下热门的方法。
机器之心报道 编辑：泽南、小舟 脸书的视频生成新模型实现了 SOTA，但不知道是不是人类给的提示太简单了，生成内容有点惊悚。 你输入文字，AI 就能生成视频，很长一段时间里只存在于人们想象中的事现在已经实现了。 昨天，Meta（脸书）研究人员发布了在 AI 艺术领域的新成果 Make-A-Video，这是一种创造性地新技术，结果令人印象深刻且多种多样。虽然画面目前看起来都有点惊悚，但在 AI 圈里人们已经开始尝试批量制造梗图了，图灵奖获得者 Yann LeCun 也在不停转推它制造的内容。 在此之前，我
首先是每个直播平台都有响应的规范规范，比如禁止低俗、性暗示的行为。禁止男性赤裸上身，同时展示和露出纹身也不允许，所以今天大家只能看到把双手裸露出来，看不到我胸前的HelloKitty哈。
AI视频模型Sora是一个基于深度学习和计算机视觉技术的视频模型，它能够自动识别和分析视频中的各种元素，包括人脸、物体、场景等，并生成相应的文本描述。Sora模型可以帮助用户快速、准确地提取视频中的关键信息，为视频内容分析、自动摘要、视频推荐等应用提供有力的支持。
最近，各大视频平台实时更新着冬奥赛场上的精彩瞬间集锦，谷爱凌、武大靖、苏翊鸣等运动健儿们勇闯佳绩，可喜可贺！在为中国体育的强大实力感动、欣喜的同时，我们也关注到了体育竞技背后的一些AI产业应用，比如通过动作识别技术辅助运动员日常训练和比赛打分，利用智能分类与自动化剪辑等AI技术大幅降低体育视频内容处理的人力和时间成本等。
本次比赛是最近比较火热的多模态比赛，业务和数据比较接近真实场景，任务比较有趣。我们队伍“石碑村”，队员有华仔、致Great，最终决赛取得第五名成绩，下面主要给大家分享下我们队伍的建模思路和方案，希望能够对大家有所帮助。
随着5G商用大规模落地，以及智能手机硬件性能越来越强、AIoT设备的快速普及，基于云-边缘-端算法和算力结构的移动端人工智能，仍有非常大的发展空间，亟待我们快速理解移动端深度学习的原理，掌握如何将其应用到实际业务中。
潜在应用：由于外界环境影响，导致图像成像效果不尽人意，从而影响后续对视频图像的处理。
1.Towards A Unified Neural Architecture for Visual Recognition and Reasoning
译者 | reason_W 编辑 | Just 对大多数企业来说，机器学习听起来就像航天技术一样，属于花费不菲又“高大上”的技术。如果你是想构建一个 Netflix 这种规模的推荐系统，机器学习确实是这样的。（注：Netflix是美国流媒体巨头、世界最大的收费视频网站，曾于 2017 年买下《白夜追凶》全球播放权。）但受万物皆服务（everything-as-a-service）这一趋势的影响，机器学习这一复杂的领域也正在变得越来越接地气。所以现在哪怕你只是一个数据科学领域的新手，并且只想实现一些很容易
引言 一年一度的计算机视觉顶级会议 CVPR 2018 于6月18-22日在美国盐湖城召开。本届大会有超过 3300 篇的论文投稿，录取 979 篇（接受率约为 29%，其中包括 70 篇 Oral
机器之心报道 编辑：张倩、杜伟 谷歌、Meta 等科技巨头又挖了一个新坑。 在文本转图像上卷了大半年之后，Meta、谷歌等科技巨头又将目光投向了一个新的战场：文本转视频。 上周，Meta 公布了一个能够生成高质量短视频的工具——Make-A-Video，利用这款工具生成的视频非常具有想象力。 当然，谷歌也不甘示弱。刚刚，该公司 CEO Sundar Pichai 亲自安利了他们在这一领域的最新成果：两款文本转视频工具——Imagen Video 与 Phenaki。前者主打视频品质，后者主要挑战视频长度，
首先我们了解到虚拟数字人根据人物图形资源的维度，数字人可以分为2D和3D两大类。2D数字人从外形上可以分为2D真人和2D卡通。
导读：本文通过案例分门别类地深入探讨人工智能的实际应用。案例甚多，此处所列举的仅是九牛一毛。本该按行业或业务对这些案例进行分类，但相反我选择按在行业或业务中最可能应用的顺序来分类。
最近有个新闻说一个人毫无绘画能力靠AI作图，获得艺术比赛第一名，没想到现在AI 这么厉害了，今天分享几个AI 黑科技工具，在公众号后台回复 黑科技 获取软件地址。
目前的文字识别主要有两方面的研究。首先是传统的文字识别，也就是文档中的文字识别，主要是OCR技术，其技术已经比较成熟，效果也比较稳定。另一方面是基于场景的文字识别，也就是图片中的文字识别，即将图片里的文字转化成人类可以理解的语言。这个过程需要实现以下目标：获得图片中文字出现的位置，包括文本的起始位置、结束位置和上下高度；将所在位置的图片所包含的文本数据转化成人们可以理解的信息。这整个过程就是文字识别。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
