Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >【AI产品】产品小姐姐分析抖音背后的计算机视觉技术

【AI产品】产品小姐姐分析抖音背后的计算机视觉技术

作者头像
用户1508658
发布于 2019-07-25 02:27:52
发布于 2019-07-25 02:27:52
1.2K0
举报
文章被收录于专栏:有三AI有三AI

抖音提供的功能很多,照片视频处理都不在话下,搞笑如各式贴纸、妆容术、换头换脸、图像风格迁移等,浪漫如“吹蒲公英”,严肃如后台的“鉴黄”,以下对抖音里与计算机视觉相关的产品功能点进行体验与分析。

1 美丑胖瘦收放自如

不管有没有玩过抖音,大家或多或少都在朋友圈或微博看见过如下类似的搞笑照片。

所以,大家应该就更加能理解,为什么这么多人每天活在抖音里“醉生梦死”,因为比起苦难的生活,这里真的比较轻松有趣对吧?

这些看似搞怪的图片,在抖音里实现起来其实很简单。其基本流程如下:打开抖音app,点击屏幕正中间的“+”按钮,进入照片/视频模块,选择道具图标,然后在图标工具库中选中自己想要的效果,则人在画面中的成像,就可以开始各种作妖,尤其是眼睛、眉毛、嘴巴、鼻子等脸部主要关键部位,可发生明显变形,打造出各种连亲妈都难以辨认的形象。

如图,是抖音道具图标的极小部分截图,从中也可以感受到整体功能设计呈现出多样性、娱乐性、趣味性的效果。

任何产品的功能设计,其定调都紧紧围绕着产品的目标用户,抖音主要的目标用户群体定位为90后追求潮流个性的年轻人,而这类人群喜欢刺激、渴望表达,但又相对情绪化,所以他们具有观看或发布新鲜内容以打发无聊时光及获得表达自我价值的需求。

为了更好地满足用户的上述需求,抖音提供变美、变丑、变瘦、变胖等功能,使得年轻人的互动被极大地多元化,且整个操作的过程成本极其低廉、步骤也十分简单。

点击边框调出视频工具条

小视频里的人,不仅脸部发生了变形,同时头顶灵活的“蝴蝶结小辫儿”也很生动、形象,体验的过程充满乐趣,对于很多抖音用户而言,他们十分乐意去探索这样多面搞怪的自己。

同时,由于抖音平台本身的算法优势,功能的实时响应性能也很优秀,基本只要脸一进入画面,立马就能实现拉伸和变形,用户基本感受不到延时,体验十分流畅。

这进一步体现,抖音的成功,更多的是因为他们擅长于结合技术,以更轻松的方式解决年轻人的需求痛点,抓住大部分用户的心。

上述脸部变换的功能主要基于人脸关键点检测技术实现,该技术通过定位脸部关键部位,并在关键部位上对像素点进行变换,达成各种不同的效果。人脸关键点检测技术也被广泛地应用于直播及短视频,如网易的游戏直播、YY直播等,基于该技术衍生出了很多有趣的功能,带给用户越来越新奇刺激的体验。

技术关键词:人脸关键点检测。

2 换头不是梦

上一项功能只是变形,抖音里还有更神奇的技能。

为了实现如上“换头”效果,同样地其制作流程为:启动抖音来到拍摄页面,选中“狗头”或“猪头”图标,则画面中自己的脸部就会被完全遮蔽。同时,如果用户眨眼或张嘴,会看到画面中的相同部位同步变换,体验还是挺新奇的。

该项功能进一步提升了对年轻用户的刺激感,因为对某些用户而言,他们一方面想要寻求刺激、内心具有有强烈的表达自我的意愿,但同时又不可避免地想要制造一定的神秘感,或用户本身略带羞涩感,而这一功能正好满足了这部分的需求。

点击边框调出视频工具条

小视频里眨眼的猪头十分憨萌,用来撒娇应该百试百灵吧。

那么,到底是什么样的技术,可以如此精准地定位并恰到好处地实现“偷梁换柱”呢?

实质上,该项功能的实现主要应用了图像语义分割技术。具体地,抖音通过对人体进行语义分割,获得人体各个部位如头、脸、手、脚的位置及标签,并通过用户选定的工具模板,将对应部位替换,实现最终的“换头”。相比目标检测而言,图像语义分割是精确到像素点的分类,因而替换的过程看起来也更加地智能和精准,用户体验更佳。

但体验中发现不足的是,或许是算法分割准确率的问题,尝试张开嘴巴时,随之张开的却不是头像里狗的嘴巴,而是自己的血盆大口,而有些道具在使用中就不会出现类似情况,这可能也是当前产品的一个小Bug。

技术关键词:图像语义分割。

3 想要的风格全都有

计算机视觉里比较热门的图像风格迁移技术,在抖音里也有所体现。

如图所示,上述功能实现的流程为:启动抖音app进入拍摄页面后,在道具库中选中白色的素描花朵图标,随后对输入的键盘画面即可进行风格的实时变换。原来低调科技风的键盘,瞬间变成了漫画素描式风格。

同样地,也可以实现对人像的风格变换,看到自己的脸在画面里变成“漫画脸”,感觉也挺有意思的。

基于图像风格迁移,还可以实现妆容变换。如图,是抖音里的一个贴纸妆的效果,通过妆容的迁移,用户本身可能不带妆,但清晰可见画面中眼线、眉毛、嘴唇都被化上相应的妆容,且效果自然贴切。同时妆容切换只需要重新点击选中另一个图标即可,可以很好地帮助那些小仙女用户实现快速变妆拍照。

该项功能主要是为了迎合部分追求文艺风格的用户及大部分爱美女性用户的需求,试想若一个产品可以使得用户以超低的成本,随时体验自己不同风格的美,极大地满足用户的虚荣心,则该产品的用户黏度会越来越高。

但是同时体验中也有一个感受是,有些功能存在相近或冗余,比如之前大火的所谓控雨术,在体验中发现并没有什么“控制的效果”,同时对于道具的分类也不是十分清晰,有点混乱,可能也是由于功能选项实在是太多了。

技术关键词:风格迁移。

4 带心爱的她去吹“蒲公英”

大家觉得程序员都是呆板、木讷的,然而抖音程序员实现的“蒲公英”功能却可以说是相当浪漫了。

如图所示,该功能的基本流程逻辑为:启动抖音app来到拍摄页面后,选中“吹蒲公英”工具图标,画面里就可以看到有几株漂亮的蒲公英,用户只需要对着屏幕,张大嘴巴做吹气状,则画面里的蒲公英就会像真的蒲公英一样四处散开,营造出一种唯美的意境。

该功能是抖音独创,有了它,你就可以带心爱的她天天吹蒲公英了。

点击边框调出视频工具条

小视频“吹蒲公英的现场”,整个画面感很真实,甚至于相比大自然的真实场景,更加美好。

而且由于是虚幻的,蒲公英永远都吹不完,这应该戳中了许多抖音小仙女的心。

而提出该项功能需求点的初衷,一方面是为了满足平台用户少女的浪漫情怀,而另一方面也是为了帮助单身男青年实现低成本“求偶”。同时这也进一步强化了抖音音乐化、文艺化的定位和格调。

“蒲公英”功能的实现,主要采用了人脸表情识别技术。但是在该项功能中,体验不足的是,用户只有将人脸放置在屏幕正中间,蒲公英的吹散效果才比较好,而且通常都是检测到动作后,一旦触发,就会把屏幕中所有的蒲公英都吹散开,没有办法实现单独吹某一朵蒲公英的行为,可能是当前算法在实际运用中,仍无法十分精准定位和检测的缘故吧。

不可否认,抖音的成功还在于,它通过冰冷的技术,创造性地为用户带来了暖心的情怀和浪漫,这也是值得许多人工智能产品借鉴的一种精神。

技术关键词:表情识别。

5 时刻睁大的“鉴黄”双眼

自直播、短视频应用兴起后,各种监管问题层出不穷,而对于抖音而言,用户生成的内容是海量的,基于此,抖音在用户看不见的后台,采用了基于深度学习的“图像分类”技术对用户上传的图片、视频资料进行智能监管。

在训练鉴黄系统的过程中,输入如图所示的大量训练数据,并且这些数据都携带有对应标签,标签值标明了该图片是否属于黄色图片范畴。则模型通过学习并“记住”黄色图片的特征,并在面临新的输入图片或视频时,提取相应特征后,结合学习的经验判断,该图片属于属于黄色图片的概率,最终分类概率高于一定阈值的内容会被标记敏感选项,需进行二次分流检测或人工鉴别。如此对图片/视频资料进行分类筛选,以保证内容的健康性。

在体验时也发现,相较其它短视频或直播类的平台,抖音的整体环境的营造以及内容的调性相对优良,色情、暴力及敏感内容较少,则抖音背后强大的算法技术功不可没。

抖音属于头条系产品,在算法的性能及应用上本身就具有一定的优势,假以时日,一定可以推动鉴黄算法朝着自动化及智能化更上一层楼。

技术关键词:图像分类。

总结

我们都可切实地感受到,计算机视觉技术已不仅仅停留在理论层面,而是落地到许多产品中,为用户带来了许多活力与惊喜,人工智能正不知不觉地慢慢改变人类的生活。作为计算机视觉的从业或爱好者,也应当保持对行业产品动态的持续关注~

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-04-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 有三AI 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
【AI产品】深扒美图秀秀中掳获万千少女芳心的“AI秘籍”
上一期我们一起体验了抖音里的各项黑科技,见证了抖音以短视频为载体,基于人脸关键点检测、图像语义分割、风格迁移、表情识别、图像分类等计算机视觉技术为用户提供了专业、新奇、搞怪的体验。
用户1508658
2019/07/25
7270
【AI产品】深扒美图秀秀中掳获万千少女芳心的“AI秘籍”
腾讯叶聪:朋友圈爆款背后的计算机视觉技术与应用
导读:本次分享系统介绍计算机视觉的基础知识,如何利用这些识别算法实现一个应用,同时进行部署、推广这一整套流程。主要包括以下六个部分:
DataFunTalk
2022/06/19
7820
腾讯叶聪:朋友圈爆款背后的计算机视觉技术与应用
抖音背后的视频体验分析体系与优化技术揭秘
LiveVideoStackCon 2022 音视频技术大会 北京站将于12月9日至10日在北京丽亭华苑酒店召开,本次大会「火山引擎」品牌技术专场重磅加盟,火山引擎视频云团队基于抖音亿级DAU实践,构建了一套能真正体现用户体验优化的指标体系,作为技术前进的指北针,并以云端一体打造音视频极致体验与成本优化。本专场将系统化解读抖音背后的云端一体的视频体验分析体系与优化技术。值得一提的是本届所有专场将以免费报名的方式邀请大家参与交流,同时我们也为参与专场的同学准备了现场惊喜大奖,让大家在LiveVideoStac
LiveVideoStack
2023/04/04
6710
抖音背后的视频体验分析体系与优化技术揭秘
叶聪:朋友圈背后的计算机视觉技术与应用
AI要走进千家万户,融入整个社会,而不仅仅是曲高和寡的模型。所以现在非常讲究AI场景化,使它成为与产业相关的部分。
腾讯云开发者社区技术沙龙
2018/08/13
1.9K0
那么多短视频特效,凭什么抖音出的这么火
萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI 说到短视频特效,你或许第一时间会想到“抖音特效”。 没错,抖音的特效似乎总是火到出圈,像用一段视频让你“重返三岁”: △视频来源@赖美云 又或是1个动作就打破次元壁,PDD也变得眉清目秀: 事实上,与AI相关的特效技术,国内外也有不少APP在做,但运行到手机上后,最出圈的往往还是抖音。 同类特效,背后所用的AI技术其实是接近的,但抖音做出的特效,渲染真实、运行流畅、爆款也更多。 抖音特效常青的秘诀,究竟是什么? 只要5M,效果堪比虚幻引擎 一
量子位
2023/03/10
8510
那么多短视频特效,凭什么抖音出的这么火
计算机视觉如何入门
目前,人工智能,机器学习,深度学习,计算机视觉等已经成为新时代的风向标。这篇文章主要介绍了下面几点: 第一点,如果说你要入门计算机视觉,需要了解哪一些基础知识?
zenRRan
2018/07/25
6250
计算机视觉如何入门
谷歌收购计算机视觉公司AIMatter,后者曾推出过Fabby
安妮 编译自 TechCrunch 量子位 出品 | 公众号 QbitAI 今天,谷歌收购了白俄罗斯图像处理初创公司AIMatter,具体条款尚未披露。 AIMatter创建了一个基于神经网络的AI平
量子位
2018/03/27
7200
谷歌收购计算机视觉公司AIMatter,后者曾推出过Fabby
OpenCV-Python,计算机视觉开发利器
人工智能,一个已经被谈论了几十年的概念(最早是图灵在1950年提出)。如今这几年,相关技术的发展速度是越来越快。高大上如无人驾驶、智能安防、AI辅助诊断,接地气如刷脸支付、内容推荐、自动翻译等,众多领域借助人工智能的力量而进化。从百度搜索指数的变化,也能从一个侧面反映出关注度在不断上升。
Crossin先生
2018/12/11
1.4K0
OpenCV-Python,计算机视觉开发利器
干货 | 抖音漫画效果解密
这个效果可谓非常惊艳,真切的将真人照片转换为了漫画风格,而且支持多人处理,也是因此,一时间刷遍了抖音和朋友圈,周末两天的使用量达到了20亿次以上。
OpenCV学堂
2020/06/29
2.2K0
干货 | 抖音漫画效果解密
【前沿技术】浅析搜狗AI主播背后的核心技术
(1) 内容以科普为主,技术细节为辅。因为本专栏是为了让更多的人能够看懂,完成对新奇技术的了解,我不会在这里讲述过多技术细节,细节可以通过其他专栏获得。
用户1508658
2019/07/26
1.1K0
【前沿技术】浅析搜狗AI主播背后的核心技术
【杂谈】如果你想快速系统掌握计算机视觉大部分领域,学习人脸图像是唯一选择
笔者是从传统图像算法开始进入计算机视觉行业的,那一批人基本上都是从人脸图像和文本图像开始学,而如今很多计算机视觉从业者却从来没有接触过人脸图像相关的算法,或许真的是时代变了吧。
用户1508658
2020/08/28
1.5K0
【杂谈】如果你想快速系统掌握计算机视觉大部分领域,学习人脸图像是唯一选择
【技术综述】人脸妆造迁移核心技术总结
美颜和美妆是人脸中很常见的技术,在网络直播以及平常的社交生活中都有很多应用场景。常见的如磨皮,美白,塑形等美颜技术我们已经比较熟悉了,而本文重点介绍的是人脸妆造迁移的核心技术及其相关资源。
用户1508658
2020/07/14
1.4K0
【技术综述】人脸妆造迁移核心技术总结
从零到一学习计算机视觉:朋友圈爆款背后的计算机视觉技术与应用 | 公开课笔记
分享人 | 叶聪(腾讯云 AI 和大数据中心高级研发工程师) 整 理 | Leo 出 品 | 人工智能头条(公众号ID:AI_Thinker) 刚刚过去的五四青年节,你的朋友圈是否被这样的民国风照片刷屏?用户只需要在 H5 页面上提交自己的头像照片,就可以自动生成诸如此类风格的人脸比对照片,简洁操作的背后离不开计算机视觉技术和腾讯云技术的支持。 那么这个爆款应用的背后用到了哪些计算机视觉技术?掌握这些技术需要通过哪些学习路径? 5 月 17 日,人工智能头条邀请到腾讯云 AI 和大数据中心高级研
用户1737318
2018/06/05
7250
瘦脸、长腿,让我们起底美颜特效背后的技术
从瘦脸、美颜到长腿、瘦身,人体人像美化技术已经遍布各类拍摄软件。这些应用不仅可以实现瘦脸瘦身效果,还能为人像提供精致的妆容。在视频直播、AR 试妆等实时应用场景也能轻松变换人像呈现效果。 这些强大的功能背后依托哪些 AI 技术?国内各大厂商在不同场景应用的技术特点有哪些?有什么样的差异? 在 3 月 3 日 19:00-20:30 的技术分享中,机器之心机动组将以「揭秘人体美化技术」为主题,邀请多家代表企业,为大家解密这些特效背后的相关技术。 分享主题:AI 技术在快手人像美化中的应用 分享嘉宾:黄慧娟,
机器之心
2022/03/04
2.8K0
今日头条李磊:机器写作与 AI 辅助创作
近日,第七届吴文俊人工智能科学技术奖颁奖盛典在苏州举行。今日头条与北京大学共同完成的「互联网信息摘要与机器写稿关键技术及应用」项目荣获吴文俊人工智能技术发明奖。本年度获得该奖项的机构还包括清华大学、中科院以及北京航空航天大学等国内顶尖高校。 「吴文俊人工智能科学技术奖(以下简称『吴文俊奖』)」被外界誉为「中国智能科学科技最高奖」,代表中国人工智能学界的重大突破与最高荣誉。今日头条是今年「吴文俊奖」获奖项目中唯一以企业载体获得专业类奖项的机构,过去该奖通常只授予顶尖高校、重点实验室和科研机构。今日头条人工智能
企鹅号小编
2018/01/23
1.7K0
今日头条李磊:机器写作与 AI 辅助创作
【AI白身境】一文览尽计算机视觉研究方向
图像分类是计算机视觉中最基础的一个任务,也是几乎所有的基准模型进行比较的任务,从最开始比较简单的10分类的灰度图像手写数字识别mnist,到后来更大一点的10分类的cifar10和100分类的cifar100,到后来的imagenet,图像分类任务伴随着数据库的增长,一步一步提升到了今天的水平。
用户1508658
2019/07/26
8270
【AI白身境】一文览尽计算机视觉研究方向
创意视觉应用︱基于深度学习的CVaaS计算机视觉即服务案例
CVaaS 就是 Computer Vision as a Service, 我们把 CV 的部分标准化成为了一种服务,而每一个行业可以在这里找到自己行业需要的和图像处理、视频处理、计算机视觉相关的算法服务,然后他们可以整合这些算法服务成为他们需要的应用。
悟乙己
2019/05/26
9370
抖音的AI速度:平均每天上线超过100个新特效
机器之心原创 作者:李泽南 在抖音,平均每五个视频投稿中就有一个使用特效,它已成为深受人们喜爱的表达方式。 随着 AI 算法的进步,手机短视频 App 上的特效越来越花哨,各种换脸、美颜应用层出不穷。去年 6 月 ,抖音推出了一款「变身漫画」的特效,引来各路明星和广大抖音用户争相体验,纷纷 Po 出了自己的漫画形象。漫画特效成为了当年的爆款,近 1700 万用户尝试使用,视频的播放量更是达到几十亿次。 在抖音的 App 上,用户只需轻轻一挥手就可以生成自己的实时漫画形象,从五官到发型、衣着,都实现了精准的转
机器之心
2023/03/29
1.1K0
抖音的AI速度:平均每天上线超过100个新特效
计算机视觉 – Computer Vision | CV
人的大脑皮层, 有差不多 70% 都是在处理视觉信息。 是人类获取信息最主要的渠道,没有之一。
zhangjiqun
2024/12/14
2010
计算机视觉 – Computer Vision | CV
计算机视觉及智能影像行业深度研究报告
计算机视觉是 AI 核心研究领域,目的在于让机器具备人类的“眼力”。计算机视觉是人工智能的 分支之一,目的在于通过电子化的方式来感知和理解影像,让计算机具备和人一样的"眼力",能够 识别、理解周围的世界。人脑接受的 80%的信息来自眼睛(视觉),50%的大脑活动都与处理视觉 信息有关,可见视觉在信息传递中的重要性和复杂性。
小白学视觉
2022/12/27
7920
计算机视觉及智能影像行业深度研究报告
推荐阅读
相关推荐
【AI产品】深扒美图秀秀中掳获万千少女芳心的“AI秘籍”
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档