
短视频产品的用户体验,本质上由一条信息流决定。用户打开 App,看到的第一屏内容,决定了他会不会继续看第二屏。这条信息流的组织方式,就是推荐系统。
短视频和长视频、图文的最大区别在于消费节奏极快。一条内容 15 秒,用户 3 秒内决定划走还是留下。这意味着推荐系统必须在极短时间内完成"理解内容、判断兴趣、排序呈现"的全过程,而且每一次判断都有明确的反馈信号——完播、点赞、评论、划走、停留时长。
这种高频、强反馈的特性,让短视频推荐成为一个典型的大规模实时机器学习系统。它的难点不在单个模型多先进,而在整条链路的工程化:内容如何被理解、用户兴趣如何被刻画、候选如何被高效召回、排序如何平衡多目标、系统如何应对冷启动与实时变化。
本文试图给出一个分层、可落地的推荐系统设计思路,重点在工程结构而非模型细节。
抛开具体算法,推荐系统要回答三个问题:
用户是谁? 兴趣、行为历史、活跃时段、消费偏好。这是用户画像要解决的。
内容是什么? 主题、风格、质量、时长、新鲜度。这是内容理解要解决的。
此刻该给什么? 在特定上下文(时间、场景、设备、当前 session 行为)下,从海量候选里选出最可能被消费的若干条。这是召回、排序、重排要解决的。
三者构成一个经典的三元组:User × Item × Context → Score。推荐系统的全部工程,都是围绕如何高效、准确地计算这个 Score 展开的。
一个重要的认知是:推荐不是预测"用户喜欢什么",而是优化"用户接下来会消费什么"。这两者不同——用户可能喜欢高质纪录片,但此刻在地铁上只想刷轻松的段子。上下文权重往往比长期兴趣更大。
一个生产级短视频推荐系统,通常按五层组织,自下而上依次是:
数据层:行为日志采集、内容元数据、用户画像、特征存储。这一层解决"数据从哪来、如何实时更新"。
召回层:从百万级内容池中快速筛出千级候选。多路召回并行,每路负责一种信号(协同过滤、向量召回、热门、关注、地域等)。
排序层:对候选做精细打分。通常分粗排(轻量模型,千级→百级)和精排(复杂模型,百级→十级)。
重排层:在精排结果上做多样性、新鲜度、去重、业务规则调整。解决"排序最优但列表不好看"的问题。
策略与呈现层:最终列表组装、频控、探索与利用、A/B 实验、实时反馈回流。
这五层的核心设计原则是逐层收敛:每一层都在上一层的基础上缩小候选集、提升精度,同时控制计算成本。召回追求"不漏",排序追求"精准",重排追求"体验"。
短视频的内容理解是多模态的:视频帧(画面)、音频(语音、音乐)、文本(标题、字幕、评论)。工程上要解决三件事:
结构化打标:主题分类、实体识别、场景标签、质量分。标签体系要稳定、可扩展,避免"标签爆炸"。
向量化:把内容映射为 embedding,供向量召回使用。多模态融合是关键——纯文本 embedding 会丢失画面信息,纯视觉 embedding 又抓不住语义。
质量与安全:低质、重复、违规内容要在入库时过滤,而不是等到推荐时再处理。这是推荐系统的"负样本治理"。
用户画像分两层:长期画像(稳定偏好、人口属性)和实时兴趣(当前 session 的行为序列)。
短视频的实时性要求极高。用户刚看完三条宠物视频,下一条就应该倾向宠物内容。这要求系统具备流式特征更新能力:行为发生→特征更新→下一轮推荐生效,延迟要控制在秒级。
实时兴趣建模的核心是行为序列建模:把用户最近的点击、完播、划走序列编码成向量,作为排序模型的重要输入。序列的长度、时间衰减、行为类型权重,都是需要调优的设计点。
单路召回一定不够。生产系统通常并行跑 5–10 路召回,每路覆盖不同信号:
多路召回的关键工程问题是融合与配额:每路召回多少条、如何合并去重、如何保证各路都有机会。常见做法是按路分配配额,再统一送入排序。
排序是推荐系统的精度核心。典型结构是粗排 + 精排两级:
粗排用轻量模型(双塔、浅层网络)快速过滤,目标是"不丢好内容";精排用复杂模型(深度交叉、序列建模)精细打分,目标是"排得准"。
短视频排序的特殊性在于多目标:完播率、点赞率、评论率、分享率、负反馈率。这些目标往往冲突——标题党能拉高点击但拉低完播。工程上常用多任务学习(MMoE、PLE)共享底层、分目标输出,再用融合公式加权。融合权重不是固定的,要按场景、用户、内容类型动态调整。
精排给出的是"单条内容的分",但用户看到的是"一个列表"。重排要解决列表级问题:
多样性:避免连续同类内容导致审美疲劳。常用打散策略(按标签、创作者、主题做间隔约束)。
新鲜度:控制重复推荐,保证内容更新。
探索与利用:给新内容、新创作者一定曝光配额,避免马太效应。
业务规则:频控、置顶、广告插入、合规过滤。
重排的本质是在个体最优与列表最优之间做权衡。纯按分数排序,列表往往同质化严重。
理论讲完,用一个精简示例展示五层架构如何串起来。代码只保留结构,省略模型细节与工程优化:
class Recommender:
def __init__(self, recallers, ranker, reranker, feature_store):
self.recallers = recallers # 多路召回
self.ranker = ranker # 粗排 + 精排
self.reranker = reranker # 重排
self.fs = feature_store # 特征存储
def recommend(self, user_id, context, n=10):
# 1. 取用户特征与实时兴趣
user_feat = self.fs.user(user_id)
seq_feat = self.fs.recent_behavior(user_id, window="1h")
# 2. 多路召回,按配额合并去重
candidates = []
for rec, quota in self.recallers:
candidates += rec.recall(user_feat, context, topk=quota)
candidates = dedup(candidates)
# 3. 排序:粗排过滤 -> 精排打分
coarse = self.ranker.coarse(candidates, user_feat, topk=200)
scored = self.ranker.fine(coarse, user_feat, seq_feat)
# 4. 重排:多样性 + 新鲜度 + 业务规则
final = self.reranker.adjust(scored, rules=context.rules, topk=n)
return final这段代码的价值不在实现,而在它显式化了推荐系统的四个关键环节:特征准备、多路召回、分级排序、列表重排。真实系统无非是在每个环节加缓存、加并发、加降级、加实验分流。看懂这个骨架,再看任何工业级推荐架构,都能快速定位它在哪一层做了取舍。
推荐系统的工程难度,集中体现在几个"永远绕不开"的问题上。
冷启动。新用户没有行为,新内容没有曝光。常见解法:新用户用热门 + 探索 + 少量画像补全;新内容给保量曝光 + 快速反馈学习。冷启动的核心是用先验知识换时间,而不是等数据积累。
实时性。短视频的反馈周期以秒计,推荐系统要能在秒级完成"行为→特征→模型→排序"的闭环。这要求流式计算、在线特征存储、模型热更新三者配合。实时性做不好,系统永远慢半拍。
多样性。纯优化点击率会导致内容同质化、创作者马太效应、用户长期兴趣窄化。多样性不是"锦上添花",而是长期留存的关键。工程上要在排序目标里显式加入多样性约束,而不是靠重排打补丁。
可解释与可控。推荐系统要能回答"为什么推这条",也要能被业务干预(置顶、屏蔽、配额)。黑盒系统在运营和合规上都会遇到麻烦。
推荐系统的评测,远比传统软件复杂,因为它优化的是"长期用户价值",而可观测的只有短期行为。实践中通常三层评测:
离线评测:用历史数据评估召回率、排序 AUC、NDCG 等指标。快、便宜,但和线上效果有偏差。
在线 A/B:分流实验,对比人均消费时长、完播率、留存、负反馈率。这是最终裁判。
长期指标:留存、活跃、创作者生态健康度。短期指标涨、长期指标跌,是推荐系统最常见的陷阱。
评测的关键是指标体系要平衡。只看点击率会催生标题党,只看时长会催生沉迷设计。健康的评测体系要同时看消费、互动、负反馈、留存、生态。
误区一:唯模型论。 以为换个更强的排序模型就能提升效果,忽视特征、召回、数据质量。实际上特征工程和召回覆盖往往比模型结构影响更大。
误区二:只看短期指标。 点击率、时长涨了,留存跌了,长期是亏的。
误区三:召回单路。 只靠一路召回,覆盖不足,排序再强也巧妇难为无米之炊。
误区四:忽视负反馈。 划走、不感兴趣、举报,这些信号比正反馈更稀缺也更宝贵,处理不好会持续推用户讨厌的内容。
误区五:多样性靠重排硬打散。 治标不治本,应该在召回和排序阶段就考虑内容分布。
误区六:冷启动靠等。 不主动设计探索机制,新内容永远起不来,生态会僵化。
短视频推荐系统的本质,是在极短时间、极大候选、极强反馈的条件下,把"用户此刻想看什么"工程化地算出来。它的难点不在单个模型,而在五层链路的协同:内容理解决定召回上限,召回决定排序空间,排序决定精度,重排决定体验,策略决定长期健康。
一句话总结:好的短视频推荐系统,不是把最可能点击的内容排在前面,而是在用户、内容、上下文三者之间,持续找到"当下最合适"的平衡——并且让这个平衡可度量、可干预、可演进。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。