推荐工程-概述

Zephery

发布于 2024-12-25 19:17:08

2310

文章被收录于专栏：ZepheryZephery

推荐工程-概述

随着移动互联网的飞速发展，人们已经处于信息过载的时代。在这个时代，信息的生产者很难将信息呈现在对其感兴趣的消费者面前，而信息消费者也难以从海量信息中找到自己感兴趣的内容。推荐系统充当了将信息生产者和信息消费者连接起来的桥梁，平台通常作为推荐系统的载体，实现信息生产者和消费者之间的匹配。

平台方、信息生产者和消费者可以分别用平台方（如：腾讯视频、淘宝、网易云音乐等）、物品（如：视频、商品、音乐等）和用户来指代。

技术的最终目的都是服务业务的，我们来看下当前电商系统的模式差异。

一、淘宝和拼多多的电商模式差异

淘宝是流量逻辑，主体是搜索，需要海量SKU满足长尾需求；拼多多代表的是匹配逻辑，推荐商品给消费者，SKC有限，但满足结构性丰富。之前的电商模式都是从淘宝挖一块做小淘宝，而拼多多是在另一个维度做电商，满足不同的场景需求。淘宝的千人千面相当于个性化搜索，但搜索本身是长尾的，你就很难做反向定制。而拼多多集中流量到有限商品里，有了规模后再反向定制。

拼多多起来之后，京东、唯品会、蘑菇街都实验过相似模式，对于他们来说，拼团不过是一个创造GMV增量的工具；而拼多多是人的逻辑，我们通过拼团了解人，通过人推荐物，后期会过渡到机器推荐物。拼多多APP里几乎没有搜索，也不设购物车，你可以想像把今日头条下的信息流换成商品流就是拼多多。所以早期看大家都是低价和拼团，但我们的出发点不同、方向不同，长大了也就不一样了。

与其说拼多多是社交电商，不如说它是“人以群分”的电商。以前是人去找东西，现在是相似的人聚集起来，迅速产生需求量，这种模式给供应链优化创造了很大的机会。

二、搜索、推荐、广告三者的异同

搜索和推荐都是解决互联网大数据时代信息过载的手段，但是它们也存在着许多的不同：

用户意图：搜索时的用户意图是非常明确的，用户通过查询的关键词主动发起搜索请求。对于推荐而言，用户的需求是不明确的，推荐系统在通过对用户历史兴趣的分析给用户推荐他们可能感兴趣的内容。
个性化程度：对于搜索而言，由于限定的了搜索词，所以展示的内容对于用户来说是有标准答案的，所以搜索的个性化程度较低。而对于推荐来说，推荐的内容本身就是没有标准答案的，每个人都有不同的兴趣，所以每个人展示的内容，个性化程度比较强。
优化目标：对于搜索系统而言，更希望可以快速地、准确地定位到标准答案，所以希望搜索结果中答案越靠前越好，通常评价指标有：归一化折损累计收益（NDCG）、精确率（Precision）和召回率（Recall）。对于推荐系统而言，因为没有标准的答案，所以优化目标可能会更宽泛。例如用户停留时长、点击、多样性，评分等。不同的优化目标又可以拆解成具体的不同的评价指标。
马太效应和长尾理论：对于搜索系统来说，用户的点击基本都集中在排列靠前的内容上，对于排列靠后的很少会被关注，这就是马太效应。而对于推荐系统来说，热门物品被用户关注更多，冷门物品不怎么被关注的现象也是存在的，所以也存在马太效应。此外，在推荐系统中，冷门物品的数量远远高于热门物品的数量，所以物品的长尾性非常明显。

**广告：**借助搜索和推荐技术实现广告的精准投放，可以将广告理解成搜索推荐的一种应用场景，技术方案更复杂，涉及到智能预算控制、广告竞价等。

三、推荐整体架构

推荐的框架主要有以下几个模块：

协议调度：请求的发送和结果的回传。在请求中，用户会发送自己的 ID，地理位置等信息。结果回传中会返回推荐系统给用户推荐的结果。
推荐算法：算法按照一定的逻辑为用户产生最终的推荐结果。不同的推荐算法基于不同的逻辑与数据运算过程。
消息队列：数据的上报与处理。根据用户的 ID，拉取例如用户的性别、之前的点击、收藏等用户信息。而用户在 APP 中产生的新行为，例如新的点击会储存在存储单元里面。
存储单元：不同的数据类型和用途会储存在不同的存储单元中，例如内容标签与内容的索引存储在 mysql 里，实时性数据存储在 redis 里，需要进行数据统计的数据存储在 TDW 里。

电商系统演变到现在，各类归纳层出不穷，传统零售是“货-场-人”，而新零售是“人-货-场”，强调以人为核心，根据用户的需求推送产品和打造消费场景。在电商线上平台三者具体表现就是：

**人：**是指店铺访客、流量。通过数据分析、用户画像、顾客细分等手段，可以更加精准地理解顾客，从而提供个性化的产品和服务 **货：**是指商家商品。选择合适的商品，有竞争力的价格，保证商品的质量和供应链的高效运营，都是成功的关键 **场：**由最初的交易平台（如京东、淘宝等）演变到场景（首页、商详推荐页、加购推荐页等），实现千人千面。