基于Surprise协同过滤实现短视频推荐

前言

前面一文介绍了通过基础的web项目结构实现简单的内容推荐，与其说那个是推荐不如说是一个排序算法。因为热度计算方式虽然解决了内容的质量动态化。但是相对用户而言，大家看到的都是几乎一致的内容（不一样也可能只是某时间里某视频的排前或靠后），没有达到个性化的千人千面效果。

尽管如此，基于内容的热度推荐依然有他独特的应用场景——热门榜单。所以只需要把这个功能换到另一个模块就可以了，将个性化推荐留给更擅长做这方面的算法。

当然了，做推荐系统的方法很多，平台层面的像spark和今天要讲的Surprise。方法层面可以用深度学习做，也可以用协同过滤，或综合一起等等。大厂可能就更完善了，在召回阶段就有很多通道，比如基于卷积截帧识别视频内容，文本相似度计算和现有数据支撑，后面又经过清洗，粗排，精排，重排等等流程，可能他们更多的是要保证平台内容的多样性。

那我们这里依然走入门实际使用为主，能让我们的项目快速对接上个性化推荐，以下就是在原来的PHP项目结构上对接Surprise，实现用户和物品的相似度推荐。

环境

python3.8

Flask2.0

pandas2.0

mysql-connector-python   

surprise

openpyxl

gunicorn

Surprise介绍

    Surprise库是一款用于构建和分析推荐系统的工具库，他提供了多种推荐算法，包括基线算法、邻域方法、基于矩阵分解的算法（如SVD、PMF、SVD++、NMF）等。内置了多种相似性度量方法，如余弦相似性、均方差（MSD）、皮尔逊相关系数等。这些相似性度量方法可以用于评估用户之间的相似性，从而为推荐系统提供重要的数据支持。

协同过滤数据集

   既然要基于工具库完成协同过滤推荐，自然就需要按该库的标准进行。Surprise也和大多数协同过滤框架类似，数据集只需要有用户对某个物品打分分值，如果自己没有可以在网上下载免费的Movielens或Jester，以下是我根据业务创建的表格，自行参考。

业务介绍

   Web业务端通过接口或埋点，在用户操作的地方根据预设的标准记录评分记录。当打分表有数据后，用python将SQL记录转为表格再导入Surprise，根据不同的算法训练，最后根据接收的参数返回对应的推荐top列表。python部分由Flask启动的服务，与php进行http交互，后面将以片段代码说明。

编码部分

1. PHP请求封装

2. PHP发起推荐获取

由于考虑到前期视频存量不足，是采用协同过滤加热度榜单结合的方式，前端获取视频推荐，接口返回视频推荐列表的同时也带了下次请求的标识(分页码)。这个分页码用于当协同过滤服务挂了或没有推荐时，放在榜单列表的分页。但是又要保证分页数是否实际有效，所以当页码太大没有数据返回就通过递归重置为第一页，也把页码返回前端让数据获取更流畅。

3. 数据集生成

4. 协同过滤服务

5. 基于用户推荐

6. 基于物品推荐

其他

1. 推荐服务生产部署

开发环境下可以通过python recommend_service.py启动，后面部署环境需要用到gunicorn，方式是安装后配置环境变量。代码里导入werkzeug.middleware.proxy_fix， 修改以下的启动部分以下内容，启动改为gunicorn -w 5 -b 0.0.0.0:6016 app:app

2. 模型本地保存

随着业务数据的累计，自然需要训练的数据集也越来越大，所以后期关于模型训练周期，可以缩短。也就是定时训练模型后保存到本地，然后根据线上的数据做出推荐，模型存储与读取方法如下。

2.1. 模型存储

2.2. 模型读取

写在最后

     上面的依然只是实现了推荐系统的一小部分，在做数据召回不管可以对视频截帧还可以分离音频，通过卷积神经网络识别音频种类和视频大致内容。再根据用户以往浏览记录形成的标签实现内容匹配等等，这个还要后期不断学习和完善的。