一、常见的推荐算法

根据用户兴趣和行为，向用户推荐所需要的信息，帮助用户在海量的信息中快速发现自己真正需要的东西。所以推荐系统要解决的问题用户没用明确的需求以及信息存在过载。推荐系统一般要基于以下来搭建：

1、根据业务来定义自身产品的热门标准

2、用户信息：比如性别、年龄、职业、收入等

3、用户行为

4、社会化关系

1、非个性化推荐

在冷启动方面我们精彩用非个性化推荐来解决问题。常见的有：热门推荐，编辑推荐，最新推荐等。下面是3个场景下的排序介绍：

热门推荐：根据业务类型确定排名核心指标，比如阅读数，其次要考虑避免马太效应，所以增加1个维度：时间。一般情况一个内容的热度是随着时间不断下降的，所以需要设定重力因子G，它决定热度随着时间流逝下降的速度。热度初始值由阅读数决定，我们假设R为阅读书，距离发帖时间的时间为T，重力因子为G，热度为rank。根据热度随着时间而不断下降，且是非线性的，所以我们用指数函数来表达时间和热度的关系：rank=R/(T)^G，下图为热度的基本曲线：

通过该函数，我们可以随意调整参数来控制曲线的平坦和陡峭，如果G越大，曲线越陡峭说明热度下降越快。如果我们要调整热度初始值，可对R进行调整，比如R1=R^0.8，来缩短每篇文章的初始热度值

编辑推荐：一般由编辑在后台进行设置

最新推荐：如果无其他规则，一般按内容更新时间／创建时间来倒序

2、基于用户基本信息推荐（人口统计学）

根据系统用户的基本信息如：领域、职位、工作年龄、性别和所在地等。根据这些信息给用户推荐感兴趣或者相关的内容。

常见的用户基本信息有：性别，年龄，工作、收入、领域、职位、所在地，手机型号、网络条件、安装渠道、操作系统等等。根据这些信息来关联我们数据源，比如年龄-关联电影表、收入-关联商品类型表，性别-文章关联表等等。然后设定权重，给予个性化的推荐。

步骤1：用户建模，收集用户基本信息，建立兴趣图谱，标签体系树状结构然后配上权重

步骤2：内容建模，细分内容的元数据，将步骤1的用户标签和元数据连接，然后进行推荐

2、基于内容基本的推荐

根据推荐物品或者信息的元数据，发现物品或者信息的相关性，然后基于用户以往的喜好记录，推荐给用户相似的物品。

内容的一些基本属性：tag、领域、主题、类型、关键字、来源等

3、基于协同过滤的推荐

这种算法基于一种物以类聚人以群分的假设，喜欢相同物品的用户更有可能具有相同的兴趣。基于协同过滤推荐系统一般应用于有用户评分的系统中，通过分数去刻画用户对于物品的喜好。根据维度可分为2种：

1、基于用户：找到和你相似的人推荐他们看过而你没有看过的内容

比如下面，系统判断甲乙2个用户是相似的，那么会给甲推荐短视频相关内容，会给乙推荐数据分析相关内容

甲：产品经理、运营、数据分析

乙：产品经理、运营、短视频

丙：比特币、创业、硅谷

步骤1:找到和目标用户兴趣相似的用户集合

步骤2:找到集合中用户喜欢的且目标用户没有被推荐过的内容

2、基于物品：以物为本建立各商品之间相似度关系矩阵，用户看了x也会看y

比如下面，甲和乙分别不约而同看了产品经理和数据分析，说明喜欢产品经理和数据分析的用户重合度高，说明两个内容相似。所以给喜欢产品经理的人推荐数据分析，给喜欢数据分析的人推荐产品经理。

这么理解：喜欢产品经理的人有m人，喜欢数据分析有n人，其中m中有80%用户与n中80%的用户是一样的，就意味着喜欢产品经理的用户也会喜欢数据分析。

产品经理：甲、乙，丁

数据分析：甲、乙，戊

增长黑客：甲、丙

喜欢物品A的用户，可能也会喜欢与物品A相似的物品B，通过历史行为计算出2个物品的相似度（比如m人喜欢A，n人喜欢B，有k人喜欢A又喜欢B，那么A和B的相似度可计算为k/m或者n，因为k属于m和n），这个推荐和内容推荐算法区别是内容推荐算法是根据内容的属性来关联，而基于物品的协同过滤则是根据用户的行为对内容进行关联

4、基于用户社交关系推荐

用户与谁交朋友或者关系好，在一定程度上朋友的需求和自身的需求是相似的。所以向用户推荐好友喜欢的东西。本质上是好友关系链版的基于用户的协调过滤

5、推荐思路的拓展

根据不同使用场景进行不同的推荐，可细分的场景包括用户使用的：时间、地点、心情、网络环境、兴趣、上下文信息以及使用场景。每个场景的推荐内容都不一样，所以往往一个系统都是由多种推荐方式组成，比如加权混合。

加权混合：用线性公式将几种不同的推荐按照一定权重组合起来，具体权重值需要反复测试调整。例子：加权混合=推荐1结果*a+推荐2结果*b+...+推荐n结果*n，其中abn为权重，和为1

下面分享一张来自知乎的图，供学习，侵删：

基于用户信息的推荐与 基于用户的协同过滤：

两者都是计算用户的相似度，但基于用户信息的推荐只考虑用户本身信息来计算相似度，而基于用户的协同过滤是基于用户历史偏好来计算相似度

基于内容的信息推荐与基于物品的协同过滤：

两者都是计算物品的相似度，但是基于内容的信息推荐只考虑物品本身的属性特征来计算相似度，而基于物品的协同过滤是基于用户历史偏好来计算相似度

基于用户信息的推荐特点：

1、不需要历史数据，对用户基本信息建模

2、不依赖于物品，所以其他领域可无缝接入

3、因为用户基本信息一般变化不大，所以推荐效果一般

基于内容信息的推荐特点：

1、物品属性有限，很难获得有效又全的数据

2、需要获取用户喜欢的历史内容，再来推荐与内容相似的东西，所以有冷启动问题

基于用户／基于物品的协同过滤推荐特点：

1、需要获取用户的历史偏好，所以有冷启动问题

2、推荐效果依赖于大数据，数据越多，推荐效果就越好

二、百度搜索引擎的算法是怎样的

衡量网页质量的维度

百度搜索引擎在衡量网页质量时，会从以下三个维度综合考虑给出一个质量打分。下面会一一介绍这些影响网页质量判断的维度特征：

•内容质量

•浏览体验

•可访问性

一个访问流畅，内容质量高且浏览体验好的网页具有较高的质量；反之，任何一个维度出现问题，都会影响网页的整体质量。下面我们具体介绍下这三个维度。

衡量网页质量的维度——内容质量

网页主体内容是网页的价值所在，是满足用户需求的前提基础。百度搜索引擎评价网页内容质量主要看其主体内容的好坏，以及主体内容是否可以让用户满意。不同类型网页的主体内容不同，百度搜索引擎判断不同网页的内容价值时，需要关注的点也有区别，如：

•首页：导航链接和推荐内容是否清晰、有效。

•文章页：能否提供清晰完整的内容，图文并茂更佳。

•商品页：是否提供了完整真实的商品信息和有效的购买入口。

•问答页：是否提供了有参考价值的答案。

•下载页：是否提供下载入口，是否有权限限制，资源是否有效。

•文档页：是否可供用户阅读，是否有权限限制。

•搜索结果页：搜索出来的结果是否与标题相关。

百度搜索引擎考量网页内容质量的维度非常多，最为重要的是：成本；内容完整；信息真实有效以及安全。下面我们通过举例来感受一下百度搜索引擎是如何对网页的内容质量进行分类的，请站长对比自己站点的页面，站在搜索引擎和用户的角度为自己打分：

1、内容质量好：

百度搜索引擎认为内容质量好的网页，花费了较多时间和精力编辑，倾注了编者的经验和专业知识；内容清晰、完整且丰富；资源有效且优质；信息真实有效；安全无毒；不含任何作弊行为和意图，对用户有较强的正收益。对这部分网页，百度搜索引擎会提高其展现在用户面前的机率。例如：

•专业医疗机构发布的内容丰富的医疗专题页面；

•资深工程师发布的完整解决某个技术问题的专业文章；

•专业视频网站上，播放清晰流畅的正版电影或影视全集页面；

•知名B2C网站上，一个完整有效的商品购买页；

•权威新闻站原创或经过编辑整理的热点新闻报道；

•经过网友认真编辑，内容丰富的词条；

•问答网站内，回答的内容可以完美解决提问者的问题。

实例参考：

示例

内容质量

说明

case 3.1.1-1

好

专业医疗网站发布的丰富医疗专题页面

case 3.1.1-2

好

资深工程师发布的完整解决某个技术问题的专业文章

case 3.1.1-3

好

专业视频网站上，播放清晰流畅的正版影视全集页面

case 3.1.1-4

好

京东的一个完整有效的商品购买页

case 3.1.1-5

好

权威新闻站原创的热点新闻的报道

case 3.1.1-6

好

经过网友认真编辑，内容丰富的百科词条

case3.1.1-7

好

百度知道上，完美解决用户问题的问答页

2、内容质量中：

内容质量中等的网页往往能满足用户需求，但未花费较多时间和精力进行制作编辑，不能体现出编者的经验和专业知识；内容完整但并不丰富；资源有效但质量欠佳；信息虽真实有效但属采集得来；安全无毒；不含作弊行为和意图。在互联网中，中等质量网页其实是一个比较大的数量集合，种类面貌也繁杂多样，百度搜索引擎在评价这类网页时往往还要考虑其它非常多因素。在这里，我们仅部分举例来让各位感受一下：

•论坛类网站里一个普通的帖子；

•一个普通的问答网页；

•没有进行任何编辑，直接转载其它网站的新闻；

•无版权信息的普通电影播放页

•采集知名小说网站的盗版小说页。

实例参考：

示例

内容质量

说明

case 3.1.2-1

中

网易直接转载了中国新闻网的一篇新闻。

case 3.1.2-2

中

文库上网友上传的“国庆放假安排”新闻

case 3.1.2-3

中

采集起点小说网的盗版小说站

case 3.1.2-4

中

百度贴吧里一个普通的帖子

3、内容质量差：

百度搜索引擎认为主体内容信息量较少，或无有效信息、信息失效过期的都属于内容质量差网页，对用户没有什么实质性的帮助，应该减少其展现的机会。同时，如果一个网站内该类网页的占比过大，也会影响百度搜索引擎对站点的评级，尤其是UGC网站、电商网站、黄页网站要尤其重视对过期、失效网页的管理。例如：

•已下架的商品页，或已过期的团购页；

•已过有效期的招聘、交易页面；

•资源已失效，如视频已删除、软件下载后无法使用等。

4、没有内容质量可言：

没有内容质量可言的网页指那些制作成本很低，粗制滥造；从别处采集来的内容未经最起码的编辑整理即放置线上；挂木马等病毒；含有作弊行为或意图；完全不能满足用户需求，甚至含有欺骗内容的网页。例如：

•内容空短，有很少量的内容，却不能支撑页面的主要意图；

•问答页有问无答，或回答完全不能解决问题；

•站内搜索结果页，但没有给出相关信息

除上述网页外，欺骗用户和搜索引擎的网页在无内容质量可言集合里占很高比例。百度搜索引擎对作弊网页的定义是：不以满足用户需求为目的，通过不正当手段欺骗用户和搜索引擎从而获利的网页。目前互联网上这部分网页还属少数，但作弊网页的价值是负向的，对用户的伤害非常大，对这类网页，搜索引擎持坚决打击态度。

衡量网页质量的维度——浏览体验

不同质量的网页带给用户的浏览体验会有很大差距，一个优质的网页给用户的浏览体验应该是正向的。用户希望看到干净、易阅读的网页，排版混乱、广告过多会影响用户对网页主体内容的获取。在百度搜索引擎网页质量体系中，用户对网页主体内容的获取成本与浏览体验呈反比，即获取成本越高，浏览体验越低。面对内容质量相近的网页，浏览体验佳者更容易获得更高的排位，而对于浏览体验差的网页，百度搜索引擎会视情况降低其展现的机率甚至拒绝收录。

影响用户浏览体验好坏的因素很多，目前百度搜索引擎主要从内容排版、广告影响两方面对网页进行考量：

内容排版：用户进入网页第一眼看到的就是内容排版，排版决定了用户对网页的第一印象，也决定了用户对内容获取的成本。

广告影响：百度搜索引擎理解网站的生存发展需要资金支持，对网页上放置正当广告持支持态度。网页应该以满足用户需求为主旨，最佳状态即“主体内容与广告一起满足用户需求，内容为主，广告为辅”，而不应让广告成为网页主体。

下面我们通过举例来感受一下百度搜索引擎是如何对网页的浏览体验进行分类的，站长可以据此对比检验自己站点的浏览体验如何：

1、浏览体验好：

页面布局合理，用户获取主体内容成本低，一般具有以下特征：

•排版合理，版式美观，易于阅读和浏览；

•用户需要的内容占据网页最重要位置；

•能够通过页面标签或页面布局十分清楚地区分出哪些是广告；

•广告不抢占主体内容位置，不阻碍用户对主要内容的获取；

实例参考：

示例

浏览体验

说明

case 3.2.1-1

好

招聘、房产等网站首页也有很多广告，但都是招聘相关的，浏览体验是ok的。

case 3.2.1-2

好

文章页，页面布局合理，无广告，排版好，结构合理

case 3.2.1-3

好

游戏首页，排版美观，布局合理，无广告，浏览体验优

2、浏览体验差：

页面布局和广告放置影响了用户对主体内容的获取，提高了用户获取信息的成本，令用户反感。包括但不仅限于以下情况：

•正文内容不换行或不分段，用户阅读困难；

•字体和背景颜色相近，内容辨别困难；

•页面布局不合理，网页首屏看不到任何有价值的主体内容；

•广告遮挡主体内容；或者在通用分辨率下，首屏都是广告，看不到主体内容；

•弹窗广告过多；

•影响阅读的浮动广告过多

•点击链接时，出现预期之外的弹窗；

•广告与内容混淆，不易区分；

衡量网页质量的维度——可访问性

用户希望快速地从搜索引擎获取到需要的信息，百度搜索引擎尽可能为用户提供能一次性直接获取所有信息的网页结果。百度搜索引擎认为不能直接获取到主体内容的网页对用户是不友好的，会视情况调整其展现机率。

百度搜索引擎会从正常打开、权限限制、有效性三方面判断网页的可访问性，对于可以正常访问的网页，可以参与正常排序；对于有权限限制的网页，再通过其它维度对其进行观察；对于失效网页，会降权其展现机制甚至从数据库中删除。

1、可正常访问的网页

无权限限制，能直接访问所有主体内容的网页。

2、有权限限制的网页

此类网页分为两种：打开权限和资源获取权限

1）打开权限：指打开网页都需要登录权限，没有权限完全无法看到具体内容，普通用户无法获取或获取成本很高，百度搜索引擎会降低其展现机率。不包括以登录为主要功能的网页。

2）资源获取权限：指获取网页主要内容，如文档、软件、视频等，需要权限或者需要安装插件才能获得完整内容。此时会分三种情况：

•提供优质、正版内容的网站，由于内容建设成本很高，尽管查看全文或下载时需要权限或安装插件，但属于用户预期之内，百度搜索引擎也不认为权限行为对用户造成伤害，给予与正常可访问页面相同的对待。

•对于一些非优质、非正版的资源，来自于用户转载甚至机器采集，本身成本较低，内容也不独特，用户获取资源还有权限限制——需要用户注册登录或者付费查看，百度搜索引擎会根据具体情况决定是否调整其展现。

•还有一些视频、下载资源页，也许自身资源质量并不差，但需要安装非常冷门的插件才能正常访问，比如要求安装“xx大片播放器”，百度搜索引擎会怀疑其有恶意倾向。

实例参考：

示例

可访问性

说明

case 3.2-1

好

CNKI上的一篇论文，收费才能下载，但有版权，浏览体验好

case 3.2-2

好

优酷上一部新电影，需要付费才能观看，浏览体验好。

case 3.2-3

中

内容是copy来，但是需要登录才能看更多

case 3.2-4

差

入党申请书，本身就是转载的，网上到处都是，但这个页面仍然要求收费才能下载。

3、失效网页

往往指死链和主体资源失效的网页。百度搜索引擎认为这部分网页无法提供有价值信息，如果站点中此类网页过多，也会影响百度搜索引擎对其的收录和评级。建议站长对此类网页进行相应设置，并及时登录百度站长平台，使用死链提交工具告知百度搜索引擎。

失效网页包括但不仅限于：

• 404、403、503等网页；

•程序代码报错网页；

•打开后提示内容被删除，或因内容已不存在跳转到首页的网页；

•被删除内容的论坛帖子，被删除的视频页面（多出现在UGC站点）

具体请参阅《百度搜索引擎网页质量白皮书》，望采纳！

三、推荐算法简介

写在最前面：本文内容主要来自于书籍《推荐系统实践》和《推荐系统与深度学习》。

推荐系统是目前互联网世界最常见的智能产品形式。从电子商务、音乐视频网站，到作为互联网经济支柱的在线广告和新颖的在线应用推荐，到处都有推荐系统的身影。推荐算法是推荐系统的核心，其本质是通过一定的方式将用户和物品联系起来，而不同的推荐系统利用了不同的方式。

推荐系统的主要功能是以个性化的方式帮助用户从极大的搜索空间中快速找到感兴趣的对象。因此，目前所用的推荐系统多为个性化推荐系统。个性化推荐的成功应用需要两个条件：

在推荐系统的众多算法中，基于协同的推荐和基于内容的推荐在实践中得到了最广泛的应用。本文也将从这两种算法开始，结合时间、地点上下文环境以及社交环境，对常见的推荐算法做一个简单的介绍。

基于内容的算法的本质是对物品内容进行分析，从中提取特征，然后基于用户对何种特征感兴趣来推荐含有用户感兴趣特征的物品。因此，基于内容的推荐算法有两个最基本的要求：

下面我们以一个简单的电影推荐来介绍基于内容的推荐算法。

现在有两个用户A、B和他们看过的电影以及打分情况如下：

其中问好（?）表示用户未看过。用户A对《银河护卫队》《变形金刚》《星际迷航》三部科幻电影都有评分，平均分为 4.7分（(5+4+5)/ 3=4.7）；对《三生三世》《美人鱼》《北京遇上西雅图》三部爱情电影评分平均分为 2.3分（( 3十2+2)/3=2.3）。现在需要给A推荐电影，很明显A更倾向于科幻电影，因此推荐系统会给A推荐独立日。而对于用户B，通过简单的计算我们可以知道更喜欢爱情电影，因此给其推荐《三生三世》。当然，在实际推荐系统中，预测打分比这更加复杂些，但是其原理是一样的。

现在，我们可以将基于内容的推荐归纳为以下四个步骤：

通过上面四步就能快速构建一个简单的推荐系统。基于内容的推荐系统通常简单有效，可解释性好，没有物品冷启动问题。但他也有两个明显的缺点：

最后，顺便提一下特征提取方法：对于某些特征较为明确的物品，一般可以直接对其打标签，如电影类别。而对于文本类别的特征，则主要是其主题情感等，则些可以通过tf-idf或LDA等方法得到。

基于协同的算法在很多地方也叫基于邻域的算法，主要可分为两种：基于用户的协同算法和基于物品的协同算法。

啤酒和尿布的故事在数据挖掘领域十分有名，该故事讲述了美国沃尔玛超市统计发现啤酒和尿布一起被购买的次数非常多，因此将啤酒和尿布摆在了一起，最后啤酒和尿布的销量双双增加了。这便是一个典型的物品协同过滤的例子。

基于物品的协同过滤指基于物品的行为相似度（如啤酒尿布被同时购买）来进行物品推荐。该算法认为，物品A和物品B具有很大相似度是因为喜欢物品A的用户大都也喜欢物品B。

基于物品的协同过滤算法主要分为两步：

基于物品的协同过滤算法中计算物品相似度的方法有以下几种：

（1）基于共同喜欢物品的用户列表计算。

此外，John S. Breese再其论文中还提及了IUF（Inverse User Frequence，逆用户活跃度）的参数，其认为活跃用户对物品相似度的贡献应该小于不活跃的用户，应该增加IUF参数来修正物品相似度的公式：

上面的公式只是对活跃用户做了一种软性的惩罚，但对于很多过于活跃的用户，比如某位买了当当网80%图书的用户，为了避免相似度矩阵过于稠密，我们在实际计算中一般直接忽略他的兴趣列表，而不将其纳入到相似度计算的数据集中。

（2）基于余弦相似度计算。

（3）热门物品的惩罚。

从上面（1）的相似度计算公式中，我们可以发现当物品 i被更多人购买时，分子中的 N(i)∩ N(j)和分母中的 N(i)都会增长。对于热门物品，分子 N(i)∩ N(j)的增长速度往往高于 N(i)，这就会使得物品 i和很多其他的物品相似度都偏高，这就是 ItemCF中的物品热门问题。推荐结果过于热门，会使得个性化感知下降。以歌曲相似度为例，大部分用户都会收藏《小苹果》这些热门歌曲，从而导致《小苹果》出现在很多的相似歌曲中。为了解决这个问题，我们对于物品 i进行惩罚，例如下式，当α∈(0, 0.5)时，N(i)越小，惩罚得越厉害，从而使热门物品相关性分数下降（博主注：这部分未充分理解）：

此外，Kary pis在研究中发现如果将ItemCF的相似度矩阵按最大值归一化，可以提高推荐的准确率。其研究表明，如果已经得到了物品相似度矩阵w，那么可以用如下公式得到归一化之后的相似度矩阵w'：

归一化的好处不仅仅在于增加推荐的准确度，它还可以提高推荐的覆盖率和多样性。一般来说，物品总是属于很多不同的类，每一类中的物品联系比较紧密。假设物品分为两类——A和B， A类物品之间的相似度为0.5， B类物品之间的相似度为0.6，而A类物品和B类物品之间的相似度是0.2。在这种情况下，如果一个用户喜欢了5个A类物品和5个B类物品，用ItemCF给他进行推荐，推荐的就都是B类物品，因为B类物品之间的相似度大。但如果归一化之后， A类物品之间的相似度变成了1， B类物品之间的相似度也是1，那么这种情况下，用户如果喜欢5个A类物品和5个B类物品，那么他的推荐列表中A类物品和B类物品的数目也应该是大致相等的。从这个例子可以看出，相似度的归一化可以提高推荐的多样性。

那么，对于两个不同的类，什么样的类其类内物品之间的相似度高，什么样的类其类内物品相似度低呢？一般来说，热门的类其类内物品相似度一般比较大。如果不进行归一化，就会推荐比较热门的类里面的物品，而这些物品也是比较热门的。因此，推荐的覆盖率就比较低。相反，如果进行相似度的归一化，则可以提高推荐系统的覆盖率。

最后，利用物品相似度矩阵和用户打过分的物品记录就可以对一个用户进行推荐评分：

基于用户的协同算法与基于物品的协同算法原理类似，只不过基于物品的协同是用户U购买了A物品，会计算经常有哪些物品与A一起购买（也即相似度），然后推荐给用户U这些与A相似的物品。而基于用户的协同则是先计算用户的相似性（通过计算这些用户购买过的相同的物品），然后将这些相似用户购买过的物品推荐给用户U。

基于用户的协同过滤算法主要包括两个步骤：

步骤（1）的关键是计算用户的兴趣相似度，主要是利用用户的行为相似度计算用户相似度。给定用户 u和 v，N(u)表示用户u曾经有过正反馈（譬如购买）的物品集合，N(v)表示用户 v曾经有过正反馈的物品集合。那么我们可以通过如下的 Jaccard公式简单的计算 u和 v的相似度：

或通过余弦相似度：

得到用户之间的相似度之后，UserCF算法会给用户推荐和他兴趣最相似的K个用户喜欢的物品。如下的公式度量了UserCF算法中用户 u对物品 i的感兴趣程度：

首先回顾一下UserCF算法和ItemCF算法的推荐原理：UserCF给用户推荐那些和他有共同兴趣爱好的用户喜欢的物品，而ItemCF给用户推荐那些和他之前喜欢的物品具有类似行为的物品。

（1）从推荐场景考虑

首先从场景来看，如果用户数量远远超过物品数量，如购物网站淘宝，那么可以考虑ItemCF，因为维护一个非常大的用户关系网是不容易的。其次，物品数据一般较为稳定，因此物品相似度矩阵不必频繁更新，维护代价较小。

UserCF的推荐结果着重于反应和用户兴趣相似的小群体的热点，而ItemCF的推荐结果着重于维系用户的历史兴趣。换句话说，UserCF的推荐更社会化，反应了用户所在小型兴趣群体中物品的热门程度，而ItemCF的推荐更加个性化，反应了用户自己的个性传承。因此UserCF更适合新闻、微博或微内容的推荐，而且新闻内容更新频率非常高，想要维护这样一个非常大而且更新频繁的表无疑是非常难的。

在新闻类网站中，用户的兴趣爱好往往比较粗粒度，很少会有用户说只看某个话题的新闻，而且往往某个话题也不是每天都会有新闻。个性化新闻推荐更强调新闻热点，热门程度和时效性是个性化新闻推荐的重点，个性化是补充，所以 UserCF给用户推荐和他有相同兴趣爱好的人关注的新闻，这样在保证了热点和时效性的同时，兼顾了个性化。

（2）从系统多样性（也称覆盖率，指一个推荐系统能否给用户提供多种选择）方面来看，ItemCF的多样性要远远好于UserCF，因为UserCF更倾向于推荐热门物品。而ItemCF具有较好的新颖性，能够发现长尾物品。所以大多数情况下，ItemCF在精度上较小于UserCF，但其在覆盖率和新颖性上面却比UserCF要好很多。

在介绍本节基于矩阵分解的隐语义模型之前，让我们先来回顾一下传统的矩阵分解方法SVD在推荐系统的应用吧。

基于SVD矩阵分解在推荐中的应用可分为如下几步：

SVD在计算前会先把评分矩阵 A缺失值补全，补全之后稀疏矩阵 A表示成稠密矩阵，然后将分解成 A'= U∑V T。但是这种方法有两个缺点：（1）补成稠密矩阵后需要耗费巨大的储存空间，对这样巨大的稠密矩阵进行储存是不现实的；（2）SVD的计算复杂度很高，对这样大的稠密矩阵中进行计算式不现实的。因此，隐语义模型就被发明了出来。

更详细的SVD在推荐系统的应用可参考奇异值分解SVD简介及其在推荐系统中的简单应用。

隐语义模型（Latent Factor Model）最早在文本挖掘领域被提出，用于找到文本的隐含语义。相关的算法有LSI，pLSA，LDA和Topic Model。本节将对隐语义模型在Top-N推荐中的应用进行详细介绍，并通过实际的数据评测该模型。

隐语义模型的核心思想是通过隐含特征联系用户兴趣和物品。让我们通过一个例子来理解一下这个模型。

现有两个用户，用户A的兴趣涉及侦探小说、科普图书以及一些计算机技术书，而用户B的兴趣比较集中在数学和机器学习方面。那么如何给A和B推荐图书呢？

我们可以对书和物品的兴趣进行分类。对于某个用户，首先得到他的兴趣分类，然后从分类中挑选他可能喜欢的物品。简言之，这个基于兴趣分类的方法大概需要解决3个问题：

对于第一个问题的简单解决方案是找相关专业人员给物品分类。以图书为例，每本书出版时，编辑都会给出一个分类。但是，即使有很系统的分类体系，编辑给出的分类仍然具有以下缺点：（1）编辑的意见不能代表各种用户的意见；（2）编辑很难控制分类的细粒度；（3）编辑很难给一个物品多个分类；（4）编辑很难给一个物品多个分类；（5）编辑很难给出多个维度的分类；（6）编辑很难决定一个物品在某一个类别中的权重。

为了解决上述问题，研究员提出可以从数据出发，自动找到那些分类，然后进行个性化推荐。隐语义模型由于采用基于用户行为统计的自动聚类，较好地解决了上面提出的5个问题。

LFM将矩阵分解成2个而不是3个：

推荐系统中用户和物品的交互数据分为显性反馈和隐性反馈数据。隐式模型中多了一个置信参数，具体涉及到ALS（交替最小二乘法，Alternating Least Squares）中对于隐式反馈模型的处理方式——有的文章称为“加权的正则化矩阵分解”：

一个小细节：在隐性反馈数据集中，只有正样本（正反馈）没有负反馈（负样本），因此如何给用户生成负样本来进行训练是一个重要的问题。Rong Pan在其文章中对此进行了探讨，对比了如下几种方法：

用户行为很容易用二分图表示，因此很多图算法都可以应用到推荐系统中。基于图的模型（graph-based model）是推荐系统中的重要内容。很多研究人员把基于领域的模型也称为基于图的模型，因为可以把基于领域的模型看作基于图的模型的简单形式。

在研究基于图的模型之前，需要将用户行为数据表示成图的形式。本节的数据是由一系列用户物品二元组(u, i)组成的，其中 u表示用户对物品 i产生过行为。

令 G(V, E)表示用户物品二分图，其中 V=V U UV I由用户顶点 V U和物品节点 V I组成。对于数据集中每一个二元组(u, i)，图中都有一套对应的边 e(v u, v i)，其中 v u∈V U是用户对应的顶点，v i∈V I是物品i对应的顶点。如下图是一个简单的物品二分图，其中圆形节点代表用户，方形节点代表物品，用户物品的直接连线代表用户对物品产生过行为。比如下图中的用户A对物品a、b、d产生过行为。

度量图中两个顶点之间相关性的方法很多，但一般来说图中顶点的相关性主要取决于下面3个因素：

而相关性高的一对顶点一般具有如下特征：

举个例子，如下图，用户A和物品c、e没有边直连，但A可通过一条长度为3的路径到达c，而Ae之间有两条长度为3的路径。那么A和e的相关性要高于顶点A和c，因而物品e在用户A的推荐列表中应该排在物品c之前，因为Ae之间有两条路径。其中，（A,b,C,e）路径经过的顶点的出度为（3，2，2，2），而(A,d,D,e)路径经过了一个出度比较大的顶点D，所以(A,d,D,e)对顶点A与e之间相关性的贡献要小于（A,b,C,e）。

基于上面3个主要因素，研究人员设计了很多计算图中顶点相关性的方法，本节将介绍一种基于随机游走的PersonalRank算法。

假设要给用户u进行个性化推荐，可以从用户u对应的节点 v u开始在用户物品二分图上进行随机游走。游走到任一节点时，首先按照概率α决定是继续游走还是停止这次游走并从 v u节点重新开始游走。若决定继续游走，则从当前节点指向的节点中按照均匀分布随机选择一个节点作为游走下次经过的节点。这样，经过很多次随机游走后，每个物品被访问到的概率会收敛到一个数。最终的推荐列表中物品的权重就是物品节点的访问概率。

上述算法可以表示成下面的公式：

虽然通过随机游走可以很好地在理论上解释PersonalRank算法，但是该算法在时间复杂度上有明显的缺点。因为在为每个用户进行推荐时，都需要在整个用户物品二分图上进行迭代，知道所有顶点的PR值都收敛。这一过程的时间复杂度非常高，不仅无法在线进行实时推荐，离线计算也是非常耗时的。

有两种方法可以解决上面PersonalRank时间复杂度高的问题：

（1）减少迭代次数，在收敛之前停止迭代。但是这样会影响最终的精度。

（2）从矩阵论出发，重新涉及算法。另M为用户物品二分图的转移概率矩阵，即：

网络社交是当今社会非常重要甚至可以说是必不可少的社交方式，用户在互联网上的时间有相当大的一部分都用在了社交网络上。

当前国外最著名的社交网站是Facebook和Twitter，国内的代表则是微信/QQ和微博。这些社交网站可以分为两类：

需要指出的是，任何一个社交网站都不是单纯的社交图谱或兴趣图谱。如QQ上有些兴趣爱好群可以认识不同的陌生人，而微博中的好友也可以是现实中认识的。

社交网络定义了用户之间的联系，因此可以用图定义社交网络。我们用图 G(V,E,w)定义一个社交网络，其中V是顶点集合，每个顶点代表一个用户，E是边集合，如果用户va和vb有社交网络关系，那么就有一条边 e(v a, v b)连接这两个用户，而 w(v a, v b)定义了边的权重。一般来说，有三种不同的社交网络数据：

和一般购物网站中的用户活跃度分布和物品流行度分布类似，社交网络中用户的入度（in degree，表示有多少人关注）和出度（out degree，表示关注多少人）的分布也是满足长尾分布的。即大部分人关注的人都很少，被关注很多的人也很少。

给定一个社交网络和一份用户行为数据集。其中社交网络定义了用户之间的好友关系，而用户行为数据集定义了不同用户的历史行为和兴趣数据。那么最简单的算法就是给用户推荐好友喜欢的物品集合。即用户u对物品i的兴趣 p ui可以通过如下公式计算。

用户u和用户v的熟悉程度描述了用户u和用户在现实社会中的熟悉程度。一般来说，用户更加相信自己熟悉的好友的推荐，因此我们需要考虑用户之间的熟悉度。下面介绍3中衡量用户熟悉程度的方法。

（1）对于用户u和用户v，可以使用共同好友比例来计算他们的相似度：

上式中 out(u)可以理解为用户u关注的用户合集，因此 out(u)∩ out(v)定义了用户u、v共同关注的用户集合。

（2）使用被关注的用户数量来计算用户之间的相似度，只要将公式中的 out(u)修改为 in(u)：

in(u)是指关注用户u的集合。在无向社交网络中，in(u)和out(u)是相同的，而在微博这种有向社交网络中，这两个集合的含义就不痛了。一般来说，本方法适合用来计算微博大V之间的相似度，因为大v往往被关注的人数比较多；而方法（1）适用于计算普通用户之间的相似度，因为普通用户往往关注行为比较丰富。

（3）除此之外，还可以定义第三种有向的相似度：这个相似度的含义是用户u关注的用户中，有多大比例也关注了用户v：

这个相似度有一个缺点，就是在该相似度下所有人都和大v有很大的相似度，这是因为公式中的分母并没有考虑 in(v)的大小，所以可以把 in(v)加入到上面公式的分母，来降低大v与其他用户的相似度：

上面介绍了3种计算用户之间相似度（或称熟悉度）的计算方法。除了熟悉程度，还需要考虑用户之间的兴趣相似度。我们和父母很熟悉，但很多时候我们和父母的兴趣确不相似，因此也不会喜欢他们喜欢的物品。因此，在度量用户相似度时，还需要考虑兴趣相似度，而兴趣相似度可以通过和UserCF类似的方法度量，即如果两个用户喜欢的物品集合重合度很高，两个用户的兴趣相似度很高。

最后，我们可以通过加权的形式将两种权重合并起来，便得到了各个好有用户的权重了。

有了权重，我们便可以针对用户u挑选k个最相似的用户，把他们购买过的物品中，u未购买过的物品推荐给用户u即可。打分公式如下：

其中 w'是合并后的权重，score是用户v对物品的打分。

node2vec的整体思路分为两个步骤：第一个步骤是随机游走（random walk），即通过一定规则随机抽取一些点的序列；第二个步骤是将点的序列输入至word2vec模型从而得到每个点的embedding向量。

随机游走在前面基于图的模型中已经介绍过，其主要分为两步：（1）选择起始节点；（2）选择下一节点。起始节点选择有两种方法：按一定规则抽取一定量的节点或者以图中所有节点作为起始节点。一般来说会选择后一种方法以保证所有节点都会被选取到。

在选择下一节点方法上，最简单的是按边的权重来选择，但在实际应用中需要通过广度优先还是深度优先的方法来控制游走范围。一般来说，深度优先发现能力更强，广度优先更能使社区内（较相似）的节点出现在一个路径里。

斯坦福大学Jure Leskovec教授给出了一种可以控制广度优先或者深度优先的方法。

以上图为例，假设第一步是从t随机游走到v，这时候我们要确定下一步的邻接节点。本例中，作者定义了p和q两个参数变量来调节游走，首先计算其邻居节点与上一节点t的距离d，根据下面的公式得到α：

一般从每个节点开始游走5~10次，步长则根据点的数量N游走根号N步。如此便可通过random walk生成点的序列样本。

得到序列之后，便可以通过word2vec的方式训练得到各个用户的特征向量，通过余弦相似度便可以计算各个用户的相似度了。有了相似度，便可以使用基于用户的推荐算法了。

推荐系统需要根据用户的历史行为和兴趣预测用户未来的行为和兴趣，因此大量的用户行为数据就成为推荐系统的重要组成部分和先决条件。如何在没有大量用户数据的情况下设计个性化推荐系统并且让用户对推荐结果满意从而愿意使用推荐系统，就是冷启动问题。

冷启动问题主要分为三类：

针对用户冷启动，下面给出一些简要的方案：

（1）有效利用账户信息。利用用户注册时提供的年龄、性别等数据做粗粒度的个性化；

（2）利用用户的社交网络账号登录（需要用户授权），导入用户在社交网站上的好友信息，然后给用户推荐其好友喜欢的物品；

（3）要求用户在登录时对一些物品进行反馈，手机用户对这些物品的兴趣信息，然后给用推荐那些和这些物品相似的物品；

（4）提供非个性化推荐。非个性化推荐的最简单例子就是热门排行榜，我们可以给用户推荐热门排行榜，然后等到用户数据收集到一定的时候，在切换为个性化推荐。

对于物品冷启动，可以利用新加入物品的内容信息，将它们推荐给喜欢过和他们相似的物品的用户。

对于系统冷启动，可以引入专家知识，通过一定高效的方式快速建立起物品的相关度表。

在上面介绍了一些推荐系统的基础算法知识，这些算法大都是比较经典且现在还在使用的。但是需要注意的是，在实践中，任何一种推荐算法都不是单独使用的，而是将多种推荐算法结合起来，也就是混合推荐系统，但是在这里并不准备介绍，感兴趣的可以查阅《推荐系统》或《推荐系统与深度学习》等书籍。此外，在推荐中非常重要的点击率模型以及基于矩阵的一些排序算法在这里并没有提及，感兴趣的也可自行学习。

虽然现在用的很多算法都是基于深度学习的，但是这些经典算法能够让我们对推荐系统的发展有一个比较好的理解，同时，更重要的一点——“推陈出新”，只有掌握了这些经典的算法，才能提出或理解现在的一些更好地算法。