ABSTRACT

Recommendation method is a popular research technology to solve the problem of “information overload”. Traditional recommendation methods have problems such as data sparse and cold start in music, video, news and other fields. Deep learning can be integrated into the recommendation method to effectively solve the above problems. This paper analyzes the application of traditional recommendation methods in music, video, news and other fields, focuses on the recommendation methods in music and video fields based on deep learning, and finally summarizes and prospects the recommendation methods based on deep learning.

Keywords:Recommended Methods, Deep Learning, Music, Video

面向应用领域的推荐方法研究综述

马思远，贺 萍^*

河北经贸大学信息技术学院，河北 石家庄

收稿日期：2019年7月1日；录用日期：2019年7月15日；发布日期：2019年7月22日

摘 要

推荐方法是解决“信息过载”问题的一种热门研究技术，传统的推荐方法在音乐、视频、新闻等领域存在数据稀疏、冷启动等问题，将深度学习融入推荐方法中，可以有效解决上述问题。对传统推荐方法在音乐、视频、新闻等领域的应用进行分析，重点介绍基于深度学习的音乐和视频领域的推荐方法，最后对基于深度学习的推荐方法进行了总结和展望。

关键词 :推荐方法，深度学习，音乐，视频

Copyright © 2019 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

互联网技术的快速发展，促进了数据信息的爆炸式增长。2017年全球数据总存量轨迹是16~20 ZB，再过8年，总存量仍将增长10倍，接近200ZB。虽然海量数据蕴含丰富的价值，但是存在严重的“信息过载、信息焦虑、信息冗余”等问题。为了解决“信息过载”问题，研究人员分析该问题产生原因，积极寻找应对策略 [1] 。截止目前，能够解决“信息过载”的方法包括搜索引擎技术、数据库系统、推荐系统。搜索引擎 [2] [3] [4] 能够自动从互联网上搜索信息，信息经过整理后，提供给用户进行查询，但这些信息存在数据量大的特点，进而导致搜索时间过长，不能及时给用户提供有用的信息；数据库系统 [5] [6] [7] [8] [9] 不仅可以存储和管理数据，而且能够处理各种业务，但是当数据量庞大时，仍存在数据冗余现象，从而导致用户无法及时处理业务。以上两种方法存在不同的问题，为了解决这些问题，研究人员提出推荐系统将其应用在海量数据的处理中，推荐系统能够为用户生成推荐项列表或者预测用户偏好哪一项，有针对性便捷地为用户提供可能让他们喜欢的内容 [10] ，从而减少用户搜索的时间以及提高推荐准确度。目前，推荐系统用于决策的过程中，是解决“信息过载”问题最好的手段之一。

而推荐系统最初开始于一个有趣的现象：人们在生活中做决定的时候总会倾向于听取别人提供的建议 [11] 。在20世纪末期，Su等人 [12] 第一个提出协同过滤技术，这标志着推荐系统成为一门独立的学科而受到广泛的关注。传统的推荐方法主要有两种：基于内容的推荐方法 [13] 和协同过滤推荐方法 [14] 。传统的推荐方法大部分都存在冷启动、用户兴趣偏移、数据稀疏等问题，融合两种方法的混合推荐方法 [15] 能够缓解数据稀疏、冷启动问题，但是由于往往收集到的数据具有数据异构、分布不均匀等复杂特征，混合推荐方法仍面临极大的挑战 [16] [17] 。

深度学习技术是机器学习领域的一个热门研究技术，已经广泛应用于许多领域如图像处理、语言识别和自然语言理解等，这为推荐方法的研究指引了新的方向。一方面深度学习可以自动学习数据特征，学习潜在的隐性因子，为推荐方法缓解冷启动问题；另一方面深度学习可以通过数据增广、迁移学习、领域自适应、主动学习等方法缓解数据稀疏问题。目前，基于深度学习的推荐方法在众多领域应用的研究越来越多 [18] - [29] ，基于深度学习的推荐方法研究已经成为推荐方法领域的研究热点之一。

本文首先简要介绍了传统的推荐方法在音乐、视频、新闻领域的应用，然后重点分析深度学习在音乐推荐系统以及视频推荐系统中的应用，最后是总结全文以及对基于深度学习的推荐系统的展望。

2. 传统推荐方法

2.1. 音乐推荐方法

2.1.1. 基于内容的音乐混合推荐方法

为了解决过于依赖专家形成的特定音乐特征集的问题，潘洋等人 [30] 提出一种基于用户行为的研究方法，通过获取用户日常收听、播放、收藏等操作行为数据，将这些用户行为数据构建出行为特征模型，进而挖掘分析用户行为与兴趣之间的关系，在此基础上，采用因子分解机模型模拟用户行为特征数据中的隐性因子，填充稀疏矩阵，预测用户行为类型。琚春华等人 [31] 研究发现音乐的消费过程可以反映用户的情绪，因此设计了一种融入用户情绪因素的推荐方法。首先，结合声音学和心理学的研究，对音乐进行与情绪相关的分类，通过情绪特征向量详细描述情绪的组成；其次，将人类生物节律周期和生物钟理论应用到用户情绪状态的初步估计中，获得用户当前状态的初步描述；再者，用人工情绪模型和反馈控制预判用户当前的情绪状态，最后将与用户情绪状态相匹配的音乐推荐给用户。

2.1.2. 基于协同过滤的音乐混合推荐方法

为了解决旋律、节奏、音色等重要音乐特征难以提取处理的问题，Wang等人 [32] 提出一种基于标签的协同过滤推荐方法，通过分析每个用户的听歌频率分布规律，构建评分机制，将频率转化为合理的分数，同时检索数据库中出现的所有曲目和歌手的顶部标签，构建用户轨迹类型偏好向量以及用户相似度矩阵，进而对基于相似风格的用户进行推荐。Markus等人 [33] 提出了两种新的量化音乐主流性的方法，采用 Kullback-Leibler (KL)散度和秩序(rank-order)相关系数关联听众和全球偏好的资料，基于此对音乐的主流性进行排名。在此基础上，Ferraro等人 [34] 对基于排名的主流音乐推荐方法进行了改进，提出了一种矩阵分解和流行度融合的推荐方法，通过将每个用户的倾听行为模式作为输入，分别建立回归模型，从而为每个用户提供个性化权重排名，并根据受欢迎程度进行改进排名。

2.2. 视频推荐方法

2.2.1. 基于内容的视频混合推荐方法

孔欣欣等人 [35] 提出一种基于标签权重评分的推荐方法，通过对每个标签进行相应的评分，评分代表该物品或用户在该标签上的权重，以此降低客观因素对用户打分的影响，提高评分的准度度和真实性。林鑫等人 [36] 在基于内容的基础上提出一种基于用户决策的推荐模型，其根据影响用户决策的因素筛选出需要的特征或者特征组合，并将用户兴趣偏好作为决策的直接影响因素。Tzamousis等人 [37] 利用各种机器学习算法学习多种推荐算法的高效组合方法，能够根据为给定的输入选择出最佳的混合方法，该方法可以很容易扩展到其他推荐方法。

2.2.2. 基于协同过滤的视频混合推荐方法

Nguyen等人 [38] 提出一种将显示反馈和隐式反馈结合到一个统一模型中的概率模型，首先用基于显示反馈的用户和项目表示矩阵分解模型，其次用项目嵌入模型发现商品的表征，从而捕获基于隐式反馈项目之间的关系。为了解决单个用户只对某些领域感兴趣的问题，张飞等人 [39] 提出一种协同聚类推荐方法，将用户和物品根据兴趣或特征进行聚类分组，然后在每个分组基础上进行相应的推荐。张文静等人 [40] 在原有基于频率和基于排名的信息核提取方法基础上进行了改进，提出在求邻居列表时既要考虑用户之间的相似度，又要充分利用用户和物品的评分信息，优化寻找最相似邻居环节。

2.3. 新闻推荐方法

2.3.1. 基于内容的新闻混合推荐方法

为了研究新闻发生地点对新闻推荐的影响，袁仁进等人 [41] 提出了一种基于事件地理位置的推荐方法，首先对用户浏览的新闻集进行信息抽取，对抽取出的信息进行判断，分类出有地理位置的新闻集和无地理位置的新闻集，通过使用向量空间模型和TF-IDF算法，构建新闻特征向量集合，进而将新闻文本向量化；其次根据两种新闻集的数量权重构建用户兴趣的混合模型，采用余弦相似度算法，从而计算出用户兴趣模型和候选新闻集之间的相似度；最后采用Top-N方法将新闻推荐给用户。随后，袁仁进等人 [42] 对此方法进行了改进，提出了一种基于VSM和Bisecting K-means聚类的推荐方法，直接采用Bisecting K-means聚类算法对新闻特征向量进行聚类，分析出新闻类别，将其与用户浏览过的新闻特征向量集合进行整合，构建用户兴趣模型。为了解决用户兴趣漂移问题，文献 [43] 介绍一种基于时间因子的推荐方法，在推荐方法中引入艾宾浩斯遗忘曲线，并利用遗忘函数对用户兴趣模型进行时间加权，从而对原始用户模型进行更新。

2.3.2. 基于协同过滤的新闻混合推荐方法

朱文跃等人 [44] 提出了一种基于事件本体的推荐方法，其将新闻报道模型分为三个部分，上层事件类主要由新闻、对象以及地点层次结构组成，下层事件类是事件类关系组成，底层是新闻报道的实例层。通过新闻分类结构和新闻语料构建事件本体，利用协同过滤算法计算用户兴趣相似性，最后将与用户最近浏览过的相似新闻、相似用户阅读过的新闻以及用户最近浏览过的新闻事件分类，找到与该新闻事件有相同对象的推荐给用户。而Chakraborty等人 [45] 提出一种非个性化的推荐方法，观察不同故事在用户中受欢迎的程度，并利用受众驱动的流行度来估计其重要性，并从编辑的判断中学习编辑们在报纸上挑选故事的方法，在兼顾最近性和重要性基础上推荐包含不同专题的新闻，并基于未来影响进行推荐。

3. 基于深度学习的推荐方法

基于深度学习的推荐系统通常将与用户和项目相关的数据作为输入，利用深度学习模型学习用户和项目的隐性因子，并基于这种隐性因子为用户进行项目推荐。图1为基于深度学习的推荐系统架构，其中包括输入层、模型层和输出层。本节重点介绍深度学习在音乐、视频领域推荐方法的应用。

图1. 基于深度学习的推荐系统架构

3.1. 深度学习在音乐推荐方法中的应用

一般情况下在音乐推荐中可以按照流派、艺术家、情感、语言等内容进行分类，考虑到用户听取单首歌曲消耗的时间不同，且显式的评分数据稀少，即便获取到相应的数据，相比其他领域的数据更为稀疏，因此不间断的收听行为通常被作为隐式的正面反馈。深度学习模型易于学习到项目的隐性因子，因此将深度学习运用到音乐推荐系统，可以为用户推荐更精确的歌曲。

3.1.1. 基于卷积神经网络的音乐混合推荐方法

一些研究者 [46] [47] 采用原始波形作为输入，使用一维卷积神经网络对音频信号进行处理，而另一些研究者 [48] [49] 提出采样级深度卷积神经网络，从非常小的波形颗粒中学习，这些研究均使用音频的波形作为输入，利用卷积神经网络的端到端方法进行特征提取。在此基础上，Abdul等人 [50] 提出一种基于情感感知的音乐推荐方法(EPMRS)，将深度卷积神经网络(DCNN)和加权特征提取方法(WFE)输出结合起来，使用DCNN从音乐数据(音频信号和相应的元数据)中提取潜在特征极性分类，在WFE方法中，生成音乐的隐式用户评级，以此提取用户数据和音乐数据之间的相关性，EPMRS根据用户对音乐的隐式评分向用户推荐歌曲。Hewitt等人 [51] 则从另一个角度出发，对八类情绪进行分类，提出了三种改进的CNN架构变体，实现了一个基于预测用户影响的音乐推荐界面。

3.1.2. 基于自动编码器的音乐混合推荐方法

汤敬浩等人 [52] 提出一种基于内容的堆叠式降噪自动编码器推荐方法，使用色度特征(色度向量和色度图谱的统称)以及梅尔频率倒谱两种音频特征作为模型的输入，使用批量随机梯度下降进行训练，得到物品的评分预测矩阵。在此基础上，文献 [53] 进行了改进，利用物品侧自动编码器学习音乐特征，用户侧自动编码器学习用户特征，提出了一种集合卷积自动编码器(即卷积神经网络与自动编码器结合)矩阵分解的音乐推荐模型。该模型使用四种特征，分别是两种音频特征、歌词特征和评分向量矩阵，并将这些特征输入到卷积编码层，经过训练，得到能到预测用户喜好的模型。

3.1.3. 基于深度置信网络的音乐混合推荐方法

为了解决无法从音频中捕获所有相关信息的问题，Wang等人 [54] 提出一种将深度信念网络与概率矩阵分解模型组合的音乐推荐方法，将音乐内容提取和音乐推荐两个阶段，统一为一个自动的过程，同时从音频内容中学习特征。具体的步骤是首先利用概率矩阵分解模型学习用户和项目的隐层表示，其次采用深度信念网络模型自动学习从音乐中提取的音乐特征和由用户偏好得到的用户表示。通过验证发现该推荐模型无论在暖启动阶段还是冷启动阶段，都有较好的性能。

3.2. 深度学习在视频推荐系统中的应用

3.2.1. 基于卷积神经网络的视频混合推荐方法

为了解决新视频加入时没有相关评分造成的冷启动问题，Li等人 [55] 提出直接从内容中计算视频相关性，而不是将其作为用户行为矩阵分解的副条件，通过使用深度卷积神经网络对视频的信息(即像素、音频、字幕和元数据)进行处理，以此构建视频关联表，从而减少新视频用户的行为需求。另外，为了提高卷积神经网络的适用性，李南星等人 [56] 采用条件卷积对用户行为进行特征提取，即使用物品特征向量作为卷积核，没有待训练参数，该方法只需要一层条件卷积就能得到N个用户属性和N个物品属性之间的高阶组合。在此基础上，该方法在神经协同过滤中融入用户和物品属性信息。

蔡念 [57] 提出了一种改进矩阵分解与跨通道卷积神经网络结合的推荐方法，将用户和项目的影响因子加入到传统矩阵分解中，将词向量组成的信息矩阵输入到卷积神经网络中，得到的评价信息特征值与改进矩阵分解模型的正则化项进行融合。而王海艳和董茂伟 [58] 则将动态卷积概率矩阵分解模型运用到群组推荐，将卷积神经网络的文本表示方法融合到潜在因子模型中，同时将状态空间模型也融合到潜在因子模型中。

3.2.2. 基于自动编码器的视频混合推荐方法

为了缓解数据稀疏问题，冯楚滢等人 [59] 提出将堆叠自动编码器引入推荐系统，首先将加噪后的数据输入自动编码器，生成新的评分矩阵，对数据文本进行挖掘提取词汇表，在概率框架中使用协同过滤模型，推导出基于采样的协同深度学习贝叶斯处理算法，构建出基于堆叠降噪自动编码器的协同推荐方法。曾旭禹等人 [60] 通过将无监督变分自动编码器融合到概率矩阵分解模型中，构建一种感知上下文的推荐模型。首先通过TD-IDF对物品的评价文档进行数据预处理，其次使用变分自动编码器提取物品描述文档的辅助信息的特征，发现物品的上下文信息关系，最后利用概率矩阵分解模型提高预测评分精度，其中选择最大后验估计优化潜在特征向量。

3.2.3. 基于玻尔兹曼机的视频混合推荐方法

张光荣等人 [61] 将用户标签融入实值条件受限玻尔兹曼机中，利用实值条件玻尔兹曼机可以拟合任意离散分布的能力，预测出用户对新物品的评分值。另外，运用文本分类中的TF-IDF算法预测用户对所应用过的标签的喜爱度，与标签基因数据相乘，得到用户对物品的预测评分，将其加入用户历史评分数据，从而解决用户新物品没有评分的问题。刘康迪 [62] 引入深度网络结构模型，将其与基于时间加权的聚类算法相融合，采用多层受限玻尔兹曼组成深度玻尔兹曼机，利用深度玻尔兹曼机进行特征提取和探测，同时为了降低训练难度，使用并行化方案，解决了用户兴趣漂移的问题。沈学利等人 [63] 提出一种受限玻尔兹曼机(RBM)与加权Slope One结合的混合推荐算法，通过使用基于项目的实值RBM对评分矩阵进行填充，在相似度计算过程中引入项目属性信息，将项目评分相似度与项目属性信息结合，作为加权Slope One的权值，并通过两次预测，提升推荐的准确性。

3.2.4. 基于深度置信网络的视频混合推荐方法

为了处理在线学习用户的高维属性，Zhang等人 [64] 提出了一种基于深度神经网络(DBN)的推荐方法，利用DBN在函数逼近、特征提取、预测分类等方面的高性能，结合慕课用户课程特征向量，以课程成绩作为DBN监督学习的课程标签，通过无监督训练和监督反馈微调，从而实现DBN推荐模型的训练，挖掘出用户的课程兴趣，并基于此进行推荐。Cui等人 [65] 研究发现基于内容的协同过滤和基于用户的协同过滤结合可以提高推荐性能，但是由于数据量大，电影和用户兴趣的特征复杂，简单的模型不容易提取特征，为了解决这个问题，采用了DBN和基于用户的协同过滤结合的方法。将 User-Item矩阵分为0-1矩阵，将其作为DBN模型的输入，然后再采用基于用户的协同过滤算法，计算出缺失的评分，得到推荐的电影。黄兰 [66] 提出一种基于DBN分类的协同过滤推荐方法，采用DBN两种学习模式：单模式的学习和多模式的学习，分别对项目类别和用户类别进行学习，找出用户属性间的潜在联系，提高了分类的精度。

4. 基于深度学习的推荐方法研究趋势展望

现如今基于深度学习的推荐方法的研究开展地如火如荼，并且已经运用到很多领域，如音乐、视频、新闻等，但在技术及实际效果上还有很大进步的空间，在未来必将有更多、更广泛的尝试，以下总结了三个基于深度学习的推荐方法可能的研究方向。

1) 基于深度学习的推荐方法与云计算技术的集合

基于深度学习的推荐系统需要处理海量的数据记录，如何便捷快速存取这些庞大的数据以及如何精确作出推荐结果，成为基于深度学习的推荐方法面临的巨大挑战。云计算集成海量存储和高性能的计算能力并且具有分布式存储、高扩展、用户友好等特征 [67] 。有研究者将云计算与推荐系统结合 [68] - [81] ，可以得到较好的性能，而基于深度学习的推荐方法与云计算结合可能是一个可以提高召回率、精准度的另一个好的研究方向。

2) 用户的隐私安全问题

基于深度学习的推荐方法通过利用用户的显示反馈或者隐式反馈数据，推荐系统得到用户的信息越多，对用户的推荐准确率就越高，系统得到用户的信息越多，一旦遭到攻击，用户的隐私安全将会受到威胁。一些研究者 [82] - [97] 已经考虑到这些问题，提出了基于隐私的推荐方法，可尝试将深度学习引入，从而得到更好的解决办法。

3) 基于深度学习的推荐方法可解释性的问题

推荐系统往往在直观上向用户展示项目的推荐列表，但是缺少向用户说明这样推荐的合理性。而基于深度学习的推荐方法，通常是将处理好的数据输入模型，模型中采用的是黑箱机制，同样很难对推荐结果有直接的解释。若提高推荐系统的可解释性，则可以得到用户更好的反馈，从而提升用户对系统的信任度。因此，从其它角度研究具有解释功能的基于深度学习的推荐系统是非常有必要的。

基金项目

2019年度河北经贸大学研究生创新计划项目，河北省教育厅科学研究计划项目(重点项目，ZD2019017)。

文章引用

马思远,贺 萍. 面向应用领域的推荐方法研究综述
A Review of the Research on Recommendation Methods for Application Fields[J]. 计算机科学与应用, 2019, 09(07): 1317-1327. https://doi.org/10.12677/CSA.2019.97148

参考文献