原标题：如何用深度学习实现用户行为预测与推荐

文章来源：大数据和多膜态计算 作者：刘强 等

随着互联网的发展，越来越多的用户的数据被记录了下来，大量的线上线下数据为纷繁的应用带来了可能。在线上，用户的点击、浏览等行为数据，反映着用户的兴趣与需求，可以极大地提升在线广告、营销等的效果；在线下，用户的行为轨迹数据，反映着用户的热点区域，同时也反映着群体的行为模式，可以为下线的营销推荐带来数据支持，也可以为公共安全、城市计算等带来帮助。

因此，我们基于用户的海量的线上线下数据，结合深度学习模型开展研究，一方面对用户喜好、可能的浏览点击、行为轨迹实现尽可能准确的预测；另一方面，通过预测用户未来的行为做出相应的推荐。我们课题组的几个代表性工作如下。

基于卷积神经网络的点击预测

在线广告的蓬勃发展引爆了对广告点击率预测的越来越大的需求。对于单广告条目，现有方法可以建模其中元素的成对关系，但无法建模关键特征的全局交互特性。除此之外，现有的序列预测技术中的转移矩阵随时间改变而不变，难以掌握变化的特性，且无法甄别出关键的特征。因此，我们根据卷积神经网络提出了卷积点击预测模型（CCPM）。卷积点击预测模型可以在元素数量可变的输入中提取出局部和全局的关键特征，可以有效地应用于单广告条目和序列广告条目中。在现实数据中的实验结果表明，卷积点击预测模型在点击预测上取得了很好的效果。

基于时空循环神经网络的地点预测

随着移动网络的发展，人们丰富的移动轨迹信息得以被记录，准确地预测人们下一步的行为事件和所到地点，有着重要的商业价值和公共安全意义。个性化分解马尔科夫链作为马尔科夫链模型的扩展已经被广泛用于时序预测，但它要基于不同因素之间很强的独立性假设；此外，张量分解的方法也被用于时序信息的建模，在这种方法中，时间区间被看作被分解的张量中的附加的维度，这使得在预测新的时间区间中的事件时会有冷启动问题。尽管这些方法在一些应用中都取得了很好的效果，但他们都不能处理事件之间的时间间隔问题，而时间间隔信息对于预测行为的准确性很重要。递归神经网络已经被成功运用于词嵌入问题和时序点击预测问题并展现出了很好的性能，但传统的时间感知递归神经网络中每一层的输入只能包括一个元素，不能很好地对连续时间内的事件进行建模。我们提出了一种基于时间感知递归神经网络的事件预测方法，首先将事件发生时间的历史记录划分成有固定长度的时间区间，并将时间区间划分为更短的时间间隔，将每个时间区间中所有时间间隔内在某地点发生的事件的隐含向量表示作为时间感知递归神经网络每一层的输入，以地点的隐含向量表示与事件的隐含向量表示的内积作为对于此事件是否会在此地点发生的预测。其结合利用时间感知递归神经网络获取的周期性背景信息和在每个时间区间内的短期背景信息对将要发生的事件进行预测，提高了预测的准确性。

基于动态循环神经网络的篮子推荐系统

推荐系统主要是利用用户的历史行为信息和一些上下文信息来预测用户未来的行为并做相应的推荐。根据不同的应用背景，推荐系统可以分为电影推荐，篮子推荐等不同应用场景下的推荐任务。传统的下一个篮子推荐系统模型都是基于马尔科夫链假设，即只研究相邻的两个篮子之间的联系，忽略拥有其他位置关系的篮子之间的联系。然而，在实际的复杂购物场景中，某两个相邻的篮子之间可能不存在任何联系，也就是说，某个篮子产生的影响并不是直接作用于紧接着的下一个篮子，可能是作用于再往后的某些篮子。在上述场景中，传统的基于马尔科夫链假设的下一个篮子推荐系统模型不能提取篮子间的全局联系。所以，这些基于马尔科夫链假设的推荐系统模型不能有效地解决篮子模型中的推荐问题。因此，需要挖掘出这些篮子中所有可能的联系，包括篮子间的局部联系和全局联系，如何充分的挖掘出所有购物篮子之间的局部联系和全局联系是当前的主要研究内容。

在推荐系统中，重要的特征一般有两种：商品购买记录的时序特征和用户的一般购物兴趣特征。另外，如何有效地融合这些特征来实现商品推荐对于实际的推荐系统性能有着重大的影响。基于以上的两点思考，我们利用动态周期神经网络来提取商品购买记录中的时序特征，同时周期神经网络的隐含层能够学习得到用户在不同时间的动态购物兴趣的表达，由此我们提出了一种全新的下一个篮子推荐模型。该模型不仅有效地将商品购买记录的时序特征和用户的一般购物兴趣特征融为一体，即模型能够从商品特征和商品间的局部全局时序特征中学习到用户的动态购物兴趣，然后基于这些重要特征给出合理的商品推荐。下图展示了基于动态周期神经网络的篮子推荐系统模型的框架图。

基于上下文感知的序列推荐模型

在序列推荐的基础上，我们进一步地引入了上下文信息，并提出了上下文感知的序列推荐问题，以提升推荐的效果。针对于用户行为序列的特性，我们总结出了两类上下文信息：输入上下文和转移上下文。输入上下文指的是用户发生行为时的外部情境，如天气、季节、地点、时间等等。转移上下文指的是相邻序列行为间转移的上下文，即相邻序列行为间的时间差。

我们的模型基于循环神经网络（RNN）进行构建，提出了上下文感知的循环神经网络（CA-RNN）模型。传统的RNN模型中，每一层只有固定的输入矩阵和转移矩阵，不能感知序列中上下文信息的变化。因此，我们引入了上下文感知的输入矩阵和上下文感知的转移矩阵，使RNN每一层的矩阵参数随着输入上下文和转移上下文的不同而变化。CA-RNN模型可以建模丰富的上下文信息和序列信息，大大地提高了推荐效果。实验证明，我们的模型取得了当下最优的推荐效果。