随着技术的发展，深度学习应用的场景越来越广泛，业界也出现很多将深度学习应用于推荐系统的尝试。基于用户行为的深度学习模型最先应用于中小规模计算广告系统中，大规模的计算广告系统因巨大的吞吐量和低延迟的需要，基于成本考虑，多采用简单的回归算法来实现。

深度学习模型在推荐系统中的应用主要有两种：一、精准度更高的语义模型用于物品相似度计算；二、对用户行为进行抽象处理后提取特征进行点击概率预测。

精度更高的语义模型

如前面所述，业内应用广泛的特征提取模型，包括LSI、LDA、Doc2Vec等，他们共同的目的是提取更精准的语义向量表达。随着Google发布Bert模型，将语义识别能力推向了新的高度。各种尝试将Bert模型引入推荐系统当中成了一种选择。经过在商业场景中的应用尝试，Bert模型包括类似ERNIE这种优化版本确实可以带来更精准的语义表达，在较大数据场景中表现略优于传统算法。但笔者根据大量推荐系统在实际业务场景的应用中得出的经验来看，更精准的语义模型对推荐系统精度的提升较为有限，反倒推高了系统部署和应用的成本，在实际业务场景中需要综合业务目标和模式进行考量。

基于深度学习的点击概率预测

通过对用户行为的向量化，引入上下文因素投入深度神经网络中进行点击概率预测则要复杂得多。首先通过将用户行为，如浏览、收藏、分享、点赞、购买、评论等，结合其行为目标进行向量化表达，以其后续N个行为目标作为预测点，采用基于上下文的循环神经网络进行建模。在预测时通过将已有行为投入模型中，预测后续最有可能点击的目标。该方法在逻辑上可行，但在实际使用过程中需要的调参时间过长，不可控因素过多，难以有较好的表现。其最大的问题在于，在底层逻辑上存在过多经不起推敲的假设前提。

它假定系统中的数据已知一个人的所有行为，并以此为特征来预测这个人下一步的兴趣走向。但目前没有任何一个人类设计的系统能够涵盖和记录一个人每天的所有行为以及接收到的信息。

在现实世界中，每个人的兴趣点都是经常发生转移且极易被外界所影响的。我昨天在看奶粉，今天有个朋友说黑色星期五海淘打折很划算，我想到刚好缺一件羽绒服。这种兴趣转移和变化可能是瞬间的，可能持续3分钟，也可能持续3天，且随着时间的推移，其共性特征很难捕获。去年流行九分裤，今年流行的可能是阔腿裤。

而这种快速和易于变化带来的是特征抽象事实上非常困难，要生成一个鲁棒性强到可以支撑商用的模型，所需的单位时间内的数据规模在绝大多数商业客户的系统中都无法支持。

纯粹基于用户行为的深度学习模型在目前的商业化场景中较少被涉及，实际表现也并不如预期当中的理想。并不是因为算法选择的问题，也并不是技术能力的问题，而是底层逻辑本身。

任何一种技术能够进行商用环节，都需要一个足够简单、直接的底层逻辑。这个底层逻辑是贴近真实世界的，贴近业务场景的，它的自洽能力决定了技术本身是否能够进入商业化场景。它也决定了这种技术是一种过渡技术还是一种应用技术。