当我们知道了影响推荐系统的效果的因素,那么我们该用何种思维来面对系统效果的评估和优化呢?
1.不确定性思维
首先我们要具备的是不确定性思维。
推荐系统与大部分AI系统一样,提供的都是概率性算法,都是提供更高概率的用户满意的推荐结果,这与传统的软件有本质区别。大多数传统软件的目标是给用户提供一套稳定的、符合具体功能预期的工具。
例如CRM系统,用户在选择时的要求很简单,就是看功能是否满足需求,看软件是否易用、是否稳定,至于使用CRM系统后的销售额能提升多少,那跟这套系统基本没有什么关系。
例如RPA系统,机器人就是根据固定的规则完成指定性的工作,工作的结果只有成功与未成功两种,反馈给用户或使用者的都是确定性结果。
推荐系统不仅是内容分发的通道,更是提高分发效率的工具,从指标提升的结果上看,分发效率提升多少是不确定的。因为其千人千面的特性,测试、运营人员很难检测所有用户的推荐结果,也不能复现每个用户的操作过程,更不能保证单个用户对推荐结果是否满意,所以推荐结果满意度也是不确定的。
在推荐结果与效果不确定的前提下,就需要一个确定的目标来衡量推荐效果、引导推荐结果,因此需要我们具备目标性思维。
2.目标性思维
所谓目标性思维即我们做的所有工作都是围绕着目标进行的,其背后隐含的逻辑是所有的工作成果都是可以被量化的。既然推荐结果存在不确定性,那么用“推荐结果很准”“推荐结果质量很高”这样比较玄学、比较虚无的概念是无法判断推荐系统的工作状态的。
因此,我们可以在每个业务场景上设置一个较为合理的目标,把UI、UE、数据、算法、推荐策略等这些关键因素与业务场景的数据指标看作一个函数关系,这些关键因素是这个函数关系的自变量,而我们不断地调整、优化这些自变量使函数的输出值即业务场景数据指标达到我们确定的合理的目标。
当我们具备目标性思维时,所有跟推荐系统相关的动作均现出了原形,无论多么主观地强调现有推荐工作是多么的完善、多么的强大,我们只看最终的结果是否达到了目标,所以目标性思维即比较朴素的“黑猫白猫,能抓到老鼠就是好猫”的结果导向性思维。
因此,笔者在服务很多客户的过程中,当客户提出“为什么会推荐这种内容给我”“你们推荐的结果是否准确”“你们的推荐系统能提升多少数据”这类问题时,我只能告诉客户的是,我们也无法确定为什么你会看到这种内容,无法确定所有用户会看到什么内容,更无法确定应用到你的业务场景会提升多少指标,我们建议制订一个合理的指标点,在有限的推荐系统试用周期内,通过算法策略调整、运营经验干预等优化方式与运营人员通力合作,一起来努力让数据指标有上升性趋势的增长,用目标的确定来应对推荐结果的不确定。
当然,推荐结果有时会出现明显的不合乎情理、不符合常识的情况,艾克斯通过追踪用户的所有用户行为、推荐结果及推荐原因的方式,将推荐结果“白盒化”并展示在独立的管理后台,虽然无法做到统计学意义上的推荐结果的可解释性,但至少可以追踪单个用户。因此,我们可以通过随机抽样的方式,通过对用户行为结果及原因地追踪,分析样本结果的合理性,从而尽可能的从概率上提高整体用户的推荐效果。同时,结合管理后台的相应数据指标,如黏性、CTR等,用明确的数据指标驱动推荐业务工作。