三、用户调查

即调查一些真实用户的用户行为及其反馈,得到用户体验智能推荐的主观性感受,用户调查可以从两个维度进行:

1.抽检用户的用户行为及推荐结果,运营人员主观判断效果;

2.依赖真实用户的问卷反馈。

维度1涉及推荐系统的无法测试效果的问题,测试人员本身数量有限,且因为“千人千面”,测试人员无法通过自己的测试结果而得知其他用户的推荐结果及其使用体验,因此在艾克斯推荐系统上,艾克斯开放了查看所有用户行为、查看所有物料,查看所有用户推荐结果及推荐原因的功能,测试人员通过抽检的方式得到有统计意义的推荐效果判断。

综上所述,在商业场景智能推荐评测中,主要以AB Test作为主要的测试方式,以用户黏性、推荐结果满意度等指标结合所在业务场景和业务目标制定合理的指标考核方式,并综合用户调查的结果与数据走向,进一步提出推荐优化方案。推荐系统的优化是一个伴随着各业务场景不断AB Test寻找最优方案的螺旋式上升的过程,在此过程中,平台的运营人员应凭借自己的经验发挥主观能动性,主动从业务层面提出满足用户需求的推荐策略,使推荐系统的评测与优化不仅着眼于技术层面,而更多的落地在业务场景,实现业务目标的最大化。