在电商场景中，我们制定指标考核标准，要结合具体的使用场景具体问题具体制定。不同电商场景的用户需求、习惯不同，需要用不同的指标反映推荐所带来的商业价值。例如：to B电商场景是典型的“专业的人传递专业信息给专业的用户”信息传递方式。来到to B平台的都是具备强需求的用户，不会有太多的像C端平台用户“逛来逛去”、不知道自己需求是什么的操作路径。因此用户在平台的使用需求是越快、越少路径找到合适商品，并完成询单/下单，所以询单/下单转化率的好坏直接反应了推荐效果的好坏，也直接影响了平台的商业价值。

而售卖保险产品的保险电商场景则与to B场景有很大的不同。一般来说，除了经过专业培训的保险经纪人以外，很少有人能清晰地知道每个险种的作用，况且每家公司的保险产品各有不同，即使是同样的险种也会有不同产品可以选择，而用户对这些信息几乎又是一无所知的。保险电商场景属于“专业的人传递专业的信息至不专业的人”，用户在保险平台的操作路径更多是反复地比较选择，因此推荐的主要作用是帮助用户尽可能的了解清楚某类险种的情况，而后才是下单。在此场景，判断推荐好与坏的标准是：用户的平均行为数而非订单转化率。测试指标为了尽可能的客观，通常的方式是设立实验组和对照组，通过流量分配的方式进行ABTest获得对比数据。下面举几个场景的例子供大家参考：

1.首页猜你喜欢（信息流商品）版块。首页是用户流量最大的版块，也是用户订单转化路径最短版块，规避了AB Test过程中，不同用户的不同浏览路径，因此在此版块使用订单转化率作为考核指标相对比较合适。有很多朋友在此版块往往倾向使用CTR作为考核标准，但CTR统计无法反映用户的真实兴趣度。举例：每次取10条商品的情况下，一个用户取了2次结果，点了2个商品，CTR为10%；一个用户取了5次，点了4个商品，CTR为8%。显而易见的是，用户点了4个商品的情况会产生更大的商业价值，但反映在CTR指标上却少于前者。CTR指标隐含的假设条件是：每个用户的翻页数量是相同的、一定的。而这在真实的业务场景下不会发生。推荐系统的另一个重要作用就是不断地吸引用户看更多商品，留住用户的停留时间。翻页数不仅不应当作为限定条件，更要成为提升的作用之一。因此，在猜你喜欢（信息流商品）场景下CTR无法反映推荐系统的实际能力，过度重视这个指标会对业务优化方向产生偏差。

2.商品详情页版块。商品详情页推荐位多数情况下不存在翻页、刷新的情况，推荐的商品符合用户的期待，那么用户就会产生更多的点击行为，反之亦然，此种情况下推荐商品的数量是恒定的，因此适合使用CTR作为统计指标衡量推荐效果的好坏。

3.活动专区推荐。活动专区推荐与商品详情页推荐有相似之处，虽然下滑刷新会使活动专区商品发生变化，但用户操作路径是在具体活动页面里去寻找不同分类的商品，而不是频繁下滑刷新。因此，活动推荐商品的数量会保持相对的稳定，所以此处也适用CTR作为统计指标衡量推荐效果的好坏。

在很多情况下，运营人员无法对具体版块的统计指标统计得这么详细。我见过很多朋友，整体平台上线后还远没有实现如此精细化运营的需要和能力，往往都只能统计几个比较常规的数字，如UV、PV、转化率等。那么在这种情况下我们可以控制某场景上线推荐作为平台内唯一的变量，进行综合的数据统计对比。例如：在猜你喜欢的版块上线了推荐，其他任何地方都没有上线推荐，那么上线推荐就是这个平台的唯一变量，然后观察整体平台的数据是否产生变化。

综合的推荐数据无法反映具体指标的变化，因此建议将推荐用户平均黏性指标作为效果验证评估标准，推荐用户平均黏性=推荐用户行为量/推荐用户。用户行为为点击、收藏、加购、立即下单、分享等自定义的可以反映用户兴趣度的行为。在推荐用户数恒定的情况下，推荐用户行为数（点击、加购、立即下单、收藏等）越多对用户的兴趣描述越完整，概率反映也就更完整。