深入了解京东个性化推荐系统的演变历史
浏览:108 时间:2023-2-6

在电子商务领域,推荐价值是挖掘用户的潜在购买需求,缩短用户与商品的距离,增强用户的购物体验。

京东推荐的进化历史丰富多彩。 JD的推荐始于2012年,当时推荐的产品甚至基于规则匹配。整个推荐的产品系列组合就像一个松散的原始部落。部落和部落之前没有任何工程或算法交集。 2013年,中国大数据时代来临。一方面,如果事情没有触及大数据,那么它们似乎还不够。另一方面,京东的业务在今年发展迅速,传统的方式跟不上业务。开发后,推荐团队为此目的设计了一个新的推荐系统。

随着业务的快速发展和移动互联网的到来,多屏(京东App,京东PC商城,M站,微信Q等)互操作,推荐类型逐渐从传统产品推荐扩展到其他类型建议,例如活动。基于大数据和个性化推荐算法,个性化推荐业务需求相对较强,以达到向不同用户展示不同内容的效果。

为此,该团队于2015年底再次升级了推荐系统。在2016年618期间,个性化推荐亮相,尤其是团队创建的“智能商店”,实现了活动场地的个性化分配,不仅带来了GMV的显着改善,而且大大降低了人工成本,大大提高了交通效率和用户体验,实现了商家和用户的双赢。该产品赢得了集团2016年的优秀产品。为了更好地支持各种个性化的场景推荐服务,推荐系统经过迭代优化和升级,未来将朝着“所有屏幕智能推荐”的方向发展。 ”。

推荐产品

从购买意图,购买决策到最终订单的观点来看,推荐产品可以帮助用户在购物链接上的任何节点上做出某种程度的决定。

推荐的产品开发流程

推荐的产品开发过程经历了几个阶段(图1),从简单的关联推荐过程到个性化推荐,逐步过渡到场景智能推荐。从相关和类似的产品推荐过渡到多功能,多维,实时用户行为,以及与用户场景相结合的全面智能建议。

图1推荐的产品开发历史

多屏多种产品形式

多类型主要是指涵盖多种类型的推荐类型,如商品,活动,分类,优惠券,楼层,入口地图,文章,清单,商品等。在移动互联网时代,多屏幕场景非常普遍,在多个屏幕上集成用户信息可以使个性化推荐更加准确。多屏集成背后的技术是通过前端掩埋点,用户行为触发掩埋事件,以及通过点击流系统收集多屏幕行为信息。行为数据用于通过实时流计算平台计算用户的兴趣偏好,从而根据用户的兴趣偏好重新排序推荐结果,实现个性化推荐效果。京东多屏终端如图2所示。

图2京东多屏终端

推荐的系统架构

整体业务结构

推荐系统的目标是通过全方位的准确数据描绘用户的购买意图,推荐用户购买产品的意愿,为用户提供最佳体验,提高订单的转换率,并增强用户的粘性。推荐系统的业务架构如图3所示。

图3显示了系统的业务架构

系统结构。提供统一的HTTP推荐服务,为京东各终端的推荐服务提供服务。

模特服务。为了提高个性化效果,开发了一系列公共个性化服务。用户维度具有用户行为服务和用户纵向服务。产品维度具有产品纵向,区域维度具有单元格纵向,而要素维度具有要素服务。通过这些基本服务,个性化建议更简单,更精确。

机器学习。在算法模型的训练阶段,尝试了各种机器学习模型,结合离线评估和在线A/B,验证算法模型在不同场景下的效果,并提高推荐的转换率。

数据平台。数据是建议的来源,包括数据收集和数据计算。虽然数据是整体推荐架构的最低级别,但它非常重要,因为数据与推荐的健康发展和改进直接相关。

个性化推荐架构

在开始的早期,推荐的产品相对简单,每个推荐的产品都作为独立服务实施。新版推荐系统是一个系统项目,依赖于数据,架构,算法和人机交互的有机结合。新版推荐系统的目标是通过个性化数据挖掘,机器学习和其他技术将“千人一面”转变为“成千上万人”,以提高用户忠诚度和用户体验,改善用户购物决定。质量和效率;改善网站交叉销售能力,缩短用户购物路径,提高流量转换率(CVR)。新版推荐系统目前支持多种类型的个性化推荐,包括商品,商店,品牌,活动,优惠券,楼层等。新版个性化推荐系统架构如图4所示。

图4新版个性化推荐系统架构

个性化推荐系统架构中的不同颜色代表不同的业务处理场景:数据处理部分(最低级绿色模块),包括离线数据预处理,机器学习模型训练,在线实时行为访问,实时特征计算。推荐平台(蓝色模块)主要反映推荐系统的服务模块响应用户请求的交互关系。推荐的系统核心模块:

推荐网关。推荐服务的门户负责推荐请求的有效性检查,请求分发,在线调试以及汇编请求响应的结果。

调度引擎。负责根据策略调度和流量分配推荐服务,主要基于配置中心推荐产品的实验配置策略,支持用户拆分,随机卸载,按关键参数拆分。支持定制埋点,收集实时数据;支持应急预案功能,处理紧急情况,并在几秒钟内生效。

推荐发动机。负责推荐在线算法逻辑实现,包括召回,过滤,特征计算,排序,多样化等流程。

个性化的基本服务。目前,主要的个性化基本服务包括用户肖像,产品肖像,用户行为和预测服务。用户肖像包括用户的长期利益,短期利益和实时利益。利益主要包括性别,品牌偏好,品类偏好,购买力水平,自营偏好,大小颜色偏好,促销敏感度,家庭状况等。商品肖像主要包括产品词,修饰词,品牌词,质量点,价格等级,性别,年龄,标签等。用户行为主要获取用户的近期行为,包括用户的搜索,点击,关注,加入购买,下订单等。预测服务主要基于用户的历史行为,使用机器学习训练模型来调整召回候选集的权重。

功能服务平台。负责为个性化服务提供功能数据和功能计算。特色服务平台主要用于特征数据的有效声明和管理,实现特征资源的共享,并快速支持有效的声明,在线,测试和A /不同的功能。 B实验结果比较。

个性化技术(橙色模块),个性化主要通过特征和算法训练模型进行重新排序,以实现准确推荐。特征服务平台主要用于提供大量的多维特征信息。推荐的场景回放技术是指将用户的实时场景特征信息反馈到推荐的排名,并且在线学习(在线学习)和深度学习是个性化的大规模特征计算。服务。

个性化推荐系统的主要优点是支持多种推荐和多屏产品形式,支持算法模型A/B实验快速迭代,支持系统架构和算法解耦,支持存储资源解耦和推荐引擎计算,支持预测召回和推荐引擎计算的解耦支持定制埋点功能;支持推荐的功能数据服务平台,支持推荐的场景播放。

数据平台

京东拥有大量的用户和各种产品以及各种促销活动,可以根据用户在京东平台上的行为记录积累数据,如浏览,添加购物车,关注,搜索,购买,评论等行为数据,以及商品属性数据的积累,如品牌,类别,描述和价格,以及活动和材料等资源的积累。这些数据是大规模机器学习的基础,也是更准确的个性化建议的先决条件。

数据收集

用户行为数据收集过程一般与用户在京东平台(京东App,京东PC网站,微信Q)上的操作有关,这将触发埋点请求点击流系统(专用于收集行为数据的平台系统)。点击流系统收到请求后,进行实时消息传输(用于实时计算业务消耗)和本地日志(用于离线模型计算),并自动将行为日志提取到大数据平台中心。算法人员在数据集市中使用机器学习训练模型。这些算法模型应用于推荐服务,推荐服务协助用户做出决策,进一步影响用户的购物行为,并将购物行为数据发送到点击流,实现数据采集闭环。

离线计算

目前,离线计算平台所涉及的计算内容主要包括离线模型,离线特征,用户肖像,产品图像和用户行为。离线计算主要在Hadoop上运行MapReduce,有些是在Spark平台上计算的。计算结果通过公共衍生工具导入。库。该团队开发了插件衍生工具,以降低离线数据开发和维护的成本,同时考虑到各种服务,复杂类型和不同的存储类型。数据离线计算架构如图5所示。

图5数据离线计算架构

在线计算

目前,在线计算的范围主要包括用户的实时行为,实时用户图像,用户的实时反馈以及实时交互特征计算。在线计算基于业务需求,快速捕获用户兴趣和场景特征,以便实时反馈用户的推荐结果和排名,为用户提供个性化体验。在线计算实现消息主要源自Kafka集群的消息订阅和JMQ消息订阅。它通过Storm集群或Spark集群的实时消耗推送到Redis集群和HBase集群存储。数据在线计算框架如图6所示。

图6数据在线计算架构

关键技术

推荐系统涉及许多技术要点。考虑到有限的空间,这里我们关注个性化推荐的更重要部分。

推荐引擎

个性化推荐系统的核心是推荐引擎。推荐引擎的一般处理过程是回忆候选集,执行规则过滤,使用算法模型评分,模型融合排序,并推荐结果多样化显示。所使用的主要技术是机器学习模型,结合知识地图,挖掘商品之间的关系,根据用户场景,通过高维特征计算和大规模召回,大规模排序模型,个性化推荐,提高分类效果,给用户终极的购物体验。

推荐引擎处理逻辑主要包括分配任务,执行推荐器和合并召回结果。推荐者负责调用候选集,业务规则过滤,特征计算和排序。推荐引擎的技术架构如图7所示。

图7推荐的引擎技术架构

分配。根据建议的方案,根据召回源分割任务。关键是让分布式任务达到负载平衡。

推荐人。推荐引擎的核心执行组件以获取个性化推荐结果。推荐器的实现如图8所示。

图8推荐架构

召回阶段。通常根据用户肖像,用户偏好,地理位置等来调用候选集。如果新用户没有足够的召回资源,则冷启动服务将用于召回。

规则过滤阶段。过滤人工规则,多产品,子主码,邮递差价等。

特征计算阶段。结合用户的实时行为,用户肖像,知识地图和特征服务,计算召回候选集的特征向量。

分拣阶段。使用算法模型对召回候选集进行评分,并根据召回源和候选集的分数根据特定策略对候选集进行重新排序。

合并。考虑到某种多样性,多个推荐者返回的推荐结果将根据业务规则合并。例如,京东App Home的实施过程猜猜你喜欢“如图9所示,首先,根据用户肖像信息和用户近期行为及相关反馈信息,选择不同的召回方法来过滤业务规则;对于满足要求的候选产品集,提取用户特征,产品特征,用户和产品的交叉特征;该模型根据这些特征计算候选产品的得分;根据每个产品的得分对产品进行分类,丰富推荐理由,考虑用户体验,精细调整最终排名推荐结果,如多样性显示。

图9猜测你想实现流程图

用户肖像

京东大数据与其他制造商的区别在于JD具有最长的价值链和整个过程的数据积累。京东数据的特点非常全面。数据链接记录每个用户操作的每一步:从登录到搜索,浏览,选择产品,页面时间,评论阅读,是否关注促销,添加购物车,下订单,付款,交付方式,是否有售后和返工,记录整个用户的购物行为的完整数据。通过对这些用户行为和相关场景的分析,构建了京东用户的肖像,如图10所示。

不仅有用户的年龄,性别,购物习惯,而且还有大量基于购物行为的数据,例如他们是否已婚,是否有孩子,以及他们是否对促销很敏感。此外,实时用户肖像可以在几秒钟内分析用户的购买意图和实时兴趣偏好。京东推荐的用户图像技术系统如图11所示。

用户肖像用于京东各种终端的推荐产品。由618推出的智能商店是用户肖像的典型应用场景。智能商店产品包括寻找好货,个性化地板,钉鞋,活动,优惠券,类别,标签等。以峰值为例,根据当前用户的用户图像中的肖像模型(性别,年龄,促销敏感度,类别偏好,购买力)对推荐结果进行加权,以便对产品最感兴趣的用户是排名第一。

用户肖像也是场景推荐的核心基础。以东家小院为例,根据用户的历史行为,收集了大量的场景标签,并根据当前用户的肖像模型调整场景标签的顺序。如果用户选择“Care for All Diseases”标签,则将根据用户肖像中的性别,年龄,类别和促销敏感度等肖像模型来执行推荐项目的重新排序。

图10用户肖像示意图

图11京东推荐的用户肖像技术系统

特色服务平台

特征是属性的描述。该功能是个性化推荐的基础。常用功能分为单面特征和双边特征。单边特征是指对象本身的属性描述,例如产品的颜色;双边特征是指两个对象之间的交互程度的描述,例如用户在过去一小时中浏览的品牌与候选集中品牌的匹配程度。从该功能生成的场景中,它分为离线功能和实时功能。离线特征由算法模型预先生成,实时特征由实时计算生成。特征的质量直接影响推荐的效果,特征计算的性能以及个性化推荐的处理能力。此外,共享和多路复用功能可以提高算法的迭代速度,节省人工成本。

特色服务管理平台主要侧重于特征数据和特征计算,并有效地进行声明和管理,以实现特征资源的共享和重用。功能服务平台可以快速满足有效声明,在线,测试和不同功能的A/B实验比较的要求,使功能可维护,可识别,可验证。功能服务平台的主要功能如下:离线功能的自定义使用,在线功能的自定义使用,通过自定义功能生成新功能,部分功能,模型的在线声明,以及快速A/B具有不同的特征效果。功能服务平台体系结构如图12所示。

图12功能服务平台架构

场景功能播放技术

建议的一般处理逻辑是为每个请求调用一批项目,然后根据用户的行为数据和用户模型计算每个项目的特征。算法模型基于每个项目的特征计算每个项目的得分,并最终选择具有最高得分的项目以推荐给用户。

在线计算功能的行为是一次性的,不会被记录。因此,在离线训练模型时,如果要使用上述功能,则需要在离线计算机上再次计算这些功能。不幸的是,离线计算的特征通常与生产线上的特征不完全相同,这导致模型训练不佳。场景特征回放图如图13所示。推荐的服务调用推荐引擎。推荐引擎通过功能回放服务记录场景功能,并将它们推送到大数据平台。机器学习根据场景特征数据重新训练算法模型,从而影响推荐引擎。排序形成场景的闭环推荐,以实现更准确的个性化推荐。

图13场景特征播放示意图

场景特征回放技术架构如图14所示。场景特征回放技术实现如下。在线功能通常是一系列值。我们根据某些规则将这些功能组合成一个字符串,然后使用HTTP POST方法将这些功能异步发送到服务器。

图14场景特征回放技术架构

服务器使用Openresty接收这些HTTP请求,并将HTTP请求中的功能数据置于本地磁盘文件中。 Openresty是一款高性能Web服务器,可以承受高QPS并具有高稳定性。它的两个特点保证了服务的稳定性。

数据提取系统将服务器群集磁盘上的数据提取到临时存储库。

数据提取系统压缩并过滤数据,然后将其推送到Hive表。不同类型的请求放在不同的分区中,使算法工程师更容易使用这些数据。

个性化推荐系统是一个系统工程,它依靠产品,数据,架构,算法,人机交互等来推荐场景。本节重点介绍JD从这些维度推出的个性化推荐系统。随着业务发展和社交生活方式的变化,推荐系统不断升级,并经历了从PC时代到移动互联网时代的转变,从相关推荐到个性化推荐,从纯产品推荐到多种推荐。个性化推荐系统已经成千上万的人。确实,个性化的影响也需要改进,体验类别中的一些问题正在逐步改善。目前正在进行或需要改进的方面包括:广泛的算法知识图和深度学习的广泛应用;推荐系统将更好地支持大规模召回,高维特征计算,在线学习以及更实时和更准确的产品的建议;要“所有屏幕都是智能推荐”的方向。最后,我希望个性化的推荐系统能让购物更轻松,更人性化,更丰富,更好。

端。

作者:渔夫

资料来源:http://www.36dsj.com/archives/104981

本文来自大家都是产品经理合作媒体@36大数据

该地图来自unsplash,基于CC0协议