工业级推荐系统和学术研究中的推荐系统最大的一个区别,也是最容易忽视的一个区别在于,前者往往是某个产品中的一个环节,甚至有时候是一个很小的环节。一个产品往往有很多环节,而这些环节构成了一个复杂的生态系统。更进一步来说,某个公司之间的多个产品可以进一步构成更加高级的复杂生态系统。所以,理解工业级推荐系统就必须把推荐系统放回其所在的整体生态系统来进行审视和研究。

传统学术研究中的推荐系统往往基于一个虚构的理想环境。那就是有一个物品的候选池(可以是新闻、电影、或者是商品等),而用户针对这个侯选池中的物品进行逐一评分,分数由低到高,可以是五分制,也可以是两分制,表达喜好程度。推荐系统的任务被抽象成为对用户评分(Rating)信息的预测或者是估计。一个完美的推荐系统就是毫无偏差得对所有的用户评分进行还原和预测。熟悉的读者可以发现,这个理想环境其实就是对推荐系统研究有着巨大推动作用的——Netflix大奖赛中任务场景更加抽象的一个版本。的确,把推荐系统抽象成用户评分信息预估极大得简化了推荐系统在实际产品中的作用,为十多年来推荐系统研究的蓬勃发展带来了有力的支持。一个更加抽象的任务描述则把评分预估看成是不完全信息的“矩阵完成”(Matrix Completion)。也就是说评分预估可以看做是一个以用户为行物品为列的矩阵中有一些信息不完整。我们只有某一些单元中有数值,代表已经打过分的用户与物品的的交互。剩下有大量的单元需要来补全信息。这种“矩阵完成”的任务描述则更进一步得把推荐系统的任务变成了数学中的代数问题。

实际上,研究人员和实践工作者很快意识到了把推荐系统研究如此简化带来的一个直接问题,那就是推荐系统性能的提高,或者说是对用户评分预测的精准与否,与我们期望推荐系统所承载的功能有不小的偏差。早在Netflix大奖赛之后,Netflix官方工程博客就阐述了为什么团队最终没有采纳获奖的算法在产品中,并且因为种种原因,包括隐私和法律风险,Netflix最终放弃了举行第二届大奖赛的想法。对于Netflix这个产品群来说,真正的产品需求是希望用户能够喜欢其服务所带来的电影电视以及广泛的节目,从而让用户能够选择订阅Netflix服务,或者持续订阅。也就是说,Netflix所有产品,包括上面林林种种的搜索推荐功能都是为这同一目的而服务的。单一模块的好坏甚至是某个模块上面用户对于某一个节目的评分可能与这个用户是否选择继续订阅Netflix没有明显的联系。

这种推荐模块仅仅是一个更大产品中的一个环节,并且更大产品的目标和推荐系统的目标完全不一样的情况不仅仅局限于Netflix。例如电商Amazon,虽然网站上有各种不同的页面和模块,但归结起来,总的目的还是希望能够吸引用户购买商品。例如专注构建职业社交圈的LinkedIn,网站上有丰富的各种模块和服务,但归根结底,LinkedIn是希望用户最终能够订阅其中的一些服务或者是成为其广告的点击者,为其服务产生商业价值。例如在线音乐和广播节目服务商Spotify的最终目的是吸引用户持续订阅其服务。因此,Spotify上的种种栏目和推荐模块都是为这一共同的目标而服务的。

把单一推荐模块,和其他的模块页面放一起,都看做是达成产品最终目标的统一生态系统中的一个元素,是理解和开发工业级推荐系统的重要前提。

对于多页面多模块的生态系统而言,有这么两个重要的挑战。第一,产品的最终目的往往和某一个模块的成功有着复杂的关系,并没有完全线性的相互联系。换句话说,即便衡量大多数甚至每一个模块的指标有了正向或者负向的变化,整个产品的最终目标并不一定会有相同方向的变化。例如,对于Netflix来说,某一个模块的点击率的变化,可能对每一个月的订阅人数的变化并不起决定性的作用。第二,理解多个模块之间的关系变得很困难。例如,Amazon商品页面上的多个模块,按理说,其目的是为了吸引用户更加了解当前产品并且进行购买,但是如果一个模块展示了其他更加有吸引力的产品,用户可能会从当前页面跳转到其他页面去。更加复杂的场景包括用户可能因为看了过多的产品后举棋不定,从而不准备在当下进行购买。于是,商品页面上的某一个模块虽然可能有了更多的点击,但是其他模块可能会受到影响,点击下降,达到某种“此消彼长”的态势。

总而言之,把推荐系统放到整个生态系统中进行思考并且理解多个模块之间的关系是工业级推荐系统的重要挑战。

成为VIP会员查看完整内容
0
24

相关内容

推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

不确定性的概念在机器学习中是非常重要的,并且构成了现代机器学习方法论的一个关键元素。近年来,由于机器学习与实际应用的相关性越来越大,它的重要性也越来越大,其中许多应用都伴随着安全要求。在这方面,机器学习学者们发现了新的问题和挑战,需要新的方法发展。事实上,长期以来,不确定性几乎被视为标准概率和概率预测的同义词,而最近的研究已经超越了传统的方法,也利用了更一般的形式主义和不确定性计算。例如,不确定性的不同来源和类型之间的区别,例如任意不确定性和认知不确定性,在许多机器学习应用中被证明是有用的。讲习班将特别注意这方面的最新发展。

综述论文:

不确定性的概念在机器学习中是非常重要的,并且构成了机器学习方法的一个关键元素。按照统计传统,不确定性长期以来几乎被视为标准概率和概率预测的同义词。然而,由于机器学习与实际应用和安全要求等相关问题的相关性稳步上升,机器学习学者最近发现了新的问题和挑战,而这些问题可能需要新的方法发展。特别地,这包括区分(至少)两种不同类型的不确定性的重要性,通常被称为任意的和认知的。在这篇论文中,我们提供了机器学习中的不确定性主题的介绍,以及到目前为止在处理一般不确定性方面的尝试的概述,并特别将这种区别形式化。

https://www.zhuanzhi.ai/paper/8329095368761f81a7849fe5457949ed

成为VIP会员查看完整内容
0
26
小贴士
相关资讯
“推荐系统”加上“图神经网络”
机器学习与推荐算法
6+阅读 · 3月23日
推荐系统中的矩阵分解技术
AINLP
6+阅读 · 2018年12月24日
【推荐系统】搜狐个性化视频推荐架构设计和实践
产业智能官
8+阅读 · 2017年12月26日
推荐系统经典技术:矩阵分解
LibRec智能推荐
5+阅读 · 2017年10月10日
干货 | KDD2017现场:中国论坛直击(讲座完整PPT)
大数据文摘
3+阅读 · 2017年8月16日
推荐系统老司机的十条经验
ResysChina
15+阅读 · 2016年11月16日
相关论文
Ke Sun,Zhanxing Zhu,Zhouchen Lin
5+阅读 · 2019年2月28日
Residual Policy Learning
Tom Silver,Kelsey Allen,Josh Tenenbaum,Leslie Kaelbling
3+阅读 · 2018年12月15日
Yao Ma,Ziyi Guo,Zhaochun Ren,Eric Zhao,Jiliang Tang,Dawei Yin
9+阅读 · 2018年10月24日
Shauli Ravfogel,Francis M. Tyers,Yoav Goldberg
3+阅读 · 2018年9月11日
Next Item Recommendation with Self-Attention
Shuai Zhang,Yi Tay,Lina Yao,Aixin Sun
4+阅读 · 2018年8月25日
Alexander Jung
6+阅读 · 2018年8月19日
Tong Qin,Ling Zhou,Dongbin Xiu
3+阅读 · 2018年8月17日
Wenbin Li,Jing Huo,Yinghuan Shi,Yang Gao,Lei Wang,Jiebo Luo
7+阅读 · 2018年5月15日
Yi Tay,Anh Tuan Luu,Siu Cheung Hui
5+阅读 · 2018年1月7日
Top