1、算法是什么?我们为何需要算法?

互联网数据中心发布的《数据时代2025》报告显示,全球每年产生的数据将从2018年的33ZB(十万亿亿字节)增长到175ZB,相当于每天产生491EB(百亿亿字节)的数据。

在本质上,算法是“以数学方式或者计算机代码表达的意见”。其中,推荐系统就是一个信息过滤系统,帮助用户减少因浏览大量无效数据而造成的时间、精力浪费。

2、推荐技术发展历史上的关键事件有哪些?

“信息过载(Information Overload)”是在上个世纪80、90年代就已经存在的概念。随着信息技术和互联网的快速发展,人类从信息匮乏时代走向了信息过载时代。

《报告》研究指出,早期的研究提出了通过信息检索和过滤的方式来解决这个问题。

到了上世纪90年代中期,研究者开始通过预测用户对推荐的物品、内容或服务的评分,试图解决信息过载问题。推荐系统由此也作为独立研究领域出现了。

3、推荐系统有哪几个类型?

在《报告》看来,推荐系统发展至今,其核心技术可大致分为“基于协同过滤的推荐方法”、“基于内容的推荐方法”,以及“混合推荐方法”。

基于协同过滤的推荐方法,本质是根据相似的用户具有相似的喜好,推荐给他们喜欢的物品、内容或者服务。

基于内容的推荐方法:根据项的相关信息(描述信息、标签等)、用户相关信息及用户对项的操作行为(评论、收藏、点赞、观看、浏览、点击等),来构建推荐算法模型。

混合推荐方法:衡量各推荐方法的利弊,扬长避短,通过加权、切换、混杂、特征组合等方式避免或弥补各推荐技术弱点,进一步提升推荐方法性能。

4、什么是个性化推荐算法?

纵观推荐系统的发展历史,可将其大致分为非个性化推荐系统和个性化推荐系统。

其中,个性化推荐系统,就是为每一个特定用户提供特定的服务,实现“千人千面”,服务个性化诉求。

5、推荐算法,会导致信息窄化吗?

在外界的印象里,个性化推荐就像漏斗一样,会将推荐内容与用户相匹配,倾向于向用户推荐高度符合其偏好的内容,致使推荐的内容越来越窄化。

但与外界的固有认知相反,《报告》认为在行业实践中,互联网应用(特别是位于头部的大型平台)有追求算法多样性的内在动力。

在对行业内代表性应用的数据分析后,《报告》发现,阅读内容的类型数量是否够多、所阅读内容类型的分散程度是否够高,与用户是否能长期留存关联密切,呈正相关。上述两项指标对用户长期留存的作用,可以与信息的展现总量、用户的停留时长、用户阅读量等指标的影响相媲美。

推荐技术并不是单纯地“投其所好”。在一些专家看来,在推荐已知的用户感兴趣内容基础上,如果能深入激发、满足用户的潜在需求,那么算法就能更好地满足人对信息的多维度诉求。

6、算法如何服务人对安全的诉求?

在人工智能技术快速发展的今天,内容安全一直是公众关注的重点。

《报告》观察发现,当前很多内容创作与分发平台,从创立之初就将用户和内容安全视为最高优先级问题。

以今日头条为例,在内容安全技术方面采用了鉴黄模型、谩骂模型以及低俗模型等内容识别技术。抖音安全中心则自主研发反欺诈模型、风控策略,结合抖音产品功能、内容属性、用户行为特征,对欺诈行为进行主动拦截。

7、推荐技术如何服务人对公平的诉求?

《报告》认为,推荐系统中的“公平”是站在不同角度定义问题。

比如在招聘网站上,求职者方可能将公平定义为“相同的学历和能力可以被推荐类似的工作,而不受国籍、种族和性别等偏见”;对于招聘方,“公平”可能为“系统可以将他们的招聘信息推给优质的求职者,而不会因为公司的背景等因素,只将招聘信息推给不太合适的求职者”。

从关注的角度出发,《报告》认为公平性可分为“用户角度”、“物品角度”这两种公平性。

用户偏好放大是针对用户方(user)的公平性问题,体现为用户搜索了一样东西后,接下来一段时间的推荐都与该物品相关。流行度偏差,则通常是针对物品方(items)的公平性问题,体现为推荐系统更多推荐较为流行的物品,而不流行的物品有较少的机会被推荐或展示,造成推荐系统中的“马太效应”。

当前,学界对算法公平性的研究与探讨正不断深入。

麻省理工学院(MIT)在2021年发布的十大突破技术(10 Breakthrough Technologies)中指出,TikTok推荐算法能够使普通人发的内容有机会受到名人般的关注并流行起来,这是内容公平性的体现;而需求较为小众、细分的用户,也能看到符合自己兴趣的内容,则是用户角度公平性的体现。

成为VIP会员查看完整内容
43

相关内容

推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
对话推荐算法研究综述
专知会员服务
32+阅读 · 2022年4月4日
【干货书】《日常算法》,154页pdf
专知会员服务
55+阅读 · 2022年1月22日
中国数据要素市场发展报告(2020~2021),65页pdf
专知会员服务
140+阅读 · 2021年5月11日
专知会员服务
37+阅读 · 2021年5月7日
中国数字经济就业发展研究报告2021,43页pdf
专知会员服务
70+阅读 · 2021年3月27日
个性化推荐系统技术进展
专知会员服务
65+阅读 · 2020年8月15日
「对话推荐算法」最新2022研究综述
专知
5+阅读 · 2022年4月5日
对话推荐算法研究综述
机器学习与推荐算法
0+阅读 · 2021年11月26日
AAAI2021 | 基于图Transformer的多行为推荐算法
机器学习与推荐算法
4+阅读 · 2021年11月8日
推荐系统算法合集,满满都是干货(建议收藏)
七月在线实验室
17+阅读 · 2018年7月23日
【推荐系统】详解基于内容的推荐算法
产业智能官
23+阅读 · 2018年1月11日
【推荐系统】一文读懂推荐系统知识体系
产业智能官
41+阅读 · 2017年10月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
12+阅读 · 2021年6月29日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Arxiv
10+阅读 · 2018年4月19日
Arxiv
13+阅读 · 2018年4月6日
VIP会员
相关VIP内容
对话推荐算法研究综述
专知会员服务
32+阅读 · 2022年4月4日
【干货书】《日常算法》,154页pdf
专知会员服务
55+阅读 · 2022年1月22日
中国数据要素市场发展报告(2020~2021),65页pdf
专知会员服务
140+阅读 · 2021年5月11日
专知会员服务
37+阅读 · 2021年5月7日
中国数字经济就业发展研究报告2021,43页pdf
专知会员服务
70+阅读 · 2021年3月27日
个性化推荐系统技术进展
专知会员服务
65+阅读 · 2020年8月15日
相关资讯
「对话推荐算法」最新2022研究综述
专知
5+阅读 · 2022年4月5日
对话推荐算法研究综述
机器学习与推荐算法
0+阅读 · 2021年11月26日
AAAI2021 | 基于图Transformer的多行为推荐算法
机器学习与推荐算法
4+阅读 · 2021年11月8日
推荐系统算法合集,满满都是干货(建议收藏)
七月在线实验室
17+阅读 · 2018年7月23日
【推荐系统】详解基于内容的推荐算法
产业智能官
23+阅读 · 2018年1月11日
【推荐系统】一文读懂推荐系统知识体系
产业智能官
41+阅读 · 2017年10月31日
相关基金
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员