【业界实战】小米大数据总监司马云瑞详解小米用户画像的演进及应用解读(附报告pdf下载)

点击上方“专知”关注获取专业AI知识!

【导读】2017年 11月4日,大数据系统与应用研讨会在中科院计算所举行。会议邀请了中科院计算所程学旗老师和其他来自联想、京东、美团点评、小米等一线互联网公司大数据领域的专家,通过主题演讲,分享并深度探讨了大数据技术在业界一线的最佳实践和创新应用。


小米大数据总监司马云瑞为大会带来了题为《小米用户画像的演进及应用》的分享报告,循序渐进地分享了小米用户画像系统的建设和应用。小米公司经过7年的发展,积累了海量的日志和用户行为数据。基于全生态、多维度的数据资产,构建了丰富的用户画像体系,在业务运营、广告、互联网金融、新零售等各个领域发挥了重要作用。此次报告内容由小米数据产品小糖,小米攻城狮小秋整理出品。 此外,请查看本文末尾,可下载最新小米用户画像 slide。


什么是用户画像?——


简而言之,用户画像是根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。构建用户画像的核心工作即是给用户贴“标签”,而标签是通过对用户信息分析而来的高度精炼的特征标识。


用户画像(UserProfile),完美地抽象出一个用户的信息全貌,可以看作企业应用大数据的根基。


如果你经常购买一些玩偶玩具,那么电商网站即可根据玩具购买的情况替你打上标签“有孩子”,甚至还可以判断出你孩子大概的年龄,贴上“有5-10岁的孩子”这样更为具体的标签,而这些所有给你贴的标签统在一次,就成了你的用户画像,因此,也可以说用户画像就是判断一个人是什么样的人。



以下是司马云瑞精彩的报告实录。


小米用户画像的演进及应用

小米大数据团队在公司内部主要承担三项职能:


  • 一是数据平台,基于公司海量数据构建数据仓库,提供OLAP(Online Analytical Processing),BI(Business Intelligence)等平台能力,支持业务部门数据需求;

  • 二是数据建设,其中最重要的是用户画像的建设,帮助多维度的描绘用户,实现精细化运营;

  • 三是数据驱动业务增长,也即数据应用,通过数据发现业务痛点,解决行业难题,颠覆行业模式。


司马云瑞主要分享了用户画像,及其如何应用,驱动业务增长,产生价值。



数据建设,其中最重要的是用户画像的建设




首先是小米的数据来源

 

小米不仅是一家为人熟知的手机公司,小米还拥有丰富的智能硬件产品,小米电视、小米路由及众多生态链产品。除了在硬件上的广布局,小米还具备成熟的互联网业务,如云服务、互娱、小米金融、商业广告等。同时小米自带电商属性,有小米商城、全网电商、小米之家等线上线下渠道。




因此,小米有着琳琅满目的产品矩阵,小米的用户数据来自全生态,具备多样性。




小米生态链有丰富的产品线,如空气净化器,净水器,小米手环等,还有大热的“小爱同学”,一款改变中国智能音箱格局的产品




该页右边展示了2016年4月小米内部云的数据统计情况,如每天新增850亿条的数据记录,2.3万个计算作业,当时数据规模为10PB等, 左侧由于隐私问题暂时保密,但可预见照片、视频需要的存储量是巨大的。





可以看到,小米日活过千万的APP就有21个,浏览器的日均搜索量超过1亿次,小米电视、语音助手等每日语音输出高达300万次,拥有这些丰富的全生态用户数据,小米在自然语言处理、语音模型等方面具有天然优势,这些数据的优势,也是小米AI的优势。





用户画像1.0——基于统计的用户标签



据司马云瑞介绍,小米大数据已经对接、服务了64个公司内部的业务组,主要通过两种方式:


1、建设公司基础、重要的数据点,构建数据工场,收拢数据,并在此基础上构建用户画像。小米的用户画像包含人口属性、兴趣标签、时空大数据等,业务可以直接使用;

2、构建数据应用团队,与业务方一起用数据解决业务难题,例如帮助新零售解决智能选址、供应链优化的问题,帮金融解决风控、反欺诈、征信问题,帮公司内部各个业务解决运营问题等。



小米大数据团队的使命是:“融汇全景数据,赋能核心业务”,从数据的收集,处理,画像的构建,到帮助业务提高,都是在践行这一口号。这样避免了数据孤岛,也实现了业务数据的互联互通。




这是小米用户画像的雏形,包含基础用户属性,如年龄性别、学历职业、地域语言、账号真实性、米粉指数以及兴趣属性等等。利用多维度数据的优势来描绘用户的属性,比如通过用户在多看阅读的历史记录,可以判断用户的阅读兴趣。

 

据介绍,用户画像1.0主要基于两项基本的技术:预测和统计规则


某些事实属性小米有Label,于是直接采用机器学习的方法,结合用户的行为数据预测,例如性别年龄。


此外,大部分属性标签则基于统计规则生成,例如用户喜欢打游戏,或者经常飞行出差,小米大数据团队会通过一些规则统计用户的行为,并为这些用户打上竞技游戏、商务差旅等标签。



这里是用户性别属性的生成流程,是有监督学习。


这里以性别预测为例,一方面,小米有大量的帐号/手环/支付/VIP数据,这些数据都有用户的性别,可以作为训练样本。另一方面,小米有大量的用户行为数据,包含APP/浏览器/购物等数据,利用这些数据作为特征,可以训练性别模型。

 

针对不同的需求,例如追求准确率或者召回率,团队生成了不同的数据版本。模型本身也经过了多轮迭代,从最初的逻辑回归,到XGBoost,到现在的DNN.还以性别预测为例,随着数据积累的越来越多,预测效果也越来越好。而且随着数据的增多,一些DNN模型也得以利用,这也使得预测效果越来越好。

 

用户画像还可以直接为业务运营提供分析能力。


这里是梁振伦的粉丝群体与大盘用户相比,差异化使用的APP云图。


小米从诞生之日起就一直在跟黄牛斗智斗勇,我们基于用户的行为数据,帮助小米网预判用户是否可信,最终大幅降低黄牛比例。


小米大数据还帮助金融团队建立风险模型,预判信贷用户的违约风险,当前小米信贷业务的逾期率显著低于业界风险水平。


具体做法是从用户的历史行为数据和关系数据中,挖掘用户标签,用户社交属性,作为特征加入到模型中去。




用户画像2.0——基于行为的事实标签



服务业务的过程中,数据团队逐渐发现,画像1.0并不能解决所有的问题。






通用的兴趣标签不能满足精细化运营的需要,业务需要更精准的定制画像。






用户画像2.0旨在通过四种方法解决标签不够精细、定制化的问题


  1. 支持直接基于用户行为数据,复杂组合逻辑的人群提取,方便业务同学自助灵活创建运营客群;

  2. 支持基于路径分析和序列挖掘的画像分析,帮助业务深入洞察用户;

  3. 定义统一的数据格式,支持业务资助扩充和接入自建的更精细的画像;

  4. 升级基于算法的智能人群拓展能力,集成业务画像数据生成特征,满足个性化的人群拓展需求。





基于事实行为产生的标签效果显著,帮助部分业务实现了230%到431%的ROI提升。





基于用户的行为数据,数据团队结合业务的实际需求,构建了百万标签库、路径分析、意图预测等能力。


路径分析使用频繁序列挖掘/基于统计的监督序列挖掘等技术对用户做分类;意图预测基于用户的历史行为和当前的环境信息,预测用户下一个可能的行为。






画像2.0还支持智能扩展人群,实现了标签定向(冷启动)到反馈定向(收集用户反馈数据迭代优化模型)的闭环,在部分业务实现了200%~300%的CTR提升。



用户画像2.1——用户画像与业务深度结合的外延探索




司马云瑞还介绍了用户画像与业务深度结合的外延探索。





小米在新零售的布局做了很多工作,从小米网的运营效率,到线下的小米之家,画像从数据应用上提供了许多支持,新零售之于大数据,司马云瑞认为可以总结成两句话:“线上线下数据融合,追求极致效率”,不管是风控,运营,还是供应链效率,都是新零售追求的目标。

 

除了线上的数据,小米还有许多线下数据,例如出库,销售,POI点等,这些数据的汇聚提供了一个很大的想象空间,例如滞销分析、竞品动态、区域画像。







举个例子,通过这个平台,用户可以了解到北京空气净化器卖得比较好,甚至更细致的,某个村子的小米用户画像特点。



基于用户的行为,小米大数据还在探索一款手机虚拟助手,基于场景或者规则预知用户的下一个行为,从而为用户提供非常贴心的服务。例如用户可以设置到家的时候,如果空气比较差,就打开空气净化器。


使用的是业内前沿的APP2VEC来做的,这样做有几个好处,特征维度从50万降到了200维,同时从实验结果看,APP2VEC可以替代大量的人工特征工程成本。

 





作为行为预测的一个案例,我们首先做了app打开预测,即预测用户下一个将要打开的app


首先基于所有用户打开app的序列数据,在云端训练一个模型预测下一个打开的app,将模型下发到手机客户端,客户端基于云端的模型和自己的app使用序列finetune用户自己的模型,这样可以更好的预测用户下一个将要打开哪个app。






此外,用户的行为序列可以预测用户接下来要打开的5个应用,基于这个优化手机使用体验,以及实现更多场景的行为预测。


结合小米大量的行为数据和app2vec的技术,我们正在尝试把所有的action都转换成向量的形式,再借助LSTM-Attention技术,同时融合场景信息(如当前正在餐馆就餐)和个人标签(如用户兴趣)来预测用户下一个行为。




最后,司马云瑞老师组里面招聘人手,机会难得,感兴趣的人可以联系^^



特别提示-此次报告slide下载:


请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“UP”或者“用户画像” 就可以获取司马云瑞此次报告pdf下载链接~~


欢迎转发到你的微信群和朋友圈,分享专业AI知识!



请登录专知,获取更多用户画像知识资料请PC登录www.zhuanzhi.ai或者点击阅读原文注册登录,顶端搜索“用户画像” 主题,查看获得对应主题专知荟萃全集知识等资料!如下图所示~



更多专知荟萃知识资料全集获取(关注本公众号-专知,获取下载链接),请查看:

【专知荟萃01】深度学习知识资料大全集(入门/进阶/论文/代码/数据/综述/领域专家等)(附pdf下载)

【专知荟萃02】自然语言处理NLP知识资料大全集(入门/进阶/论文/Toolkit/数据/综述/专家等)(附pdf下载)

【专知荟萃03】知识图谱KG知识资料全集(入门/进阶/论文/代码/数据/综述/专家等)(附pdf下载)

【专知荟萃04】自动问答QA知识资料全集(入门/进阶/论文/代码/数据/综述/专家等)(附pdf下载)

【专知荟萃05】聊天机器人Chatbot知识资料全集(入门/进阶/论文/软件/数据/专家等)(附pdf下载)

【专知荟萃06】计算机视觉CV知识资料大全集(入门/进阶/论文/课程/会议/专家等)(附pdf下载)

【专知荟萃07】自动文摘AS知识资料全集(入门/进阶/代码/数据/专家等)(附pdf下载)

【专知荟萃08】图像描述生成Image Caption知识资料全集(入门/进阶/论文/综述/视频/专家等)

【专知荟萃09】目标检测知识资料全集(入门/进阶/论文/综述/视频/代码等)

【专知荟萃10】推荐系统RS知识资料全集(入门/进阶/论文/综述/视频/代码等)

【专知荟萃11】GAN生成式对抗网络知识资料全集(理论/报告/教程/综述/代码等)


请扫描小助手,加入专知人工智能群,交流分享~


获取更多关于机器学习以及人工智能知识资料,请访问www.zhuanzhi.ai,  或者点击阅读原文,即可得到!


-END-

欢迎使用专知

专知,一个新的认知方式!目前聚焦在人工智能领域为AI从业者提供专业可信的知识分发服务, 包括主题定制、主题链路、搜索发现等服务,帮你又好又快找到所需知识。


使用方法>>访问www.zhuanzhi.ai, 或点击文章下方“阅读原文”即可访问专知


中国科学院自动化研究所专知团队

@2017 专知


专 · 知



关注我们的公众号,获取最新关于专知以及人工智能的资讯、技术、算法、深度干货等内容。扫一扫下方关注我们的微信公众号。

点击“阅读原文”,使用专知


展开全文
Top
微信扫码咨询专知VIP会员