快手短视频打造高稳定千亿级别对象存储平台

2019 年 1 月 4 日 QCon


作者介绍:赵健博,快手大数据架构团队的负责人,负责快手公司内Hadoop生态中存储、调度、计算、AI架构等子系统内核与周边子系统的研发,与在公司内的应用。先后就职于百度、奇虎360、58集团,快手。大数据领域专家,2009年毕业于中国科学院计算所,主要研究领域包括分布式计算、调度与存储系统等。


快手每天都有海量的视频数据上传存储,到目前为止所有的视频以及衍生数据总量更是数量庞大,且视频本身有大有小,如何存储这些数据将是一个颇具挑战性的问题。本次演讲介绍一种可以快速构建海量短视频存储的服务的方案、我们在实践中遇到的问题以及解决方案,例如我们是怎么解决高可用、高扩展性、高性能等问题的。 

主要内容:

  1. 在线短视频存储服务系统的要求;

  2. 在线短视频存储服务系统的架构与实现细节;

  3. 实践中遇到的问题与解决方案;

  4. 未来规划。

听众受益:

  1. 掌握如何快速构建一个海量对象存储服务;

  2. 了解到海量分布式存储服务可能会遇到的一些问题,如可用性、扩展性、性能问题,并针对这些问题提供一种解决方案。


演讲视频




幻灯片



在QCon公众号后台回复“0104”

即可下载完整幻灯片




以上就是 赵健博 老师在 QCon 上海 2018 的精彩分享,更多架构话题探索请持续关注新一届的 QCon 大会。

目前大会 7 折报名中,立减 2640 元。点击 阅读原文识别二维码了解 QCon 十周年的精心策划。有任何问题欢迎联系票务小姐姐 Ring:电话 010-53935761,微信 qcon-0410。



登录查看更多
17

相关内容

FPGA加速系统开发工具设计:综述与实践
专知会员服务
62+阅读 · 2020年6月24日
商业数据分析,39页ppt
专知会员服务
157+阅读 · 2020年6月2日
大数据安全技术研究进展
专知会员服务
90+阅读 · 2020年5月2日
零样本图像识别综述论文
专知会员服务
56+阅读 · 2020年4月4日
【2020新书】Kafka实战:Kafka in Action,209页pdf
专知会员服务
65+阅读 · 2020年3月9日
阿里巴巴全球化架构设计挑战
InfoQ
35+阅读 · 2019年11月25日
5G时代:北京移动业务支撑系统 DevOps 实践
DevOps时代
15+阅读 · 2019年6月13日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
爱奇艺视频人物识别技术及应用
QCon
7+阅读 · 2019年4月8日
半监督学习加速AI产业数据标注
QCon
12+阅读 · 2019年4月2日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
7+阅读 · 2018年11月27日
Rapid Customization for Event Extraction
Arxiv
7+阅读 · 2018年9月20日
Arxiv
6+阅读 · 2018年2月7日
Arxiv
20+阅读 · 2018年1月17日
Arxiv
11+阅读 · 2018年1月11日
Arxiv
3+阅读 · 2012年11月20日
VIP会员
相关资讯
阿里巴巴全球化架构设计挑战
InfoQ
35+阅读 · 2019年11月25日
5G时代:北京移动业务支撑系统 DevOps 实践
DevOps时代
15+阅读 · 2019年6月13日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
爱奇艺视频人物识别技术及应用
QCon
7+阅读 · 2019年4月8日
半监督学习加速AI产业数据标注
QCon
12+阅读 · 2019年4月2日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
相关论文
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
7+阅读 · 2018年11月27日
Rapid Customization for Event Extraction
Arxiv
7+阅读 · 2018年9月20日
Arxiv
6+阅读 · 2018年2月7日
Arxiv
20+阅读 · 2018年1月17日
Arxiv
11+阅读 · 2018年1月11日
Arxiv
3+阅读 · 2012年11月20日
Top
微信扫码咨询专知VIP会员