项目名称: 大规模概率数据的管理与查询优化

项目编号: No.61202009

项目类型: 青年科学基金项目

立项/批准年度: 2013

项目学科: 计算机科学学科

项目作者: 李建

作者单位: 清华大学

项目金额: 25万元

中文摘要: 几乎所有的决策问题都不可避免的包含了一定程度的非确定因素,如数据测量中产生的噪音,参数估计的误差等等。一般来讲,处理非确定性数据的一个系统的方法是将这些数据视为随机变量,然后以概率论为原则去进行数据处理和优化。随着生成的非确定数据的规模日益增加,处理和查询这些数据的难度也越来越大。因此我们需要新型的处理随机数据的数据库系统和新的查询优化算法。今年来,关于概率数据库和处理随机输入数据的优化算法是国际上研究的热点和难点,存在很多挑战。我们计划在本项目中对随机数据的管理和查询优化算法进行深入系统的研究。具体来讲,我们计划深入探索如下问题:(1)关于非确定数据上的SQL查询,排序,区间查询等问题的更有效的算法;(2)非确定数据的流算法;(3)在非确定输入下的各种优化问题;(4)非确定数据处理算法的应用,特别是在如传感器网络数据监控、群众外包等新兴领域中的应用。

中文关键词: 随机优化;非确定数据;概率模型;近似算法;组合优化

英文摘要: Uncertainties are inevitably involved in almost all important decision problems. Examples include noise generated in data measurement, errors produced in parameter estimation, and so on. Generally speaking, one systematic way to deal with uncertain data is to view the data as random variables and to manage and query the data according to probability theory. As the volume of probabilistic data generated increases drastically, handling such data becomes a highly difficult problem. Therefore, we need new database systems and query optimization algorithms to answer the new challenge. Due to its significance and difficulty, building probabilistic databases and developing scalable and efficient query optimization algorithms recently have attracted a lot of attentions from database and algorithm researchers. In this project, we aim to systematically investigate the problems of managing and querying large-scale probabilistic data. In particular, we plan to study the following concrete problems: (1) Developing more efficient algorithms for processing SQL, ranking and range queries for uncertain data; (2) Developing streaming algorithms for uncertain data sets; (3) Studing various optimization problems under uncertain input; (4)Identifing new applications for probabilistic databases, especially in new application domains

英文关键词: Stochastic Optimization;Uncertain data;Probabilistic model;Approximation Algorithms;Combinatorial Optimization

成为VIP会员查看完整内容
0

相关内容

视频隐私保护技术综述
专知会员服务
33+阅读 · 2022年1月19日
面向大数据处理框架的JVM优化技术综述
专知会员服务
16+阅读 · 2021年11月27日
【经典书】高维概率数据科学应用导论,301页pdf
专知会员服务
84+阅读 · 2021年6月17日
专知会员服务
34+阅读 · 2021年3月21日
【WWW2021】大规模智能手机数据的异质联邦学习
专知会员服务
39+阅读 · 2021年3月8日
专知会员服务
36+阅读 · 2020年12月22日
专知会员服务
46+阅读 · 2020年11月20日
专知会员服务
106+阅读 · 2020年10月27日
专知会员服务
78+阅读 · 2020年6月20日
基于Iceberg的大规模数据分析优化加速实践
基于机器学习的自动化网络流量分析
CCF计算机安全专委会
4+阅读 · 2022年4月8日
腾讯数据湖查询优化实践
专知
3+阅读 · 2022年3月24日
数据分片架构的下一次进化
InfoQ
0+阅读 · 2022年2月20日
面向大数据处理框架的JVM优化技术综述
专知
0+阅读 · 2021年11月27日
基于海量日志和时序数据的质量建设最佳实践
阿里技术
0+阅读 · 2021年10月14日
表格存储 SQL 查询多元索引
阿里技术
0+阅读 · 2021年9月8日
京东OLAP实践之路
专知
1+阅读 · 2021年5月6日
20个安全可靠的免费数据源,各领域数据任你挑
机器学习算法与Python学习
12+阅读 · 2019年5月9日
基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】
人工智能前沿讲习班
26+阅读 · 2018年12月13日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
SkiQL: A Unified Schema Query Language
Arxiv
0+阅读 · 2022年4月19日
Generalized Out-of-Distribution Detection: A Survey
Arxiv
15+阅读 · 2021年10月21日
Arxiv
12+阅读 · 2018年9月5日
小贴士
相关VIP内容
视频隐私保护技术综述
专知会员服务
33+阅读 · 2022年1月19日
面向大数据处理框架的JVM优化技术综述
专知会员服务
16+阅读 · 2021年11月27日
【经典书】高维概率数据科学应用导论,301页pdf
专知会员服务
84+阅读 · 2021年6月17日
专知会员服务
34+阅读 · 2021年3月21日
【WWW2021】大规模智能手机数据的异质联邦学习
专知会员服务
39+阅读 · 2021年3月8日
专知会员服务
36+阅读 · 2020年12月22日
专知会员服务
46+阅读 · 2020年11月20日
专知会员服务
106+阅读 · 2020年10月27日
专知会员服务
78+阅读 · 2020年6月20日
相关资讯
基于Iceberg的大规模数据分析优化加速实践
基于机器学习的自动化网络流量分析
CCF计算机安全专委会
4+阅读 · 2022年4月8日
腾讯数据湖查询优化实践
专知
3+阅读 · 2022年3月24日
数据分片架构的下一次进化
InfoQ
0+阅读 · 2022年2月20日
面向大数据处理框架的JVM优化技术综述
专知
0+阅读 · 2021年11月27日
基于海量日志和时序数据的质量建设最佳实践
阿里技术
0+阅读 · 2021年10月14日
表格存储 SQL 查询多元索引
阿里技术
0+阅读 · 2021年9月8日
京东OLAP实践之路
专知
1+阅读 · 2021年5月6日
20个安全可靠的免费数据源,各领域数据任你挑
机器学习算法与Python学习
12+阅读 · 2019年5月9日
基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】
人工智能前沿讲习班
26+阅读 · 2018年12月13日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员