Differentially private synthetic data generation offers a recent solution to release analytically useful data while preserving the privacy of individuals in the data. In order to utilize these algorithms for public policy decisions, policymakers need an accurate understanding of these algorithms' comparative performance. Correspondingly, data practitioners require standard metrics for evaluating the analytic qualities of the synthetic data. In this paper, we present an in-depth evaluation of several differentially private synthetic data algorithms using actual differentially private synthetic data sets created by contestants in the 2018-2019 National Institute of Standards and Technology Public Safety Communications Research (NIST PSCR) Division's ``Differential Privacy Synthetic Data Challenge.'' We offer analyses of these algorithms based on both the accuracy of the data they created and their usability by potential data providers. We frame the methods used in the NIST PSCR data challenge within the broader differentially private synthetic data literature. We implement additional utility metrics, including two of our own, on the differentially private synthetic data and compare mechanism utility on three categories. Our comparative assessment of the differentially private data synthesis methods and the quality metrics shows the relative usefulness, the general strengths and weaknesses, and offers preferred choices of algorithms and metrics. Finally we describe the implications of our evaluation for policymakers seeking to implement differentially private synthetic data algorithms on future data products.


翻译:为了利用这些算法来作出公共政策决定,决策者需要准确理解这些算法的比较性能。相应地,数据从业者需要标准指标来评价合成数据的分析性能。在本文中,我们利用2018-2019年国家标准和技术公共安全通信研究所(NIST PSCR)竞争者建立的实际有差别的私人合成合成数据集,对几种有差别的私人合成数据算法进行了深入评价。为了利用这些算法来保护数据中个人的隐私隐私。为了利用这些算法来作出公共政策决定,决策者们需要准确理解这些算法的比较性业绩。相应地,数据从业者需要标准指标来评价合成数据的分析性质量。我们在更广泛的有差别的私人合成数据文献中,我们采用了另外的效用指标,包括我们自己的两个指标,关于有差别的私人合成数据以及比较机制在三类方面的效用。我们对差异性私人数据综合方法的比较性评估,以及我们为寻求个人数据分析的相对价值,最后,我们用质量的衡量性分析方法,我们用在寻求个人数据分析中的相对价值,我们用到对分析性分析结果的比较性评估。

0
下载
关闭预览

相关内容

经济学中的数据科学,Data Science in Economics,附22页pdf
专知会员服务
35+阅读 · 2020年4月1日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
MIT新书《强化学习与最优控制》
专知会员服务
275+阅读 · 2019年10月9日
【电子书推荐】Data Science with Python and Dask
专知会员服务
43+阅读 · 2019年6月1日
后渗透利用msf关闭防火墙
黑白之道
8+阅读 · 2019年8月24日
已删除
将门创投
5+阅读 · 2019年4月15日
神器Cobalt Strike3.13破解版
黑白之道
12+阅读 · 2019年3月1日
【泡泡一分钟】基于运动估计的激光雷达和相机标定方法
泡泡机器人SLAM
25+阅读 · 2019年1月17日
【泡泡一分钟】LIMO:激光和单目相机融合的视觉里程计
泡泡机器人SLAM
11+阅读 · 2019年1月16日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
【泡泡一分钟】无参相机标定
泡泡机器人SLAM
3+阅读 · 2018年11月7日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
深度学习医学图像分析文献集
机器学习研究会
18+阅读 · 2017年10月13日
Arxiv
0+阅读 · 2020年11月19日
Arxiv
110+阅读 · 2020年2月5日
VIP会员
相关资讯
后渗透利用msf关闭防火墙
黑白之道
8+阅读 · 2019年8月24日
已删除
将门创投
5+阅读 · 2019年4月15日
神器Cobalt Strike3.13破解版
黑白之道
12+阅读 · 2019年3月1日
【泡泡一分钟】基于运动估计的激光雷达和相机标定方法
泡泡机器人SLAM
25+阅读 · 2019年1月17日
【泡泡一分钟】LIMO:激光和单目相机融合的视觉里程计
泡泡机器人SLAM
11+阅读 · 2019年1月16日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
【泡泡一分钟】无参相机标定
泡泡机器人SLAM
3+阅读 · 2018年11月7日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
深度学习医学图像分析文献集
机器学习研究会
18+阅读 · 2017年10月13日
Top
微信扫码咨询专知VIP会员