Synthetic data generation is an important tool for privacy-preserving data sharing. While diffusion models have set recent benchmarks, flow matching (FM) offers a promising alternative. This paper presents different ways to implement flow matching for tabular data synthesis. We provide a comprehensive empirical study that compares flow matching (FM and variational FM) with a state-of-the-art diffusion method (TabDDPM and TabSyn) in tabular data synthesis. We evaluate both the standard Optimal Transport (OT) and the Variance Preserving (VP) probability paths, and also compare deterministic and stochastic samplers -- something possible when learning to generate using \textit{variational} flow matching -- characterising the empirical relationship between data utility and privacy risk. Our key findings reveal that flow matching, particularly TabbyFlow, outperforms diffusion baselines. Flow matching methods also achieves better performance with remarkably low function evaluations ($\leq$ 100 steps), offering a substantial computational advantage. The choice of probability path is also crucial, as using the OT path demonstrates superior performance, while VP has potential for producing synthetic data with lower disclosure risk. Lastly, our results show that making flows stochastic not only preserves marginal distributions but, in some instances, enables the generation of high utility synthetic data with reduced disclosure risk.


翻译:合成数据生成是隐私保护数据共享的重要工具。尽管扩散模型近期已确立基准性能,流匹配(FM)提供了一种有前景的替代方案。本文提出了多种实现表格数据合成流匹配的方法。我们开展了全面的实证研究,将流匹配(FM及变分流匹配)与最先进的扩散方法(TabDDPM和TabSyn)在表格数据合成中进行比较。我们评估了标准最优传输(OT)和方差保持(VP)概率路径,并比较了确定性与随机采样器——这在学习使用变分流匹配生成数据时成为可能——从而实证刻画了数据效用与隐私风险之间的关系。我们的核心发现表明,流匹配方法(尤其是TabbyFlow)在性能上超越扩散基线。流匹配方法还能以极低的函数评估次数(≤100步)实现更优性能,提供了显著的计算优势。概率路径的选择同样关键:使用OT路径展现出更优越的性能,而VP路径在生成低泄露风险的合成数据方面具有潜力。最后,我们的结果表明,使流过程随机化不仅能保持边缘分布,在某些情况下还能生成具有高数据效用且泄露风险降低的合成数据。

0
下载
关闭预览

相关内容

【AAAI2024】使用大型语言模型的生成式多模态知识检索
专知会员服务
58+阅读 · 2024年1月19日
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
22+阅读 · 2023年5月10日
【ICML2022】用于视频恢复的无监督流对齐序列到序列学习
[CVPR 2021] 序列到序列对比学习的文本识别
专知
10+阅读 · 2021年4月14日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员