The log-transform is a common tool in statistical analysis, reducing the impact of extreme values, compressing the range of reported values for improved visualization, enabling the usage of parametric statistical tests requiring normally distributed data, or enabling linear models on non-linear data. Practitioners are rarely aware that log-transformed results can reverse findings: a hypothesis test without the transform can show a negative trend, while with the log-transform, it can show a positive trend, both statistically significant. We derive necessary and sufficient conditions underlying this paradoxical pattern reversal using finite difference notation. We show that biomedical image quantification is very susceptible to these conditions. Using a novel heuristic maximizing the reversal, we show that statistical significance of the paradoxical pattern reversal can be easily induced by changing as little as 5% of a dataset. We illustrate how quantifying the sizes of objects in proportional data, especially where object sizes capture underlying creation and destruction dynamics, satisfies the precondition for the paradox. We discuss recommendations on proper use of the log-transform, discuss methods to explore the underlying patterns robustly, and emphasize that any transformed result should always be accompanied by its non-transformed source equivalent to exclude accidental confounded findings.


翻译:日志转换是统计分析的一个常见工具,减少了极端值的影响,压缩了报告值的范围,以便改进可视化,能够使用通常分布的数据所需的参数统计测试,或非线性数据方面的线性模型。 执业者很少意识到日志转换的结果可以逆转结果:不转换的假设试验可以显示消极趋势,而随着日志转换,它可以显示积极的趋势,两者在统计上都很重要。我们利用有限的差异标记来得出这种自相矛盾模式逆转所根据的必要和充分条件。我们表明生物医学图像的量化非常容易适应这些条件。我们使用新的超常性使逆转最大化的方法,我们表明矛盾模式逆转的统计意义很容易通过仅仅5%的数据集的变化来引起。我们说明如何量化比例数据中对象的大小,特别是在物体大小能够捕捉基本的创建和销毁动态的情况下,满足悖论的先决条件。我们讨论了关于正确使用日志转换法的建议,讨论如何强有力地探索基本模式。我们强调,任何转变的结果必须始终伴以非转化源来排除意外结果。

0
下载
关闭预览

相关内容

【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
105+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
1+阅读 · 2023年3月31日
Arxiv
66+阅读 · 2021年6月18日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员