Least-absolute-deviations (LAD) line fitting is robust to outliers but computationally more involved than least squares regression. Although the literature includes linear and near-linear time algorithms for the LAD line fitting problem, these methods are difficult to implement and, to our knowledge, lack maintained public implementations. As a result, practitioners often resort to linear programming (LP) based methods such as the simplex-based Barrodale-Roberts method and interior-point methods, or on iteratively reweighted least squares (IRLS) approximation which does not guarantee exact solutions. To close this gap, we propose the Piecewise Affine Lower-Bounding (PALB) method, an exact algorithm for LAD line fitting. PALB uses supporting lines derived from subgradients to build piecewise-affine lower bounds, and employs a subdivision scheme involving minima of these lower bounds. We prove correctness and provide bounds on the number of iterations. On synthetic datasets with varied signal types and noise including heavy-tailed outliers as well as a real dataset from the NOAA's Integrated Surface Database, PALB exhibits empirical log-linear scaling. It is consistently faster than publicly available implementations of LP based and IRLS based solvers. We provide a reference implementation written in Rust with a Python API.


翻译:最小绝对偏差(LAD)直线拟合对异常值具有鲁棒性,但其计算复杂度高于最小二乘回归。尽管现有文献已提出针对LAD直线拟合问题的线性及近线性时间复杂度算法,但这些方法实现困难,且据我们所知缺乏持续维护的公开实现。因此,实践者通常采用基于线性规划(LP)的方法(如基于单纯形法的Barrodale-Roberts方法和内点法)或不保证精确解的迭代重加权最小二乘(IRLS)近似法。为弥补这一空白,我们提出分段仿射下界逼近(PALB)方法——一种精确求解LAD直线拟合的算法。PALB利用次梯度导出的支撑线构建分段仿射下界,并采用基于这些下界极小值的细分策略。我们证明了算法的正确性并给出了迭代次数的界。在包含重尾异常值等多种信号类型与噪声的合成数据集,以及来自NOAA综合地面数据库的真实数据集上,PALB均表现出对数线性的经验缩放特性。相较于基于LP和IRLS的公开求解器实现,PALB始终保持更快的计算速度。我们提供了以Rust编写并包含Python API的参考实现。

0
下载
关闭预览

相关内容

【NeurIPS2019】图变换网络:Graph Transformer Network
NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员