加入极市专业CV交流群,与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度 等名校名企视觉开发者互动交流!
同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流。关注 极市平台 公众号 ,回复 加群,立刻申请入群~
每一个学习OpenCV的人恐怕都被安利过跑一跑SIFT(Scale-invariant feature transform 尺度不变特征变换)图像特征匹配,即使图像有旋转、模糊、尺度的变化,即使使用不同的相机,即使图像拍摄的角度不同,SIFT总能检测到稳定的特征点,并建立对应关系。
原始的SIFT算法分特征点检测和描述两部分,特征点检测的核心是优美的DOG金字塔模型:
特征描述的核心则是梯度方向直方图:
SIFT首次出现是1999年,时至今日,SIFT 特征点检测依然是最好的局部特征检测方法之一(如果不考虑速度因素,CV君觉得这个“之一”是可以去掉的),而 SIFT 特征描述也在人工设计特征的时代启发了大量梯度方向直方图的特征。
SIFT 特征在图像拼接、图像检索、目标识别、目标检测、目标跟踪、增强现实、三维重建等几乎所有与识别、检测相关的计算机视觉领域得到应用,是深度学习时代之前,最著名的计算机视觉算法之一。
很长时间以来,SIFT在OpenCV的代码一直在Non-Free模块,因为他是有专利保护的,不能在商业场景随便使用。
SIFT算法由加拿大英属哥伦比亚大学教授David Lowe 于 1999 年发表于会议ICCV ,原论文Object recognition from local scale-invariant features ,
David Lowe 是唯一作者
David Lowe
而广为人知的被引用更多的是2004年发表于期刊IJCV的完善版 Distinctive image features from scale-invariant keypoints
谷歌学术显示SIFT 2004‘ 已被引用55841次
David Lowe 教授是一个很有商业嗅觉的学者,发明了SIFT算法后发现这可是个好东西,赶紧申请了专利 US6711293B1。专利申请于2000年3月6日,专利权人为英属哥伦比亚大学。
到今年3月6日,已满20年,专利权已经到期!SIFT已经成为全人类的公共技术,任何人和组织都可以免费使用!
在今天,SIFT依然具有商业价值,这无疑是个好消息。
OpenCV官方今年也将把SIFT挪出Non-Free模块(不过CV君觉得OpenCV实现的SIFT很烂,强烈建议大家使用VLFeat里的SIFT)。
说到这里,CV君还想跟大家说下SIFT传奇的缔造者David Lowe教授。
1987年2015年 David Lowe 一直在英属哥伦比亚大学任教授,2009年到2015年他鼓捣了自己的一家公司Cloudburst Research,主要产品是一款图像拼接APP(AutoStitch)后被谷歌收购(谷歌难道缺少图像拼接业务吗?可能是致敬老爷子吧^_^),公司被收购后15年到18年在谷歌任高级研究科学家。目前是英属哥伦比亚大学的荣誉教授。
David Lowe 曾于2011年和2017年获得ICCV 的Helmholtz Prize,分别为表彰他的工作SIFT算法(Object Recognition from Local Scale-Invariant Features)和全景拼接算法(Recognising Panoramas),并与2015年获得PAMI Distinguished Researcher Award(与Yann LeCun一起)。
David Lowe 不是那种只知道写论文的教授,从谷歌学术上也可以看出相比很多著作等身的学者,他的论文并不很多,招的博士也不多,但他很关心技术的应用,甚至也亲自创建了一家公司,他的有影响的工作:
都进行了商业化(或者说是在实用场景中发明的)。上图的论文中,第一、第二篇是SIFT、第三篇是近似最近邻搜索算法FLANN(如今并入了OpenCV)、第四和第七篇研究图像拼接(与AutoStitch相关)。
下图为David Lowe 论文引用数直方图,可见每年都有近万的引用量,在2014年、2015年达到顶峰:
而14、15 、16年正是深度学习方兴未艾,RCNN(ECCV 2014)、Faster RCNN(NIPS 2015)、SSD(ECCV 2015)、YOLO(CVPR 2016)目标检测类算法群雄并起的时候。
SIFT是人工设计特征的一个巅峰,时代变了,虽然我们现在更崇尚GPU算力+深度学习,但传统特征中蕴含的思想仍然指导着CV领域的勇者们继续前行。
推荐阅读:
△长按添加极市小助手
△长按关注极市平台,获取最新CV干货
觉得有用麻烦给个在看啦~