【科普】高光谱成像——认识世界的新视角
发布时间:2021-02-22
一、高光谱是什么
一种物质区别于其他物质的本质在于其分子、原子的种类及排列方式。当电磁波入射到物质的表面,物质内部的电子跃迁,原子、分子的震动、转动等作用各不相同,从而在不同的波长具有特有的吸收和反射特征。简单来说,每种物质有自身特有的光谱曲线,因此根据吸收或者反射的光谱便能确定物质的种类。
高光谱成像技术便是基于此种原理。高光谱成像技术通过获取大量连续窄波段(通常小于10 nm)的物体光谱信息,将光谱信息与普通成像信息相结合,最终将数据合成为光谱连续的图像数据。为方便理解,我们可以认为是在普通二维图像上增加一维的连续光谱信息,即三维数据(x,y,λ),x和y表示二维图像坐标,λ表示光谱信息,其中光谱曲线的形态可以帮助确定物质的种类。
如图1所示,左图表示整个三维数据,右图表示这四种物质具体对应的光谱曲线:
图1 | 高光谱图像示意图
来源:公开网络资料
从了解成像技术的发展历史入手可以帮助更好地理解高光谱成像技术。第一个阶段是灰度图像,可以认为是全色波段,或者是单波段,无法显示物体的色彩,也就是黑白照片。第二阶段是彩色图像阶段,彩色图像是选定红绿蓝三个特定波长的光谱信息,获取图像信息后进行合成得到的。第三个阶段是多光谱图像,在彩色图像的基础上进一步增加了一定波段的光谱信息,通常通过由特定波段的滤光片组成的多光谱系统获得。第四个阶段是高光谱图像,即进一步收窄波段宽度,提高单位波段数量,形成连续的光谱信息。整个成像技术的发展史可以认为是光谱信息不断丰富的过程。
图2 | 成像技术的发展
来源:公开网络资料
高光谱成像技术优势主要体现在两个层面:第一,信息丰富程度大幅度提高,相对于传统的成像技术,其进一步提供了光谱信息,更方便结合光谱特征对物体进行分类和研究;第二,波段间隔小,更方便于波段之间进行数据的互相校正,提高数据的准确性。
但是高光谱成像目前还面临很多问题,特别是带来了数据处理方面的挑战:第一,数据量大幅增加,对计算能力要求相应提升;第二,数据中存在大量过剩信息,波段间数据相关性高,处理不好反而会影响分类精度;第三,常规图像的处理模型和方法难以适应高光谱数据的处理及应用。
二、主要技术路线
由于高光谱成像获得是三维数据,而传统的成像方式只能获得二维的平面数据,因此成像方式也相应进行了改变,在发展过程中主要出现了四种方法:挥扫式(Whiskbroom)、推扫式(Pushbroom)、凝视式(Staring)以及快照式(Snapshot)。
图3 | 四种主要的高光谱成像方式
来源:Journal of Biomedical Optics
1)挥扫式成像(Whiskbroom)
挥扫式成像,又被称为点扫描式。顾名思义,该成像方式每次只对一个点的光谱信息(λ)进行测量,该点的反射光经过棱镜散射后,只需一个线阵传感器便可以完成信息的记录,再通过机械结构实现测量点在物体表面的横向和竖向的移动,从而完成对整个表面的光谱信息的描绘。该技术最早被卫星用于遥感探测,后来又被广泛用于机载系统。
2)推扫式成像(Pushbroom)
推扫式成像是基于挥扫式成像的改进,该成像技术每次完成一条线对应的光谱信息的测量,也就是说同时获取一维的空间信息(y)和光谱信息(λ)。该线阵的光线相继通过光谱仪的前置狭缝、透镜及投射光栅变为随波长展开的单色光,需要一个面阵传感器完成信息的记录,再通过机械结构实现测量线在物体表面的单向移动,从而完成对整个表面的光谱信息的描绘。目前推扫式成像是最为成熟的高光谱成像方式。
3)凝采式成像(Staring)
凝采式成像不使用光栅或者棱镜,通常使用滤波器(例如可调谐滤波器、可变干涉滤波器、线性可变滤波器等),物体的反射光通过滤波器后只产生一段窄波段的光谱信息,然后通过面阵传感器进行记录,从而一次性获得具有完整空间信息的单波段二维灰度图像(x, y)的光谱。之后通过调整滤波器的输出波长,获得各段窄波段下的光谱信息图像,最终拼成最终的三维信息。简单来说,推扫式成像就是在一个时间点获得一条线的完整光谱信息,通过时间完成另一个空间维度的信息补充,凝采式成像就是在一个时间点获得一个面的单一窄波段的光谱信息,通过时间完成各波段的拼接。由于在不同波段下可以使用不同的曝光,因此凝采式成像具备更高的动态范围。
4)快照式成像(Snapshot)
快照式成像通过各种方式将目标物体的三维数据以降维的形式呈现在探测器上,然后利用对应的重建算法将探测器上获得的数据还原为三维数据,旨在通过一次曝光便在面阵探测器上记录完整的空间和光谱信息,其完全不需要扫描的过程。目前主要在研究的方法包括计算光谱成像、基于微透镜阵列以及计算层析型高光谱成像三大类。这种成像方式内部不存在移动部件或者动态调节组件,具备抗干扰能力强、成像速度快的优势,适用于移动较快的物体或者实时监测。另外,从理论上看,快照式成像在未来更容易实现成本的降低和相机体积的缩小,极大提高便携性,更易在室外进行使用。但目前技术仍处于实验室阶段,面临分辨率、硬件设计、数据计算等多方面的问题,难以实现大规模生产和应用。
表1 | 四种高光谱成像方式对比
来源:Review of spectral imaging technology in biomedical engineering
对比来看四种成像方式各有优劣,不同场景适用的方式不同。
推扫式成像是目前研究和商用最为成熟的成像方式,凝采式成像相较来说应用少一些。推扫式成像需要扫描一维空间,因此尤其适合于流水线检测、无人机机载扫描等移动物体的扫描,但是在扫描静止物体时不如凝采式成像方便,凝采式成像系统无需在内部集成移动组件,且更容易实现体积的缩小。
快照式成像目前技术还不够成熟,尤其是受限于分辨率不足的瓶颈,但却是未来最具潜力的成像方式,其致力于在芯片层面解决光学层面的问题,因此能够大幅度减小体积,且借助成熟的半导体产业能够实现量产成本的大幅降低,最有可能将高光谱相机从一个工业实验设备转变为一个消费电子产品,开拓更多应用领域。
三、主要应用
与光谱仪的定位不同,高光谱成像不只是为了获得物体的光谱信息从而进行物质分析,而是基于二维空间的基础上增加光谱信息,即只有当需要进行空间层面的分析时,才会需要用到高光谱成像,否则仅需要成本更低的光谱仪便可以胜任。
由于高光谱成像在地面目标识别方面的优势,其最早被应用于军事领域,并逐渐取代多光谱成像,成为主要的侦查手段。后来逐渐从军用转向民用,应用领域逐渐扩展到生命科学和诊断、地质调查、植被遥感、农业监测、大气遥感、水文学、灾害环境遥感、垃圾分选等等。
1) 不同波长应不同应用方向
由于技术限制,目前单一高光谱相机仅能测量有限的波长范围。业界通常将其分为紫外UV(200-400nm)、可见VIS(380-800nm)、可见-近红外VNIR(400-1000nm)、近红外NIR(900-1700nm)、短波红外SWIR(970-2500nm)、中红外MWIR(3-5μm)、远红外LWIR(8-12μm)。
图4 | 光谱分类
来源:网络公开资料
也正是由于这种限制,在实际应用中,会根据物体的光谱特征,选择最合适的波长范围,不同波段的产品分别对应有不同的应用场景:
2.)目前应用程度
整体来看,目前高光谱成像的实际应用仍处于早期阶段。应用相对成熟的主要是在军事领域,在民用领域许多应用方向仍在研究和探索中,例如特定物体的分选、水污染及大气环境监测、农业、地质监测以及医疗等相关领域。
a)分选
目前的物体分选很多都是在可见光的范围下通过机器视觉实现的,但是有很多物质无法在可见光的条件下进行区分。例如在垃圾分选中,往往存在多种构成成分区别很大的塑料,但外观上区别不大,无法通过传统的机器视觉进行识别,通过高光谱分析便能有效对其构成成分进行分析从而进行区分。再例如在食品分选中,高光谱成像能够有效区分出食品表面肉眼不可见的菌落,从而实现对新鲜度的判断。
b)水污染环境监测
高光谱成像可以有效观测水体中叶绿素、浮游生物、沉积性悬浮物等分布情况,从而判断富营养化和藻类爆发等水污染中的常见问题,具有能够同时进行大范围水质监测、动态跟踪污染情况等优势,正在成为水环境保护中越来越重要的监测手段。
c)大气环境监测
高光谱成像是大范围监测污染气体以及温室气体的重要手段。二氧化硫和氮氧化物等主要污染气体和二氧化碳、甲烷等温室气体在紫外、可见、近红外、红外等波段存在比较强的特征吸收带,因此通过使用对应波段的高光谱数据便能够对气体的成分进行定量分析,判断该地区的污染情况。
c)农业
叶片中的叶绿素含量很大程度上决定了植物的反射光谱特征,因此生长正常的植物具有典型的光谱特征,通过分析光谱图像便可以很容易地发现病虫害、生长不良等问题,精确监控作物的生长状态,从而及时进行解决。
d)地质监测
从上世纪80年代以来,得益于卫星遥感技术的发展,高光谱技术开始被广泛应用于地质研究中。在高光谱的分辨率下,能够对表面矿物进行特征分析,进而在矿物成分识别、地质成因环境探测、成矿预测、油气资源渗漏检测等相关领域发挥重要作用。
e)医疗
患病的机体和组织细胞表现出不同的光谱特征,医生能够通过高光谱成像更快、更准确地检测原来难以确定病灶的部位,从而为患者针对性地定制更有效的治疗方式。相较于超声、射线等传统医学影像检测手段,高光谱成像技术对人体完全无伤害,灵敏度高且操作简单,正在成为越来越多医学研究关注的重点,为疾病的发病机理、组织病变、疾病诊断与治疗、药物效果评价等研究方向提供了新的思路和方法。
四、市场规模
得益于工业数字化、物联网等需求的提升,越来越多的工业应用开始寻求自动化解决方案,以获取更高的经济效益。基于高光谱成像系统这种新兴“传感器”的行业解决方案也逐渐开始进入人们的视野,目前大多还处在行业验证和试用阶段。
据Mordor Intelligence和BG research统计,高光谱成像市场处于早期成长阶段,2020年全球市场规模为1.45亿美元,保守预计到2024年将进一步增长到2.89亿美元,复合年增长率达到14.9%。若基于芯片的高光谱相机能够量产商用,则市场规模将进一步爆发。
基于细分产品来看,在高光谱成像市场中以高光谱相机为代表的硬件设备占据最大的市场份额,产生这种现象的原因在于:第一,目前行业仍处于早期阶段,解决方案提供不完善,主流的商业模式仍停留在简单的硬件销售层面,后续开发和使用一般交由用户完成;第二,高光谱相机由于硬件成本较高,单机销售价格居高不下,普遍不低于10万元/台,相比较起来提供的解决方案价格更低,因此占据份额更低。然而这两点都不利于高光谱成像市场的长远发展,未来随着高光谱相机硬件成本价格的下降以及软件算法的完善,市场规模将进一步扩大,硬件设备所占据的市场份额也将逐步下降。
基于技术路线来看,目前在挥扫式成像、推扫式成像、凝视式成像以及快照式成像四种技术路线中,推扫式成像是最为成熟易用的解决方案,目前占据最大的市场份额。短期内由于高光谱成像硬件设备价格难以下降,只能应用于工业、农业等实用价值更直接的领域,而且推扫式成像极其适用于工厂的流水线式作业以及无人机的区域监测,推扫式成像在短期内仍然是最主流的技术路线。未来随着快照式成像技术的发展,高光谱相机有望实现硬件成本的大幅度下降,在消费级市场爆发出巨大的应用潜力,在远期实现更快的增长速度。
基于终端需求分类来看,各个应用方向的市场占比平均,应用已经较为成熟的地质行业的市场规模占比最高,达到23%,其次是医疗市场以及安防市场。食物监测、废物回收、农业等方面的应用目前多处于应用开发和验证阶段,未来市场份额占比将逐步提高,产生更大的应用价值。
图5 | 高光谱成像市场构成情况
来源:公开资料整理
五、市场格局
由于高光谱成像系统需要极深的技术积累,目前发达国家的高光谱成像系统产品普遍处于较先进水平。国外成熟公司拥有更为成熟的设备,强大的研发能力,整体水平优于国内企业。国外知名度高的厂商凭借良好的产品和口碑长期占据绝大多数的市场份额。
世界大型高光谱成像系统生产企业主要集中在北美和欧洲,主要生产厂商包括美国的Headwall Photonics、Ocean Optics、Resonon、Surface Optics、康宁(并购NovaSol)、Brimrose,加拿大的ITRES、Telops,芬兰的Specim,欧洲微电子研究中心(IMEC),挪威纳斯克电子光学公司(Norsk Elektro Optikk AS)等。
国内关于高光谱成像系统的研究主要集中在军事机构和部分高校研究机构,例如中科院光电院、上海光机所、长春光机所等等。目前着手于商用的厂商相对较少,大部分公司的产品的核心部件(分光仪等)仍然采购自国外技术成熟的公司,在国内完成组装并通过更高的性价比实现市场的开拓。
深圳中达瑞和
成立于2005年,主要业务包括液晶光电子、高光谱成像系统研发制造以及相关信息化解决方案和服务。其自主研发了基于液晶可调谐滤波器的高光谱成像仪、智能高光谱分析系统等产品,拥有完全自主知识产权,产品及服务同样在公安刑侦、精准农林、伪装识别、采矿勘探、遥感遥测、工业检测、文物鉴定、医学医疗、环境检测等多个等领域得以成功应用。2018年曾获恒益天泽资本投资。
六、行业发展目前遇到的困境
高光谱成像系统的商用虽然已经发展了近三十年,但现在市场仍处于早期的发展探索阶段,仍未在各行业得到广泛的使用。这其中主要面临的困难包括:
1)高光谱成像系统硬件成本居高不下。由于目前高光谱成像系统以推扫式成像、凝视式成像两种技术路线为主,但是推扫式成像需要用到光栅和棱镜,凝视式成像需要用到滤波器,两条技术路线的硬件成本都难以在短期内快速降低。整个系统的生产成本和售价高高在上,商用客户采用该系统产生的额外效益难以覆盖其使用成本,无法被客户所接受。这导致高光谱成像系统长时间只能应用于实验室研究,下游客户局限于各大高校和研究所,市场规模有限。
2)缺少易用的整体解决方案。由于高光谱成像系统产生的数据量体量巨大,且数据中噪声多,处理过程复杂,对软件算法提出了极高的要求。然而由于目前实际应用较少,大多数研究只停留在实验论证阶段,未能形成成熟易用的解决方案,下游客户在使用过程中需要耗费巨大的时间、资金和精力去开发适合自己需求的系统,极大降低了尝试意愿。至于体量广阔的消费级市场,则更需要一款简单易用的“傻瓜式”配套程序才能具备入围机会。
正式由于这些发展瓶颈的存在,才使得这个行业充满更多不确定性,为后来的创业企业带来弯道超车的机会。行业未来的破局点正是在于以上待解决的问题。
1)急需降低生产成本的硬件设计方案。从原材料层面上看,推扫式成像和凝视式成像硬件成本难以在短期内降低,体积也难以进一步缩小,应用场景受到明显的限制。目前来看,最具备技术突破潜力的当属快照式成像,借助于成熟的半导体产业链,最有可能实现生产成本的大幅降低,降低应用门槛。目前包括清华大学、剑桥大学、普林斯顿大学均已公布相关研究成果,致力于在更小的芯片体积上实现更高的成像精度。
2)解决方案提供商的地位将逐渐提高。高光谱成像系统的硬件已经经历了多年的发展,参数规格已满足基本需求,虽然成本难以快速降低,但是在很多对成本不是很敏感的行业已具备实用价值。解决方案提供商扮演起“临门一脚”的重要角色,需要其深入到客户的实际应用场景,开发出对应的解决方案,长期以后形成积累,掌握行业的话语权。
七、思考及展望
1)高光谱成像系统作为一种功能进一步升级的“图像传感器”,能够在二维图像的基础上增加高光谱信息,有效提升了可识别的信息量,从而帮助对物质种类进行识别。与传统“机器视觉”相比,基于高光谱技术的识别不仅能够更精确地区分不同物体,甚至能够实现无法通过外观进行分辨的物体识别。在物联网发展的大背景下,未来将成长为一种重要的终端传感设备,丰富万物互联的世界。
2)未来高光谱成像破局的关键在于整体系统成本的降低。虽然目前基于推扫式、凝视式技术的高光谱成像系统的成本正在不断降低,开始逐步打开市场,但是距离实现大规模应用仍有较大距离。未来只有芯片级的高光谱成像技术得到推广后,高光谱成像才能从高端工业应用走向消费级应用,走进大众的日常生活,有效帮助改善生活质量,从而带动市场规模的爆发。
*本文来自上海北外滩金融研究院,仅供学术交流与应用研究*