今天,我们已经被数字传感器包围,这些传感器构成了智能系统的关键部分。和人类需要耳聪目明一样,智能系统也高度依赖灵敏的传感器。
遗憾的是,从照相机、麦克风,到地震仪、雷达和超声波系统,数字传感器会受到“饱和点”的影响,当信号过强或过弱时,传感器无法准确捕捉光、声、温度、震动等信号。这不仅影响手机拍照的效果,还关乎智能系统的运行,甚至决定了自动驾驶的安全或手术的成败。
伦敦帝国理工学院和慕尼黑工业大学的研究人员结合新的硬件和算法,联合开发出一项新技术,可以释放数字传感器的潜力,解锁传感器的“新技能”。近日,相关研究在IEEE Transactions on Signal Processing上发表。
“饱和点”局限
今年3月11日凌晨,美国底特律西南部一个十字路口发生惨烈车祸,一辆特斯拉 Model Y撞上一辆白色厢式货车。
诡异的是,从2016年至2019年,特斯拉自动驾驶系统操控的汽车4次严重交通事故均撞在白色厢式货车上。有媒体甚至将白色厢式货车称作特斯拉自动驾驶系统的“天敌”。
2016年,美国弗洛里达州撞车事故发生后,特斯拉公司表示,当时外面天空明亮晴朗,这辆白色货车正在转向,在这种环境下,自动驾驶系统未能识别出这辆货车……
明亮晴朗的天空或是朦胧幽暗的晨光,让人不能不联想到传感器的“饱和点”问题。
“就像我们肉眼看太阳、看手电筒等亮光一样,会觉得刺眼,感觉眼前白茫茫一片,但具体大小、形状就无从判断了。”中国科学院西安光学精密机械研究所副研究员潘安对《中国科学报》说,“人眼作为一种传感器,同样存在这样的‘饱和点’,这在学术上称为‘动态范围’。”
潘安解释说,对数字传感器来说,动态范围的单位为bits,比如8bits指的是0~255的灰度值,16bits指的是0~65535的灰度值。当光源过强过亮,数字传感器就无法检测这一饱和情况,只能统一用最大值表示。
比如,当你在热带海滩上用手机给女友拍照时,过于灿烂的阳光总让你的照片缺乏层次,甚至图像会模糊一片。或者当你用手机录制一段夜场演出时,会发现视频有时候断断续续。这是因为摄像头、麦克风等日常数字传感器受到饱和点的影响,从而无法检测到光、声等信号。
该论文作者之一、帝国理工学院电气和电子工程系Ayush Bhandari博士表示,地震仪、雷达和超声波系统等科学仪器,都会因饱和点问题,失去对震动、温度和其他超出某些物理极限信号的准确捕捉能力。
“地震仪上的传感器用电磁感应方式监测声波和弹性波,声波或弹性波造成传播介质的振动,监测振动频率段一般是0.001 Hz 至500 Hz,超出此范围则无法记录地震波。”美国工程院院士、地球物理学家张捷对《中国科学报》说。
“折叠”信号
电子传感设备包含模数转换器(ADC),可将来自摄像头和麦克风的光、声音等信息转换为数字信号。然而,ADC受电压限制的约束,当输入信号超过强时就会发生饱和。而饱和呈现出来的效果就是看起来“漂白”的图像,或断断续续的音频。
在这项研究中,研究人员对使用“模数”采样的ADC进行了试验,以测试使用不同类型的电压(称为模数)是否可以帮助传感器处理更大范围的信息。他们构建了一个带有内置算法的原型,一旦外部信号达刺激到极限,该算法就会触发ADC切换到模数电压,并将这些信号“折叠”成更小的信号。因此,研究人员能够将模数测量转换为现有传感器可以读取的,较小的数字信号。这种方法可以使ADC处理的信号范围更广,甚至可以提供“无限采样”,准确捕获幅度远超ADC电压限制的信号。
“这项工作主要解决成像探测的动态范围问题,提出了一个频域的处理算法,可以获得更高的动态范围,类似我们手机拍摄的HDR(高动态光照渲染功能)。”潘安说。
苹果手机的图像处理较早采用了HDR技术,简单说,手机在HDR模式下拍照时,会同时出现三张照片,一张是过度曝光的照片,一张是正常曝光的照片,一张是低曝光的照片,然后将这三张照片融合在一起,呈现出一张曝光效果最合适的照片。相比普通的图像, HDR技术可以提供更大的动态范围和更多的图像细节,更好地反映出真实环境中的视觉效果。
“传感器分感和传两部分,饱和点与探测感知器的物理极限、传感器物理感知信息转化为数字信号的能力,及信息传输能力有关。”中科院电子所一位研究人员说,“对于获取目标信息而言,传感器件的物理特性决定了探测能力的物理极限,但好的算法有助于充分利用器件获取传感信息的能力,从而捕捉到更全面的信息。”
突破“极限”
该研究合作研究者之一、慕尼黑工业大学教授Felix Krahmer表示,该方法的关键特征是,如果信号使电压超过阈值,硬件将信号从电压切换到模数,“本质上是重置自身以允许更大范围的信号”。
“这种硬、软件协同设计方法,为进一步研究开辟了新的前沿方法。”该论文作者之一、帝国理工学院学生Thomas Poskitt说,“所有的数字传感器都有它们能探测到的最大和最小极限,但我们找到了一种方法来突破上限,而且,这种方法没有理论上的最大值。”
研究人员表示,此次发现克服了感知局限性,即数字传感和不同学科合作解决常见问题的方式。该技术最终可以帮助开发传感器,使用模成像传感器处理超出人类感知范围的信号,如紫外线、红外光和其他高光谱波段。比如,当汽车驶出隧道的一瞬间,汽车上的摄像机会被突然出现的强光包围,从而达到信号的“饱和点”,导致所见信息的丢失,并危及汽车的安全。利用这项技术,将来可以改进无人驾驶汽车上的摄像头,从而给人们提供更安全的驾乘保障。
研究人员表示,未来该技术可以应用在从消费者的日常摄影、科学研究、医学成像到太空探索的诸多领域。
“该技术还可应用于改善医学检查,如超声成像和高动态范围(HDR)X射线成像,以及用于改进检测飓风和其他自然危险的传感器的精度和范围。” Ayush Bhandari说,“此外,它还可以帮助改进对诸如机场行李和金属材料和管道裂缝测试等物体的无损扫描。”
“我对科学研究向来持乐观态度,希望它能尽早运用到生活中,惠及全人类。”潘安说。(来源:科学网,中国科学报 张双虎)
相关论文信息:https://doi.org/10.1109/TSP.2021.3113497