CMOS图像传感器技术及新应用

在安防图像传感器sensor 一文中介绍了CCD和CMOS两种图像传感器的大致情况，但是对图像传感器的关键技术，性能参数，结构部分着墨不多。

早期的CMOS图像传感器在光线昏暗的环境下成像噪点大，清晰度也不及CCD，但是CCD传感器读取速度缓慢，难于满足日益高清化的视频监控图像采集的需要。随着技术革新发展，CMOS图像传感器产品结构不断优化，清晰度不断提升，各种功能性能，比如宽动态，信噪比，低照，智能功能等不断发展改进，CMOS取代CCD逐渐成为主流。这篇文章综合SONY，OV，Smartsens等几个常见CIS产品品牌，对CMOS图像传感器技术及发展做个总结。

结构

CMOS传感器应该是人体仿生学的作品，根据人眼的结构设计的1。下图是人眼的结构，光线通过晶状体映射在眼球后部的视网膜上（视网膜上有很多感光细胞），此时视神经会将这个信号传递给大脑，人就会感知到物体的光。

前照式

与人眼类似，CMOS 也是一个多层结构。在传统前照式（FrontSide lllumination，缩写为FSI）结构中，自上至下依次为片上透镜（Micro-lens）、彩色滤光镜（Color Filter）、电路层（Wiring Layers）和光电二极管（Photodiodes）。

当光线射入，经过了片上透镜和彩色滤光片后，先通过电路层（金属排线层），最后光线才被光电二极管接收。

在金属排线这层光线会被部分阻挡和反射，光电二极管吸收的光线就会减少，而且反射还有可能串扰旁边的像素，导致颜色失真。

人眼的视网膜结构图中，我们可以看见支持纤维，神经纤维层，神经节细胞层，还有血管全都是分布在各种感光细胞之上的，这与FSI CMOS图像传感器结构完全一样，从结构上看人眼是属于前照式的2。

视网膜结构图

背照式

背照式CMOS（Back-Illuminated CMOS或者BackSide Illumination，BSI）的金属排线和光电二极管的位置和前照式正好相反。自上至下依次为片上透镜（Micro-lens）、彩色滤光片（Color Filter）、光电二极管（Photodiodes）和电路层（Wiring Layers）。

在背照式结构中，光线几乎没有被阻挡和干扰就能照射到光电二极管，而且照射距离更短（相比FSI），因此光线利用率极高。背照式CMOS传感器能更好的利用照射入的光线，在低照度环境下成像质量更好。

但是前照式CMOS生产工艺简单，良品率高（相对于背照式），另外如果尺寸大不会有光线被金属层线路阻挡的问题（因为尺寸大，射入的光线足够多，被阻挡的光线可以忽略不计）。所以在一些领域，比如单反，前照式CMOS产品应用仍然很广泛。而在手机，安防等领域，因为对图像传感器的尺寸大小特别敏感，所以背照式产品居多。

堆叠式

CMOS 的制作和 CPU 的制作类似，需要特殊的光刻机对硅晶圆进行蚀刻，形成像素区域和处理回路区域（电路区域）。像素区域使用65nm工艺制作完全足够，但电路区域65nm远远不够，需要使用30nm制程。但传统CMOS中，像素区域和电路区域在同一块晶圆上，需要在同一个制程下制作，选择多少纳米工艺是个问题。

另一方面，蚀刻过程中，硅晶圆和像素区域会有损伤，此时则要进行一个叫做“退火（annealing process）”的热处理步骤，让硅晶圆和像素区域从损伤中恢复回来，这时候需要将整块 CMOS 加热。这么一热，同在一块晶圆上的电路区域肯定有一定的损伤了，原先已经“打造”好了的电容电阻值，经过退火后肯定改变了，这种损伤必定会对电信号读出有一定影响。

针对这两个问题，解决办法也呼之欲出了。将像素单元和电路单元分别是作为独立芯片构建，使用30nm制程打造电路单元，65nm打造像素单元，并单独“退火”，然后将两个单元堆叠到一起，这就是堆叠式CMOS，也叫堆栈式，积层式（stacked CMOS）。

堆叠式不仅继承了背照式的优点（像素区域依然是背照式），还克服了其在制作上的限制与缺陷。由于处理回路的改善和进步，摄像头也将能提供更多的功能，比如说硬件 HDR，慢动作拍摄等等，同时因为像素区域和电路区域分开，CMOS的尺寸变小。另一方面，相同CMOS尺寸下，像素区域能更大。以上，堆叠式CMOS具有了高画质，多功能，小型化的特点。

双层晶体管像素堆叠

一切都可以堆叠。CMOS的像素芯片内，用于将光转换为电信号的光电二极管和用于控制信号的像素晶体管原本在同一基片层并列排列。本着一切都可以堆叠的理念，2021年12月SONY全球首发了双层晶体管像素堆叠的CMOS图像传感器技术3 ，即将光电二极管和像素晶体管分开堆叠，从而可以独立优化光电二极管和像素晶体管。

优化光电二极管，使饱和信号量相比于传统图像传感器增加约一倍，进而扩大动态范围。增加像素晶体管中放大晶体管尺寸，能大幅降低夜间和其他昏暗场景下图像容易产生的噪点问题。双层晶体管像素堆叠式技术使动态范围扩大并降低了噪点，将避免在有明暗差（例如背光）的场景下曝光不足和过度曝光的问题，即使在光线不充足（例如室内、夜间）的场景下也能拍摄高质量低噪点的图像。

应用范围

除了传统的相机，安防，移动设备，CMOS图像传感器还广泛应用于汽车，机器视觉，物联网智慧产业等领域，这里重点介绍一些CMOS图像传感器新用途，新市场。

距离图像传感器

距离图像传感器，也叫ToF式距离图像传感器，ToF即Time of Flight。ToF方式的原理是利用激光、LED等发光源产生的光照射到被摄物上，通过计算反射光到传感器表面的时间差，测定图像传感器到对象物的距离。ToF方式大致可分为2种，即简单测量反射光检测时间差的Direct ToF 方式（dToF）和积存反射光、检测与光源的相位差，从而测定距离的Indirect ToF方式（iToF）。

ToF式距离图像传感器可检测各像素的距离信息，获取高精度的距离图像。在工业领域，生产，物流，农业畜牧业等多种应用场景中，小型且能够即时获取3D信息的ToF式距离图像传感器，可以满足不断上涨的识别、测量、自动化等需求。同时，AR/VR、自动驾驶，机器人及无人机等领域，ToF图像传感器可以用于手势识别、物体识别、障碍物检测等。

车用传感器

专门识别

抑制LED闪烁（拍摄LED标识、信号灯等时发生的LED闪烁）。提升各种环境下的识别性能，让驾驶更安全、更安心。

融合技术

把相机图像和LiDAR数据、毫米波雷达的Raw数据融合，从而对车辆等进行识别。即使在雾霭、逆光、雨夜等难以识别的环境中，也能更快地做出正确的识别。

偏光传感器

将偏光元件配置在光电二极管上，构建为一个芯片，可实现体积小巧的偏光相机。这样就能拍摄因太阳光反射而看不清的被摄体，细腻呈现物体表面的凹凸，从而用于包括车载在内的各种各样的用途，比如片剂填充检测，镜片变形检测，玻璃划痕、脏污检测等。

SWIR图像传感器

SWIR（Short Wavelength Infra-Red）是红外线的一种，即短波长红外线。一般，SWIR的波段为0.9μm-2.5μm，是红外线中接近于可见光的波段。

SWIR波段的光包含表现水分吸收的波段，可检测出可见光下难以识别的水分，用于果蔬挑选等。SWIR波段的光的吸收特性、反射特性，可以捕捉到可见光下难以捕捉到的物质，可用于异物检测等。SWIR波段的光可透过Si材质的性质，可用于半导体制造、检测。SWIR波段的光会对高温物质显示出高亮度，利用多个波长的亮度差，可推测温度。利用这一性质，可应用于焊接部等高温部的温推测。SWIR相比可见光，波长更长，因此，不易受空气中微粒子的影响，还可应用于远距离观察。

UV图像传感器

UV（紫外线）比可见光（400nm～780nm）的波长短，其波长范围是10nm～400nm。因此可被应用于检测可见光下难以检测到的细微划痕、缺陷等领域。另外，像透明塑料、玻璃瓶等在可见光下看起来一样的物体，但是对UV光吸收率不同，可以明确地将不同物体识别出来，用于材料的拣选。

电力设备电线的老化，在放电的同时，老化部分会放出紫外线。利用这一特性，对电力设备进行检测，能够很容易地确定老化部位，实现设备维护的自动化并节省人力。

AI功能的图像传感器

进行高速边缘AI处理，仅抽取必要数据，从而缩短使用云端服务时数据传输的延迟时间，保护隐私，降低电力消耗和通信成本等。

图像传感器搭载针对AI进行信号处理的DSP和可写入AI模型的存储器（用户可将任意AI模型写入存储器，并根据使用环境和条件进行改写和升级。），无需高性能处理器和外部存储器，就能实现边缘AI系统。

主要技术功能

衡量CMOS图像传感器性能优劣的核心技术主要有以下这些：（以安防领域应用为主，排除了诸如分辨率，尺寸等这些最基本的性能指标）

灵敏度

pixel sensitivity，图像传感器的感光度，灵敏度，单位：mV/lux·s。

量子效率

QE（quantum efficiency），量子效率。量子效率是描述光电器件（比如CMOS图像传感器）光电转换能力的一个重要参数，它是在某一特定波长（比如520nm）下单位时间内产生的平均光电子数与入射光子数之比。传感器的光电转换效率越高，其感光度就越高，图像能够提供的信息也更多。

近红外感光度

普通相机的拍摄以可见光照明为前提，但在安防应用中，有时需要在近红外领域（NIR，Near Infra-red。850nm-940nm）良好的拍摄感光性能，在完全暗处，可以凭借近红外光的照射，实现更高品质的NIR成像。

低照度

光线昏暗，低照度条件下的清晰拍摄技术对于监控摄像头而言是不可或缺的。超越人眼的感光度，不仅能捕捉暗处被摄体的形状，连质感也能真实再现。参见Starvis，Starvis2。

宽动态

固定设置的监控摄像头需要配合因时间段、状况而变化的光线条件，使摄像头始终适应照明的变化。有时会出现过亮与过暗部分同时存在的情况，此时，过亮处可能会过度曝光，而过暗处会出现暗部模糊。为了在明暗两种场景中都能清晰拍摄被摄体，调整曝光时间或增益，拍摄没有过度曝光和暗部模糊的图像的方法就是高动态范围功能（宽动态）。参见摄像机的宽动态功能。

全局快门

全局快门（Global Shutter）CMOS图像传感器可给高速运动的目标提供高质量的图像，不会因物体高速运动产生失真。

图像信噪比

图像信噪比（Signal-to-Noise Ratio，简称 SNR），为了获得较高的图像信噪比，我们需要增加信号项和降低噪声项，而这些项主要取决于满阱容量、灵敏度、像素暗噪声、读出电路噪声和像素串扰等像素性能指标。

在明亮条件下，满阱容量和像素串扰是影响图像信噪比的主要因素；而在黑暗条件下，灵敏度、像素暗噪声、读出电路噪声和像素串扰则是影响图像信噪比的主要因素。因此，从技术角度来看，在黑暗条件下获得较为理想的图像信噪比，即更佳的图像质量，就更为困难。

满阱容量

Full Well Capacity，FWC，将一个像元想象成一个阱，那么满阱容量就是阱中可以储存的最大电子数，与之相对应的是产生这些电子的最大光子数（即饱和照度）。饱和容量通过不同的相机图像直接测得，实际上用于描述相机特性。饱和容量通常小于满阱容量。如果对比图像传感器数据和相机数据，上述差异可能会造成争议。高饱和容量可实现更长的曝光时间。如果某个像元过曝，像元的DN值被设置成最大并且不包含有用信息。

暗电流

即便传感器处于没有光照的情况下，每个像元也能生成一个（暗）信号（电流）。暗电流与光照产生的电荷很难进行区分。

白点/坏点

图像传感器上的像素点有问题，缺陷，在视频监控画面上呈现为黑色或者白色，称为坏点，一般英文表述为bad pixel，不过或许dead pixel描述更准确。参考

光学串扰

crosstalk，当落在一个像素上的光子被周围的其他像素“错误地”感知到时，就会发生串扰。例如，如果我们只在红色像素上照射高度聚焦的光，而蓝色像素显示响应，我们称之为串扰。在这种极端情况下，蓝色通道响应会太高，并且会扭曲真实像素颜色。因此，减少小像素中的串扰已成为传感器设计中最困难和最耗时的任务之一。

参考：