camera和图像处理过程

lanlancky / 2023-05-13 / 原文

camera 分类

camera 实际上包含了两类产品，一种是以拍摄静态图片为主的digital still camera，中文叫做相机，比如各种单反相机和微单类产品。

另一类是以拍摄连续视频为主的video camera，中文叫做摄像机，比如各种安防监控摄像头（video surveillance camera/CCTV security camera），运动DV，家用camcorder，以及录制影视节目用的电影摄像机（cinema camera）。

用于手机的camera则有一点特别，拍照和拍视频两种功能使用都比较频繁。

行车记录仪和流媒体后视镜属于车载camera产品，也是近年来增长比较快的市场。

在所有这些camera 产品中，CMOS sensor 是当之无愧的核心元件，它位于镜头和图像信号处理器（ISP）之间，把光信号转换成ISP能够处理的数字信号（电信号）。CMOS sensor 与镜头、ISP一起构成了camera 的灵魂，决定了camera 的核心价值。

camera 指标

分辨率指标:比如某手机支持1200万像素摄像头，它背后的意义是该手机使用sensor抓拍静态照片时输出分辨率为4056x3040=1233,0240的完整尺寸图像，而拍照之前的预览视频则一般默认是1920x1080的FHD高清图像。
抓拍和预览时图像分辨率不同的原因：第一是省电，处理1200万像素的预览视频消耗的能量基本上是200万像素的6倍，手机的电量会迅速耗光；第二是成本，能够处理1200万像素预览视频的ISP复杂度更高，芯片面积更大，价格也更贵。第三是没有必要，因为手机屏幕的主流才刚刚达到200万像素，更高的分辨率没有实际意义。基于以上原因，手机在抓拍和预览时需要进行模式切换，而每次切换模式需要为sensor和ISP重新配置大量的寄存器参数，一般会有2万个左右，所以在切换瞬间预览视频会短暂黑屏，而实际抓拍到的图像与预览图像会存在一个明显的时间延迟。这个延迟会给用户造成不少困扰，比如会使家长们在抓拍小孩的表情时遇到一定的技术困难，会错过很多生活中的精彩瞬间。
像素密度：描述一幅图像的质量，一种常用的定义是PPI(pixel per inch)或DPI(dot per inch)，即每英寸长度上（1in=25.4mm）打印多少个像素点。Photoshop软件中默认的标准像素密度是72dpi，高质量标准是300dpi。下面的例子说明了不同像素密度对应的图像质量效果。

一张A4 纸的尺寸是210mm×297mm，即8.27inx11.69in。当以72dpi质量打印图像时，图像的分辨率至少需要是595×842，当以300dpi质量打印时，图像的分辨率至少需要是2480×3508。

在我国一般采用国际单位体系，因此像素密度通常用PPM（pixels per meter）单位。在安防行业中，人们一般将图像质量从高到低分为5个等级，每个等级可以满足一定的应用需求，即
- Identification：图像质量优秀，图像中提供了充足的细节，可以完全确定目标的身份，并排除其它可能性
- Recognition: 图像质量良好，图像提供的细节足以断定图像中的目标是否与真实人物（或参考照片）属于同一人物
- Classification：图像质量一般，图像提供的细节仅能帮助分辨体貌特征，如男女、高矮、颜色等，但不能断定全部细节
- Detection：图像质量差，仅能勉强分辨图像中是否存在关注的目标
- Useless：图像质量太差，不能说明任何问题

下图说明的是人脸识别场景涉及的图像质量等级

下图说明的是车牌识别场景涉及的图像质量等级

图像信号处理过程

完整的图像处理流程由镜头（Lens）、CMOS图像传感、ISP处理芯片以及IO接口芯片组成。拍摄景物通过镜头（lens），将生成的光学图像投射到传感器（sensor）上，然后光学图像被转换成电信号，电信号再经过模数转换变为数字信号，数字信号经过DSP加工处理，再被送到电脑中进行处理，最终转换成手机屏幕上能够看到的图像。

Lens是一个能够接收光信号并汇聚光信号于感光器件CMOS/CCD的装置。 LENS的作用：汇聚光线，在CMOS/CCD上形成景物的图像，为了成像清晰，减少像差，镜头用多片镜片组合，根据需要通过调整LENS获得拍照所需要的焦距。

CMOS图像传感器的作用：