文章目录
参考博客： https://blog.csdn.net/tyfwin/article/details/90487890
参考网上的博客，过滤一遍对于ISP的理解
一、什么是isp
ISP是Image Signal Processor 的简称，也就是图像信号处理器。
ISP一般用来处理Image Sensor（图像传感器）的输出数据，如做AEC（自动曝光控制）、AGC（自动增益控制）、AWB（自动白平衡）、色彩校正、Lens Shading、Gamma 校正、祛除坏点、Auto Black Level、Auto White Level等等功能的处理。
说到ISP就一定得说说DSP。
DSP是Digital Signal Processor 的缩写，也就是数字信号处理器。
DSP功能相对较多，它可以做些拍照以及回显（JPEG的编解码）、录像以及回放（Video 的编解码）、H.264的编解码、还有很多其他方面的处理，总之是处理数字信号了。ISP是一类特殊的处理图像信号的DSP。
个人理解为：ISP可以是帮助图像成像之前的一些处理，比如曝光度，成像的清晰度，这种。DSP是图像成像之后的处理，在成像的图片后进行识别，添加文字这种,相对来说，DSP的功能比较多。
二、ISP的框架
ISP可以看作一个独立soc，因为他的内部也包含CPU、SUP IP、IF 等设备，可以运行各种算法程序，实时处理图像信号。这里借助网上的一张图片可以看到ISP的内部框架。
1、 CPU：CPU 即中央处理器，可以运行 AF、LSC 等各种图像处理算法，控制外围设备。现代的 ISP 内部的 CPU 一般都是 ARM Cortex-A 系列的，例如 Cortex-A5、Cortex-A7。
2、 SUB IP：SUB IP 是各种功能模块的通称，对图像进行各自专业的处理。常见的 SUB IP 如 DIS、CSC、VRA 等。
3、 图像传输接口：图像传输接口主要分两种，并口 ITU 和串口 CSI。
4、 CSI 是 MIPI CSI 的简称，鉴于 MIPI CSI 的诸多优点，在手机相机领域，已经广泛使用 MIPI-CSI 接口传输图像数据和各种自定义数据。外置 ISP 一般包含 MIPI-CSIS 和 MIPI-CSIM 两个接口。内置 ISP 一般只需要 MIPI-CSIS 接口。
5、 通用外围设备：通用外围设备指 I2C、SPI、PWM、UART、WATCHDOG 等。ISP 中包含 I2C 控制器，用于读取 OTP 信息，控制 VCM 等。对于外置 ISP，ISP 本身还是 I2C 从设备。AP 可以通过 I2C 控制 ISP 的工作模式，获取其工作状态等。
; 三、ISP的逻辑控制
lens(透镜) 将光信号投射到sensor (传感器)的感光区域后，sensor 经过光电转换，将Bayer 格式的原始图像送给ISP，ISP 经过算法处理，输出RGB空间域的图像给后端的视频采集单元。在这个过程中，ISP通过运行在其上的firmware（固件）对ISP逻辑，从而对lens 和sensor 进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。其中，firmware的运转靠视频采集单元的中断驱动。
图像中的I2C/SPI一般是外置 ISP 的做法。SPI 一般用于下载固件、I2C 一般用于寄存器控制。在内核的 ISP 驱动中，外置 ISP 一般是实现为 I2C 设备，然后封装成 V4L2-SUBDEV，也就是我们现在android底层的V4l2的框架。
MEM MAP：这一般是内置 ISP 的做法。将 ISP 内部的寄存器地址空间映射到内核地址空间，MEM SHARE：这也是内置 ISP 的做法。AP 这边分配内存，然后将内存地址传给 ISP，二者实际上共享同一块内存。因此 AP 对这段共享内存的操作会实时反馈到 ISP 端。
四、ISP上的Firmware包含三部分
ISP 的Firmware包含三部分，一部分是ISP 控制单元和基础算法库，一部分是AE/AWB/AF 算法库，一部分是sensor 库。Firmware 设计的基本思想是单独提供3A算法库，由ISP控制单元调度基础算法库和3A 算法库，同时sensor 库分别向ISP 基础算法库和3A 算法库注册函数回调，以实现差异化的sensor 适配。ISP firmware 架构如图所示。不同的sensor 都以回调函数的形式，向ISP 算法库注册控制函数。ISP 控制单元调度基础算法库和3A 算法库时，将通过这些回调函数获取初始化参数，并控制sensor，如调节曝光时间、模拟增益、数字增益，控制lens 步进聚焦或旋转光圈等。
这些对应的算法库我们暂时都不了解，我们可以先放着，先了解大概知识。
; 五、内置isp和外置isp
就好像我们手机自己会带有音乐播放器，为啥我们还要去下载额外的播放器呢，因为其余的播放器做的更好，功能更多，对于我们的ISP也是，我们内置ISP可以满足需求，但是上限低，所以我们有时候会选择外置ISP.
当应用处理器（ap）处理ISP的时候，会对内置外置isp进行不同的处理。
5.1 内置ISP
内置 ISP 内嵌在 AP 内部，因此无需像外置 ISP 一样需要额外购买，且不占 PCB 空间，无需单独为其设计外围电路，这样就能节省 BOM，降低成本。鉴于大多数用户在选购手机时会将价格因素放在重要的位置，因此降低成本能有效的降低终端成品价格，有利于占领市场。
内置ISP的缺点：
上限低，可能没有外置iISP那么强悍。
; 5.2外置ISP
外置ISP的优点:
与AP无关，可以单独选型，而且专业的ISP会又很好的效果，能够提供比内置 ISP 更优秀的性能和效果。因此，选用优质的外置 ISP 能提供专业而且优秀的图像质量。
缺点:
价格贵，需要进行额外的调试，需要时间,相对来说，研发周期长。
Original: https://blog.csdn.net/weixin_51178981/article/details/124914508
Author: 永不秃头的程序员
Title: ISP学习（1）
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/633257/
转载文章受原作者版权保护。转载请注明原作者出处！