AI in sensor, ISP and Soc
AI技术除了在实际的安防项目中应用，在安防芯片（或者说模组）核心硬件中也有了应用。一个安防摄像机芯片的核心部分是sensor，isp以及soc（仅网络摄像机。模拟摄像机一般不涉及soc）。
如标题所示，这篇文章主要总结AI技术在安防芯片中的关键部位--sensor，isp以及soc中的应用。关于AI在安防 soc中的应用其实之前已经有多篇文章总结过了，这里为了文章的完整性，仍然列出。
AI in sesnor
AI技术能在图像传感器（CIS）这一硬件中有什么应用，的确很考虑人的想象力。传统理解上，sensor仅是将光线转换成模拟信号的元器件，如何能将AI技术介入？
也许是受物联网中云边端结合的架构的启发，Sony推出了AI sensor产品（目前没看见其他CIS产商有类似的产品和技术），sensor端能直接输出结构化数据。核心之处在于在传统像素芯片之下叠加（堆栈结构）逻辑芯片，逻辑芯片中包含有简单的ISP处理，AI信号处理，以及AI模型存储等结构，这样sensor端就能直接输出经AI模型处理过的结果云数据，同时还可根据需要更新/选择不同的AI模型。
当然，除了输出结果元数据，可以根据需要，选择输出常规的图像或者裁剪的感兴趣区域图像。
可以看出，AI sensor减少了数据量（据测试，Sony IMX500数据量仅为传统图像传感器的1/7400。数据来源），因而能提高传输速度，减少对云平台的依赖，降低功耗。同时因为输出的仅为元数据，无法指向具体的个人，能顺带取到很好的隐私保护作用。
目前Sony推出了第一代AI sensor产品imx500/501，并以此产品为基础推出了边缘AI传感开发者平台，简称aitrios（trios即3个S，指索尼半导体解决方案公司(Sony Semiconductor Solutions Corp)）。可以基于imx500/501这样的ai sensor开发相应应用。另外Sony还公布了其IMX500 AI sensor在罗马智慧城市项目中的应用案例。
AI in ISP
AI在ISP中的应用，这个其实很好理解。传统的ISP处理，主要是对从sensor端获取的模拟信号进行数字处理，比如降噪，3A控制，宽动态，防抖，NIR等。这是一个针对不同场景，应用不断优化调整的过程。当然这个调优过程中的积累，数据经验完全可以用于新的产品，这也就是为什么同样的新方案，老牌的安防厂商图像效果始终能保持一贯的水准，而新入局的，效果总觉得差强人意。
经验可以积累，但是需要时间。图像效果可以不断调优，但是伴随着场景增多，图像像素增大，调试中的参数也越来越多，开发周期越来越长，而画质提升的投资收益率越来越低。
在ISP调优中引入AI技术，利用强大的AI算力，深度学习纷繁复杂的场景和数据，智能调优复杂参数，最后输出学习好的算法模型来辅助图像ISP调优，加快开发周期，突破画质极限。
看见最早公开提出AI ISP概念的是华为海思（大约2021年前后，越影系列AI ISP技术），但是鲜见比较好的相关产品面世。最近又见采用爱芯元智的AX620U的安防模组面世，搭载有其AI ISP，有去噪、HDR成像、场景增强等优化，搭配一般的sensor，低照成像效果似乎很不错。
AI ISP未来能突破的应用场景应该是低照（搭配较普通的sensor，在无可见光或者弱关的场景下，能菜色清晰成像），更好的HDR表现，3A控制（色彩更逼真，无限接近人眼所见），各种复杂的环境场景（雨天，雾天，强光等）。
以上是ISP芯片厂商给出的解决方案，作为模组厂家，能否以大数据，算力，自己建立训练模型，获得的调优数据，直接应用于普通的ISP？
AI in SoC
AI Soc目前是整个安防芯片领域的重头。各大安防芯片产商主推的就是SOC的AI功能，从普惠的人形侦测，声音侦测，到比较高阶一点的机非人，车牌识别，人脸识别等等，功能很多，落地的产品也很多。之前也有很多文章有相关介绍，这里不一一展开，重复。感兴趣可以自行搜索。这里重新罗列更新下目前安防领域的SOC芯片，当然主要是支持AI功能的，IPC SOC。
联咏
联咏（官网--https://www.novatek.com.tw/ ），Novatek，台湾企业，产品以显示屏幕驱动IC，行车记录仪芯片为主。
- NT98566 arm Cortex A9 CPU@max. 1GHz.1G DDR.相当于Hi3516EV300
- NT98562 arm Cortex A9 CPU@max. 1GHz.512MB DDR.相当于Hi3516EV200
- NT98520 相当于Hi3516CV500
- NT98525 相当于Hi3516DV300
- NT98528 相当于Hi3516AV300
智源
智源，Grain Media，改名升迈，被联咏收购，代表作GM8135S，常用于消费类Wi-Fi IPC。
晨星
晨星，Mstar，台湾的芯片厂家，被联发科收购。产品型号以MSC开头，现在多被星宸 取代，与其渊源很深。
星宸
星宸，SigmaStar，总部厦门，对外宣称技术团队来源于 晨星。IPC类产品种类很齐全，从200万到4K均有，产品型号以SSC, SSR开头。
- MSC335 ⅔MP smart home IPC, low power.
- SSC335 arm Cortex-A7@800Mhz，512MB DDR2.3MP IPC.相当于3516EV200.
- SSC338Q 4K@20FPS，2Gb DDR(SSC338D带1Gb DDR).0.5T算力.相当于Hi3516DV300.
- SSC338G 4K@20FPS.不带DDR.1T算力.相当于Hi3516DV300.
- SSC339G 4K@30fps.不带DDR.1T算力.
- SSC336Q 内置2Gb DDR(SSC336D自带1Gb DDR).3MP@30FPS，0.5T算力.相当于Hi3516CV500.
- SSC337DE 内置1Gb DDR.5MP@20FPS,1080P@60FPS.相当于Hi3516EV300.
- SSC30KD/KQ 5MP@30FPS,分别内置1Gb和2Gb DDR，带0.5T AI算力。
- SSC359G ARM Cortex-A53 Dual Core with max. 1.2GHz.12M@25fps.
海思
略过
富瀚
富瀚微， fullhan，位于上海，海康威视的关联公司，主要产品是模拟摄像机ISP，IPC SOC。
- FH8858V200 8MP15fps,外接DDR
- FH8856V200 5MP25fps,内置128MB DDR
- FH8658 5MP20fps,0.5T,外接DDR
- FH8856V210 5MP25fps,内置128MB DDR
- FH8852V200 4MP20fps,内置64MB DDR
- FH8656 4MP25fps,0.5T,内置128MB DDR
- FH8852V210 4MP20fps,内置64MB DDR
- FH8652 3MP20fps,0.5T,内置64MB DDR
- FH8852V201 3MP25fps,0.5T,内置64MB DDR
- FH8636 3MP25fps,0.5T.内置64MB DDR
安凯
安凯 ，anyka，位于广州。代表作AK3918E，用于消费类Wi-Fi摄像机。
国科
国科微，gokemicro，位于长沙，产品涉及存储、智能机顶盒、视频编解码、物联网等。
- GK7205V300 ARM CortexA7@900MHz，32KB I-Cache,32KBD-Cache,128KB L2 Cache.1Gb DDR3L.Pin to Pin with Hi3516EV300.Up to 5MP IPC
- GK7205V200 ARM CortexA7@900MHz，512Mb DDR2.Pin to Pin with Hi3516EV200.For ⅔/4MP IPC.
- GK7202V300 ARM Cortex A7@900MHz，512Mb DDR2.Pin to Pin with Hi3518EV300.For smart home camera, low power.
- GK7605V100 ARM Cortex A7@900MHz，4Gb DDR3/DDR3L.Pin to Pin with 3516DV200.
- GK7102 1/1.3MP IPC
- GK7202 2MP IPC
君正
君正，ingenic，位于北京，产品主要涉及微处理器，智能视频。安防芯片主要有用于消费类摄像机的T20/21（200/300 万 IPC SOC）, 最新的还有T31X，T41，T40N，T31N等。
安霸
安霸 ，ambarella，总部位于美国的台湾企业。很早就从事安防，视觉识别，消费类电子的芯片公司，安防类芯片很多，但是价格偏贵，性价比不高，国内使用不多。
Ti
Ti，德州仪器，美国的半导体公司，早期在IPC SOC领域市场认可度很高，代表作DM365，DM368。
瑞昱
瑞昱 ，Realtek，台湾公司，产品主要包括电脑周边，通讯，多媒体等IC。安防类产品RTS3903N，用于消费类Wi-Fi摄像机（200万）。
瑞芯微
瑞芯微 ，Rockchip，位于福州，专注于音视频，移动多媒体芯片的研发设计。安防类芯片代表作RV1108，RV1109，RV1126。
齐感
齐感 ，SensLab，位于上海，边缘人工智能芯片的开发和解决方案的提供。代表作QG2101B，用于小蚁科技的YI IOT方案IPC。
雄迈
雄迈，XM，杰峰，巨峰，位于杭州，主要从事安防模组的设计研发，也有自研的安防SOC，比如XM530，XM550，XM650等。
爱芯元智
- AX630A 4K@60FPS.32Tops@int4，8Tops@int8
- AX620A 4K@30FPS.14.4Tops@int4, 3.6Tops@int8
- X650A.8K@30fps
- AX65N.8K@30fps.43.2Tops@int4，10.8Tops@int8
- AX620U
