☰
IMX678 4K60瓶颈:像素读出与行时序如何制约CSI-2
2026/10/28 14:46:47 网站建设 项目流程

简介:面向安防监控、机器视觉与嵌入式相机开发者的Sony IMX678技术资料,以官方datasheet形式集中呈现这款1/1.8英寸、约840万有效像素CMOS图像传感器的核心规格。文档围绕3.0μm方形像素、3840×2160推荐录像分辨率、60fps全像素读出,以及RAW10/RAW12与CSI-2多Lane输出展开,并说明HDR、Sensor同步、可变速度快门和CDS/PGA增益等关键能力,便于选型评估、驱动适配与成像方案设计。资源包仅含1个PDF文件,大小约592KB,保持原厂资料结构,适合按产品信息、器件结构、读出模式与应用注意快速检索,也可作为硬件原理图评审和图像调试时的参数核对依据。目前已有2762人浏览学习,说明其在camera开发与安防成像领域具有较高参考价值。读者可从中获取像素阵列、供电时序、工作温度、增益范围及多模式读出等细节,为项目选型和底层配置提供直接支撑。

1. IMX678 datasheet 里的反直觉:4K60 的瓶颈不在 CSI-2

IMX678 datasheet 第一眼最容易被 3840×2160@60 fps 和 CSI-2 多 lane 吸引,但真正决定 camera 系统能不能稳住 4K60 的,不是接口堆了多少 lane,而是像素读出、列并行 CDS/PGA 和行时序能不能在 12 bit 下同时成立。更反直觉的是:这份 datasheet 里 10 bit 和 12 bit 的全像素帧率都标 60 fps,说明降位宽并没有换来更高帧率;2/2-line binning 把像素降到 1920×1080,帧率仍标 60 fps。读懂这些“没变”的地方,才能判断瓶颈在像素、读出还是链路。对做安防 camera、机器视觉和多目同步的开发者来说,这份 IMX678 datasheet 值得逐页拆,因为它把低照度、HDR 和接口带宽的取舍写在了同一张参数表里。

2. 2.0 μm 像素的灵敏度:0.2 lux 下少 12 dB 增益意味着什么

对比页给了一个很具体的现象:在 0.2 lux、F1.6、33.3 ms 曝光条件下,上一代同尺寸型号要开到 60 dB 增益,IMX678 只开到 48 dB,两者输出亮度接近。少掉的 12 dB 不是简单的“更灵敏”,它同时牵涉像素光路、暗电流、CDS 抑制和增益分配。2.0 μm 单位像素放在 1/1.8 型、8.86 mm 对角线的靶面上,像素面积并不宽裕,却要支撑 3840×2160 的推荐记录像素和 60 fps 全像素读出,所以灵敏度不能只靠“把像素做大”,只能从背照式光路、电荷转移和读出噪声里抠。

2.1 像素剖面:光到电荷的路径

把像素剖面拆成几层看:最上面是微透镜,负责把入射光聚到光电二极管区域;下面是彩色滤光片,R/G/B 马赛克决定每个像素拿到的光谱;再往下是背照式结构,光从背面进入,避开了正面的金属布线层,量子效率比前照式更容易做高。光电二极管把光子转成电荷,转移栅把电荷送到浮动扩散节点,源极跟随器再把电荷转成电压,后面接列并行 CDS 和 PGA。2.0 μm 像素里,深沟槽隔离和像素间遮光决定了串扰,也决定了低照度下彩色噪点的形态。

背照式对近红外特别关键。850 nm 光的吸收深度比可见光深,硅衬底如果太厚,电荷还没到光电二极管就被吸收掉了;太薄又会影响可见光。常见做法是把衬底减薄,并在背面做抗反射和聚光结构,让 850 nm 的量子效率尽量拉高。datasheet 里 850 nm 近红外对比图在 0 dB 增益下比较,说明它想强调的不是“夜间能出图”这么简单,而是近红外波段少开增益也能拿到可用亮度。对安防 camera 来说,这直接决定红外补光距离和功耗预算。

“无 smear”也来自这条路径。CMOS 有源像素每个像素独立复位、积分、读出,电荷不需要像 CCD 那样沿垂直寄存器长距离转移,强光不会在列方向拖出一条亮带。无 smear 不等于没有饱和溢出,强光下仍然会有 blooming 和局部过曝,只是不会出现整列拖影。暗电流低则靠光电二极管的 pinning 结构、转移栅时序和工艺缺陷控制,长曝光时热生电荷少,黑电平漂移才压得住。

2.2 15886 Digit/lx/s 与 3895 Digit 饱和值怎么读

datasheet 给的灵敏度是 Typ. 15886 Digit/lx/s,条件是 F5.6、12 bit 转换值、1 s 累积等效;饱和信号是 Min. 3895 Digit,同样是 12 bit 转换值。12 bit 满量程是 4095,3895 大约到满量程的 95%,刻意留了高光余量。这两个数要一起看:灵敏度决定暗部能拿到多少数字量,饱和值决定高光什么时候削顶,两者之间的比值和噪声底一起决定动态范围。

指标典型值/最小值测试条件读法
灵敏度Typ. 15886 Digit/lx/sF5.6,12 bit 转换同样照度和曝光下,数字量越高,暗部信噪比越好
饱和信号Min. 3895 Digit12 bit 转换接近满量程但不到 4095,保留高光余量
有效像素3856×2180,约 8.40 M器件结构表比推荐记录像素多出边界像素
推荐记录像素3840×2160,约 8.29 M读出模式表ISP 和编码链路通常按这个尺寸收
单位像素2.0 μm×2.0 μm器件结构表决定满阱、灵敏度和近红外效率的物理底子

灵敏度数字不是纯粹的物理量,它经过了模拟增益、CDS 和 12 bit 量化,所以横向比较时必须固定光圈、曝光、增益和黑电平。把 15886 直接当成“每 lux 多少 DN”去反推 0.2 lux 下的绝对输出,很容易翻车,因为对比页的增益、帧率和积分时间并不一定是同一组。更稳妥的读法是:在同一组测试条件下,它比上一代少 12 dB 增益还能达到相近亮度,说明像素光路和读出噪声的综合表现更好,而不是单纯“像素更灵敏”。

饱和值 3895 也解释了为什么 HDR 必须存在。普通单曝光模式下,高光只要超过满阱就削顶;HDR 用短曝光或低转换增益把高光接住,再用长曝光或高转换增益补暗部。IMX678 在 12 bit 下单次曝光的动态范围比同像素尺寸的上一代平台高 8 dB 以上,8 dB 约等于线性动态范围 2.5 倍,这个提升不是靠把饱和值拉到 4095 硬顶出来的,而是靠像素和读出链路的噪声底一起降。

2.3 暗电流、无 smear 与电子快门

IMX678 用电子快门,电荷积分时间可变,分辨率是 1H 单位。1H 是一行读出时间,全像素模式下按总行数 2200 行、60 fps 帧周期 16.67 ms 粗算,1H 约 7.58 μs;实际行消隐会占掉一部分,所以有效行时间更短。曝光时间以 1H 为单位,意味着曝光精度受行时间约束,帧率越高、行数越多,单步曝光越细;反过来,长曝光会直接把帧率拉低,因为一帧里要容纳更长的积分窗口。

暗电流随温度上升,datasheet 的特性表标在 Tj=60°C,这个条件不能忽略。夜间长曝光时,暗电流会以热生电荷的形式叠在信号上,表现为固定图案噪声和黑电平漂移;CDS 能消掉复位噪声中的 kTC 成分,但消不掉积分期间持续产生的暗电流。低暗电流的价值就在这里:同样 33.3 ms 曝光,暗电流少,黑电平稳,后面 HDR 合成时暗部才不会被噪声权重拖垮。

电子快门的时序可以粗略拆成:行复位→光电二极管积分→转移栅把电荷送到浮动扩散→源极跟随器输出→列并行 CDS 取样→PGA 放大→ADC 量化。CDS 在复位后和转移后各取一次样,相减把复位噪声和固定图案压下去;PGA 再把信号放大到 ADC 合适的输入范围。无 smear 是因为每个像素独立读出,暗电流低是因为积分区被 pinning 住,两者叠加,才解释得通对比页里少 12 dB 增益还能同亮度。

3. 从像素到 RAW12:60 fps 的读出链路怎么搭

4K60 不是一句“接口够快”就能成立。全像素模式推荐记录像素 3840×2160,总像素 3856×2200,意味着每帧要扫 2200 行;60 fps 的帧周期是 16.67 ms,平均每行只有 7.58 μs 左右。行时间里要完成复位、积分、转移、CDS、PGA 和 ADC,还要留出行消隐和 CSI-2 打包时间。10 bit 和 12 bit 都标 60 fps,说明瓶颈不在单纯的接口位宽,而在模拟读出和行时序;binning 到 1920×1080 仍标 60 fps,也说明它没有靠减少像素数去换帧率,而是保持同一套行时间框架。

3.1 行时序与 1H 单位快门

把读出链路拆成四层:像素阵列、列并行 CDS/PGA、ADC、CSI-2 打包。像素阵列按行曝光,每一行有自己的复位和转移时刻;列并行结构让每一列都有自己的 CDS/PGA 和 ADC,整行同时转换,所以行时间主要花在模拟建立和 ADC 转换上,而不是逐像素串行。全像素 60 fps 下,行时间被压得很紧,ADC 的转换位数、PGA 的建立时间和列线负载都会影响最高帧率。12 bit 比 10 bit 多两位,如果 ADC 转换时间成为瓶颈,降位宽本来应该能提帧率;datasheet 仍标 60 fps,说明限制更可能来自行时序、模拟建立或接口打包,而不是单纯的 ADC 位数。

读出模式推荐记录像素最大帧率输出接口ADC 位宽
All-pixel scan3840×2160,约 8.29 M60 fpsCSI-210 bit / 12 bit
Horizontal/Vertical 2/2-line binning1920×1080,约 2.07 M60 fpsCSI-210 bit
Window cropping取决于窗口随行数减少而变化CSI-210 bit / 12 bit
Normal/Inverted readout取决于模式取决于模式CSI-210 bit / 12 bit

这张表里最值得注意的是 binning 和裁剪的区别。2/2-line binning 把水平、垂直各两行/两列合并,像素数降到四分之一,灵敏度提高,但帧率仍标 60 fps,说明它没有把省下来的行时间全部换成帧率,可能受输出接口、行消隐或内部时序框架限制。窗口裁剪则是直接减少参与读出的行数,行数少了,帧周期里可用的行时间变多,帧率才有机会往上走。正/倒置读出改变行扫描方向,不改变像素数,主要方便倒装或镜像安装,减少 ISP 做翻转的负担。

1H 单位快门和行时序是绑在一起的。曝光时间写成 N×1H,实际积分窗口就是 N 行时间;帧率固定时,最大曝光时间受帧周期限制,长曝光必须降帧。多 sensor 同步时,曝光起点也要对齐到 1H,否则两个 camera 的行积分窗口错开,双目拼接就会在运动边缘出现错位。可变快门的“分辨率 1H”不是噱头,它决定了你能把曝光调得多细,也决定了同步时的时间基准有多粗。

3.2 CDS/PGA 的两段增益:0–30 dB 与 30.3–72 dB

datasheet 把增益分成两段:0 dB 到 30 dB 是模拟增益,步进 0.3 dB;30.3 dB 到 72 dB 是模拟增益固定 30 dB,再加数字增益 0.3 dB 到 42 dB,步进同样是 0.3 dB。这个分段不是随便切的,它把“尽量在模拟域放大”和“高增益段灵活可调”分开。模拟增益在 ADC 之前,放大的是像素输出和列放大器噪声,对信噪比的改善更真实;数字增益在 ADC 之后,放大的是已经量化好的数字值,输入噪声不会被改善,量化噪声和黑电平误差反而会被一起放大。

总增益范围模拟增益数字增益步进噪声影响
0–30 dB0–30 dB0 dB0.3 dB模拟域放大,信噪比改善相对好
30.3–72 dB固定 30 dB0.3–42 dB0.3 dB数字域放大,量化噪声和黑电平误差被放大

30 dB 模拟增益约 31.6 倍,72 dB 总增益约 3981 倍;30.3 dB 到 72 dB 的数字部分约 1.035 倍到 125.9 倍。低照度下先把模拟增益推到 30 dB,再考虑数字增益,是更稳的顺序。数字增益不是不能用,而是它适合在模拟增益已经到位、曝光和 binning 都试过之后做细调;拿数字增益去补曝光不足,画面亮度是上来了,暗部噪点也会一起上来,彩色噪点会变成块状,黑电平偏色会更明显。

0.3 dB 的步进让增益可以细调,但也意味着增益表要做得很密。实际调试时,模拟增益和数字增益的切换点要固定,黑电平校准要按增益点建表,否则在 30 dB 附近切换时会出现亮度跳变。HDR 模式下两段增益还会和短曝光/长曝光路径交叉,如果短曝光用低转换增益、长曝光用高转换增益,合成时的增益归一化必须算准,不然高光边缘会出现亮度断层。

3.3 CSI-2 lane 带宽与 RAW10/RAW12 的取舍

CSI-2 支持 2 Lane、4 Lane、8 Lane、4 Lane×2ch,输出 RAW10 或 RAW12。先把 payload 算清楚:3840×2160=8,294,400 像素,RAW12 每帧约 99.5 Mbit,60 fps 约 5.97 Gbit/s;RAW10 每帧约 82.9 Mbit,60 fps 约 4.98 Gbit/s。这是纯像素 payload,CSI-2 还有包头、ECC、行结束和 lane 分发开销,工程上按 15% 到 20% 余量估更稳。

输出格式每帧 payload60 fps payload加 15% 开销2 Lane 每 lane 粗算4 Lane 每 lane 粗算8 Lane/4×2 每 lane 粗算
RAW12约 99.5 Mbit约 5.97 Gbit/s约 6.87 Gbit/s约 3.43 Gbit/s约 1.72 Gbit/s约 0.86 Gbit/s
RAW10约 82.9 Mbit约 4.98 Gbit/s约 5.73 Gbit/s约 2.87 Gbit/s约 1.43 Gbit/s约 0.72 Gbit/s

这张表只算像素 payload,不代表实际 lane rate 可以刚好压到表里的数。CSI-2 的每 lane 速率由内部 PLL 和接收端能力决定,datasheet 没有给出具体 lane rate,所以选型时要拿接收端 SerDes/CSI-2 控制器的手册核对,别只看像素率。2 Lane 跑 RAW12 60 fps 对每 lane 压力很大,布线长度和信号完整性更敏感;4 Lane 是比较平衡的选择;8 Lane 或 4 Lane×2ch 适合高带宽或双通道接收,但 4×2 不是简单把 8 lane 并成一路,接收端要支持双 CSI-2 通道绑定,lane 映射和通道分配错了就会花屏。

RAW10 比 RAW12 省 20% 带宽,代价是少 2 bit 量化。低照度下暗部信号本来就小,RAW10 的量化台阶更粗,后期提亮时更容易出现色带;RAW12 保留更多暗部层次,但接口压力更大。10 bit 和 12 bit 都标 60 fps,说明在这颗 sensor 的全像素模式下,降位宽没有直接换来帧率,选 RAW10 更多是为了链路余量,而不是为了提速。如果系统卡在带宽上,先检查 lane 数、lane rate、通道绑定和接收端缓冲,再考虑降位宽或降帧率。

4. HDR 与多 sensor 同步:Digital overlap HDR 和 Clear HDR 差在哪

HDR 的目标不是把一张图“提亮”,而是同时接住高光和暗部。IMX678 列了两种 HDR:Digital overlap HDR 和 Clear HDR。前者靠多曝光在数字域重叠合成,后者更接近单帧内的高动态读出。两条路线的差别不在名字,而在时间差:多曝光一定有时间差,时间差就会带来运动伪影;单帧内双增益/双采样时间差小,但像素和读出链路更复杂。多 camera 同步时,HDR 模式还会和行时序、曝光起点纠缠,不能只看单 sensor 的出图效果。

4.1 数字重叠 HDR:多曝光在数字域拼回去

Digital overlap HDR 的常见思路是:同一帧周期内安排长曝光和短曝光,长曝光负责暗部,短曝光负责高光,读出后在数字域按亮度或噪声权重合成。所谓“重叠”,是指两次曝光在时间上有交叠或行间交错,不是等一帧完全读完再读下一帧。短曝光行先开始或先结束,长曝光行覆盖更长的积分窗口,读出时按行对齐,再逐像素合成。这样做的优点是动态范围扩展明显,暗部信噪比好;缺点是两次曝光的时间差会让运动物体边缘错位,高光边缘出现重影。

合成权重的设计是核心。亮部像素用短曝光值,暗部像素用长曝光值,中间过渡区按信噪比交叉淡化;如果权重曲线太硬,过渡区会出现亮度断层,太软又会让运动伪影更明显。短曝光和长曝光的曝光比越大,动态范围越高,但时间差也越大,运动伪影越重。工程上常用缩短曝光比、提高帧率、按运动区域切换权重来折中。行延迟校准也很关键,短曝光行和长曝光行如果差了几行时间,合成时要把行号对齐,不然高光边缘会偏。

4.2 Clear HDR:单帧内的高动态思路

Clear HDR 在 datasheet 里只给了名字,没有展开时序。按这个领域常见的实现思路,它更接近单帧内用两条转换增益或两次采样来扩展动态范围:高转换增益抓暗部,低转换增益抓高光,两次读出在同一个曝光周期内完成,或者用片内合成把高光和暗部拼起来。因为时间差小,运动伪影比多曝光数字重叠轻;代价是像素内要多一套采样/存储,读出链路更复杂,功耗和面积都更高。

对比项Digital overlap HDRClear HDR
扩展方式多曝光在数字域重叠合成单帧内双增益/双采样,片内或近片内合成
时间差较大,取决于曝光比和行交错较小,运动伪影更轻
运动伪影高光边缘可能重影相对轻,但高光过渡仍要校准
实现复杂度依赖外部 ISP 合成和行对齐更依赖 sensor 内部时序和增益归一化
适用场景静态或慢速场景,追求高动态范围运动场景,追求低伪影

这张表里 Clear HDR 的细节要标成“常见实现思路”,不能当成 datasheet 明示的寄存器行为。实际调试时,先确认当前固件支持哪种 HDR、输出是 RAW 多帧还是已合成帧、合成在片内还是 ISP 侧,再决定曝光比和权重。把 Digital overlap HDR 的调试经验直接套到 Clear HDR 上,很容易在增益归一化和黑电平上翻车。

4.3 同步与正反读出:多目系统的时间基准

多 sensor 同步功能解决的是多 camera 的时间基准问题。常见做法是共时钟、共触发,主 sensor 输出同步信号,从 sensor 复位行计数器,让两个 sensor 的曝光起点对齐到同一行。IMX678 支持同步 sensors 功能,也支持水平/垂直方向正常/倒置读出;倒装安装时用倒置读出,省掉 ISP 翻转,但同步配置必须统一,不能一个正读一个反读还指望行号自然对齐。

同步的难点不在“同时开始”,而在“同时曝光”。两个 sensor 的帧率、行时间、曝光值都要一致;曝光值以 1H 为单位,差一行就是几微秒的时间差,双目拼接在运动边缘就会错位。HDR 模式下,短曝光和长曝光的行交错也要同步,否则一个 sensor 的长曝光行对不上另一个 sensor 的长曝光行,合成后的深度图或拼接图会出现相位漂移。调试时先关 HDR、固定帧率、固定曝光,用测试图案验证行号对齐,再开 HDR 和可变快门,这样能把同步问题和 HDR 问题分开。

5. 调 IMX678 的避坑排查:五个现象背后的真实原因

datasheet 给的是参数和模式,不会告诉你 bring-up 的顺序。实际调试里,低照度噪声、黑电平偏色、4K60 丢帧、多 sensor 同步漂移和 HDR 重影这五类问题最容易让人以为是“玄学”。下面按现象、原因、解决拆开写,都是踩坑之后回头看参数表才明白的细节。

5.1 低照度与黑电平:两个最像“玄学”的坑

现象一:0.2 lux 下把总增益拉到 72 dB,画面亮度够了,暗部彩色噪点和块状噪声反而更脏。原因通常不是 sensor 灵敏度不够,而是 30 dB 以上进入数字增益段,ADC 后的量化噪声、黑电平误差和固定图案被一起放大;如果模拟增益没推到 30 dB,曝光时间也没给足,数字增益只是在放大噪声。解决顺序应该是:先把模拟增益推到 30 dB,再开 2/2-line binning 提高灵敏度,必要时降帧率换长曝光,最后才用数字增益补剩余亮度;同时按增益点重新校准黑电平,检查暗部去噪是不是在 RAW 域做得太重。

现象二:盖住镜头后画面不是纯黑,角落偏绿或偏紫,增益越高越明显。原因跟光学黑区域有关:IMX678 的光学黑只在垂直方向前 20 行,水平方向前后都是 0 像素。拿画面角落或 active 边缘当黑参考,会把暗电流和像素差异当成黑电平,彩色通道一平衡就偏色。解决是用垂直前 20 行做黑电平统计,按增益和温度建表,黑电平校准要在 RAW 域完成;镜头遮光罩漏光也会造成类似现象,先确认遮光再怀疑 sensor。

5.2 带宽、lane 与多 sensor 同步:链路层的坑

现象三:4K60 RAW12 间歇性丢帧或花屏,降到 30 fps 或 RAW10 就正常。原因多半是 CSI-2 带宽余量不够或 lane 映射错误。按像素 payload 算,RAW12 60 fps 约 5.97 Gbit/s,加 15% 开销接近 6.87 Gbit/s

本文还有配套的精品资源,点击获取

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询