星载微光成像仪CCD像元异常响应动态检测与校正
江军1,2, 姚志刚1,2,*
1.地理信息工程国家重点实验室, 陕西 西安 710054
2.北京应用气象研究所, 北京 100029
*通讯作者 e-mail: yzg_biam@163.com

作者简介: 江 军, 1991年生, 地理信息工程国家重点实验室工程师 e-mail: jiangjun19910217@163.com

摘要

地球的夜间微光信号强度是白天反射的可见光强度的百万分之一, 星载微光CCD成像载荷像元响应特性的微小变化将显著影响成像质量。 针对CCD推扫式载荷在轨响应特性的分析表明, 异常响应导致微光图像中出现多条强弱不一的沿轨亮线, 且具有数量时变性、 位置随机性和响应非线性的特征。 针对异常响应校正中无统一参考目标以及像元响应差异的非线性问题, 提出了一种空间域松弛匹配而辐射域严格映射的修正方法。 通过计算沿轨方向像元辐射均值的相对偏差, 利用直方图分析确定亮线检测阈值并实现自动检测。 在此基础上, 针对每一条亮线采取先建立参考辐射值、 后排序映射的方法实现亮线校正。 为验证算法效果, 分别选取包含海表、 沙漠、 湖冰、 大雾和冰川等5种典型均匀场景的微光观测数据进行测试。 测试结果表明, 校正处理后图像中亮线基本消失, 整体非均匀性相对改进44%、 强亮线非均匀性相对改进60%, 典型暗背景图像的信噪比由2提升至4.2。 该方法具有逐像元实时检测与校正的特点, 适用于无星上定标装置的推扫式CCD光学遥感卫星业务化辐射校正处理。

关键词: 微光; CCD; 非均匀性; 辐射校正
中图分类号:P414.4 文献标志码:A
Dynamic Detection and Correction for Abnormal Response of CCD Pixels in Spaceborne Low-Light Imager
JIANG Jun1,2, YAO Zhi-gang1,2,*
1. State Key Laboratory of Geo-Information Engineering, Xi’an 710054, China
2. Beijing Institute of Applied Meteorology, Beijing 100029, China
*Corresponding author
Abstract

The signal intensity of the earth at night is one-millionth of the reflected visible light intensity during the day. Small changes in the pixel response characteristics of the spaceborne low-light CCD imaging payload will significantly affect the imaging quality. The analysis of the on-orbit response characteristics of the CCD push-broom load shows that the abnormal response results in multiple bright lines along the track with different intensities in the low-light image, which have the characteristics of time-varying quantity, random position and nonlinear response. A correction method is proposed in which the spatial domain is loosely matched and the radiation domain is strictly mapped. By calculating the relative deviation of the mean radiation value of the pixels along the track, the bright line detection threshold is determined by histogram analysis and automatic detection is realized. On this basis, for each bright line, the method of establishing reference radiation value first and then sorting mapping is adopted to achieve bright line correction. In order to verify the effect of the algorithm, the low-light observation data of five typical uniform scenes including sea surface, desert, lake ice, fog and glacier, are selected for testing. The test results show that after correction, bright lines in the images disappear. The overall non-uniformity is improved by 44%, the non-uniformity of strong bright lines is relatively improved by 60%, and the signal-to-noise ratio of the typical dark background image is improved from 2 to 4.2. The method has the characteristics of real-time detection and correction pixel by pixel and is suitable for the operational radiometric correction of push-broom CCD on optical remote sensing satellites without on-board calibration devices.

Keyword: Low light; CCD; Nonuniformity; Radiometric correction
引言

随着光电技术的发展, 低照度条件下微光成像、 数据质控及其定量应用是近年来的研究热点之一[1]。 星载微光成像仪通过光电倍增管等技术增强可见光通道的灵敏度, 可全天候获取地表和大气反射信息, 实现月光等微弱光照条件下的成像, 是监测夜间和晨昏时段低云大雾、 积雪、 火灾等特征的有效手段[2, 3, 4, 5]。 然而微光成像仪CCD相机在轨运行期间, 其所处的工作环境与实验室定标环境存在很大差异, 受空间辐射、 单粒子效应等因素的影响, 星上CCD的响应特性和电路元件性能都可能发生变化, 从而导致部分CCD像元响应出现异常[6, 7]。 特别是在低照度条件下, 地球的夜间微光信号强度约10-11~10-9 W· cm-2· sr-1, 是白天反射的可见光强度的百万分之一[8, 9]。 微光成像仪CCD单个像元响应特性的微小变化, 将导致整个图像出现明显异常, 对成像质量的影响尤其显著。

目前常用的CCD像元异常响应校正方法主要有一点校正法、 两点校正法、 多点校正法和直方图均衡法等[10, 11]。 其中, 一点校正法只对各像元的偏移量进行补偿, 没有对增益作校正; 两点校正法对像元增益和偏移同时进行校正, 但仅适用于CCD像元为线性响应的情形, 对于非线性响应误差较大; 多点校正法计算精度高, 但运算量大、 时效性差, 难以工程实现[12, 13]; 直方图均衡法需要选取覆盖全量程的均匀样本, 且每个CCD异常响应像元都要建立一套校正系数, 实现起来比较困难[14]。 此外, 以上校正方法主要针对白天的可见光波段地面实验室校正, 且需要定期分析异常响应的特征, 逐像元更新校正系数, 难以实现微光CCD成像载荷在轨实时动态高精度校正。

通过对星载微光成像仪CCD像元异常响应特征进行分析, 发现异常响应在微光图像中主要表现为连续多条强弱不一的沿轨亮线。 针对长时间序列图像的亮线占比分析表明, 亮线条数随着在轨时间的增加而显著增加, 新增亮线位置具有随机性, 亮线响应具有时变性和非线性的特征, 严重影响图像质量和定量应用。 鉴于此, 提出一种空间域松弛匹配而辐射域严格映射的修正方法, 实现CCD像元异常响应的动态检测与校正, 显著提升微光图像质量。

1 实验部分
1.1 数据

星载微光成像仪采用沿轨推扫方式成像, 光谱范围为0.45~1.0 μ m, 由4台相机拼接实现2 800 km大幅宽探测。 微光成像仪CCD像元异常响应分析校正可选择L0或L1级数据, 为更加便于业务应用, 本文使用经过定位和定标处理的L1级经纬度、 辐射值数据开展算法研究。

1.2 亮线特征分析

微光成像仪CCD像元异常响应在图像中主要表现为多条沿轨竖直亮线, 如图1所示为UTC 2018/11/28的微光图像截图(100× 100像素)。 从图中可以看出, 亮线类型以单条孤立亮线为主, 同时也包含少量连续两条或三条相邻亮线, 且强弱不一, 既有非常明显的强亮线, 也有相对较暗的弱亮线。

图1 亮线影响下的微光图像Fig.1 Low-light image under the influence of bright lines

为进一步分析亮线特征, 分别选取新月(UTC 2020/01/22)、 半月(UTC 2020/01/17)和满月(UTC 2020/01/12)3个典型月相条件下的微光数据样例, 列方向辐射均值分布情况如图2所示。

图2 微光图像列方向辐射均值分布
(a): 新月; (b): 半月; (c): 满月
Fig.2 Mean radiance distribution along column direction in low-light images
(a): New moon; (b): Half moon; (c): Full moon

从图2可以看出, 从新月到满月的过程中, 随着月相逐步增大, 微光成像仪接收到的总辐射均值从6.22× 10-10 W· cm-2· sr-1增加到1.01× 10-8 W· cm-2· sr-1, 呈明显的递增趋势。 列方向辐射均值在不同月相条件下的连续性整体都较好, 但也存在很多辐射均值明显高于邻近像元的散点, 表明在微光成像仪部分CCD像元响应特性出现异常, 散点的偏离程度高低代表了CCD像元响应不一致性的大小; 此外, 红色方框标记处为CCD相机2和相机3之间的拼接处, 可以看到3个样例的拼接处均存在一定的跳变现象, 半月和满月样例尤其明显, 这说明当前微光成像仪还存在CCD相机间响应不一致的现象。

1.3 亮线检测与校正

亮线检测与校正算法流程如图3所示。

图3 亮线检测与校正算法流程图Fig.3 Algorithm flowchart of bright line detection and correction

该算法主要由数据预处理、 亮线检测和亮线校正三部分组成。 其中, 亮线检测包括辐射均值相对偏差计算和直方图分析两个步骤; 亮线校正包括双线性插值建立参考辐射值和排序映射校正亮线两个步骤。

1.3.1 数据预处理

首先, 对算法输入的星载微光成像仪L1经纬度和辐射值数据做缺省值剔除和强光照像元处理。 其中, 缺省值在经纬度、 辐射值数据文件中分别填充为999.9和-999, 可直接进行剔除; 强光照像元(如城市灯光、 野火和闪电等)的辐射值远高于地海表、 云雾等背景辐射, 且存在孤立分布、 连续性不强的特点, 容易在亮线检测阈值选取环节引入较大的不确定性, 因此也需进行预处理。 本文将辐射值大于整体平均值2.5倍的像元判定为强光照像元, 并在辐射均值计算时排除强光照像元的干扰。

1.3.2 亮线检测

根据亮线特征分析结果, 实现亮线检测的关键点主要有两个: 一是要能够识别多条连续亮线; 二是要能够同时识别强亮线和弱亮线。 本文采取对列方向辐射均值相对偏差做直方图分析的方法, 通过选取合适的阈值完成亮线动态检测。

(1) 辐射均值相对偏差计算

理论上, 微光成像仪各像元响应的一致性越好, 其相邻像元在列方向上的辐射均值相对偏差越接近零; 反之, 则越偏离零。 因此, 可以将辐射均值相对偏差作为亮线检测的判据。 为实现多条连续亮线检测, 相对偏差取左右各2个邻近像元相对偏差计算值的最大值。 如图4所示为相邻像元列方向辐射均值相对偏差的分布情况。

图4 微光图像列方向辐射均值相对偏差分布
(a): 新月; (b): 半月; (c): 满月
Fig.4 Relative deviation distribution of mean radiance along column direction in low-light images
(a): New moon; (b): Half moon; (c): Full moon

从图4可以看出, 相对偏差总体上保持在零相对偏差参考线(图中红线)附近, 但也存在大量偏差远大于0的像元。 此外, 从新月到满月的过程中, 随着月亮光照强度增大, 相对偏差的总平均值(图中总相对偏差)由45.8%降至2.6%, 表明亮线强弱受月亮光照条件的影响, 光照条件越差, 亮线对图像质量的影响也越显著。

(2) 直方图分析确定亮线检测阈值

为选取适用于各种月光条件的亮线检测阈值, 对相对偏差计算值做直方图分析, 结果如图5所示。

图5 相对偏差直方图
(a): 新月; (b): 半月; (c): 满月
Fig.5 Relative deviation histogram
(a): New moon; (b): Half moon; (c): Full moon

从图5可以看出, 三种典型月相条件下的直方图走势基本一致, 约1 800个像元相对偏差集中在0附近, 占总像元数的68%。 随着相对偏差逐渐增大, 像元频数先骤降到500左右, 然后再降到100以下。 根据直方图特征, 可选择第一个骤降点(图中红色箭头处)对应的相对偏差作为亮线检测阈值。 其中, 新月时阈值最大, 为12%; 半月时阈值居中, 为7%; 满月时阈值最小, 为1%。 考虑到弱亮线的相对偏差较小, 为提高弱亮线的识别率, 本文选取保守阈值T=1%作为亮线检测阈值。 此外, 针对长时间序列图像的亮线占比分析表明, 亮线条数随着在轨时间的增加而显著增加, 年增亮线条数目相对占比达到8%, 且新增亮线位置具有随机性。

1.3.3 亮线校正

亮线检测主要实现微光成像仪CCD异常响应像元的准确定位。 在开展亮线校正前, 还需进一步判断亮线响应是否为线性。 如图6所示为满月样例(UTC 2020/01/12)中的一条亮线与最邻近正常像元辐射的对比情况。

由图6(a)可见, 相邻像元沿轨方向观测值具有类似的变化趋势, 表明亮线像元与邻近像元仍然含有类似的信息, 只是两者之间存在着明显的偏差, 这可以理解为相邻像元响应特性的系统性差异。 图6(c)对亮线和邻近像元辐射值直接进行线性拟合, 可以看到拟合直线两边有大量散点。 图6(d)对亮线和邻近像元排序后的辐射值进行线性拟合, 可以看到低端和高端散点偏离拟合直线较大, 拟合后的离散度仍然较大。 进一步的分析表明, 亮线与邻近像元之间的响应差异具有非线性特征。 在假定相邻像元目标具有相同辐射分布特征的前提下, 分别对亮线和邻近像元辐射值进行排序, 排序后的像元响应理论上能够形成一一对应的映射关系, 这一点在图6(b)中得到印证。

图6 亮线与最邻近正常像元辐射对比
(a, c): 排序前; (b, d): 排序后
Fig.6 Radiance comparison between bright line and nearest normal pixels
(a, c): Before sorting; (b, d): After sorting

根据以上分析, 可建立一种空间域松弛匹配而辐射域严格映射的修正方法。 空间域松弛匹配解决相邻像元目标不一致性的问题, 辐射域严格映射解决相邻像元响应的非线性差异问题。 具体而言, 针对每一条亮线采取先建立参考辐射值、 后排序映射的方法实现亮线校正。

(1)双线性插值建立参考辐射值

为将亮线响应恢复到与周围正常像元一致, 首先需要建立亮线所在位置的参考辐射值。 利用亮线与邻近像元之间的空间位置关系, 采取双线性插值法将亮线周围的正常像元辐射插值到亮线列, 从而得到亮线参考辐射值。

(2)排序映射校正亮线

假定单幅微光图像由m行、 n列像素构成, 在建立亮线参考辐射值的基础上, 利用式(1)— 式(3)完成亮线校正。

[x'1j, x'2j, , x'mj]=R([x1j, x2j, , xmj])(1)

[y'1j, y'2j, , y'mj]=R([y1j, y2j, , ymj])(2)

y'ij=Fj(x'ij)(3)

其中, ij分别为微光图像行、 列号, [x1j, x2j, …, xmj]为图像中第j列亮线从第1到第m行的实测辐射值数组, [y1j, y2j, …, ymj]为图像中第j列亮线从第1到第m行的参考辐射值数组; R为排序函数, 其功能是将输入的数组按照从小到大的顺序排列为新的数组; x'ijy'ij分别为排序后数组[x'1j, x'2j, …, x'mj]、 [y'1j, y'2j, …, y'mj]中的第i个元素; Fj为第j列亮线的校正函数, 其功能是建立排序后的实测辐射值数组与参考辐射值数组的映射关系。 需要注意的是, 实际操作过程中排序后数组[x'1j, x'2j, …, x'mj]中可能有连续相同值, 而校正函数Fj无法实现“ 一对多” 映射, 因此需要先将连续相同的x'ij对应的y'ij做平均处理, 仅保留平均值完成“ 一对一” 映射。

根据以上校正算法, 对于任意一个亮线辐射值xij, 应满足xij∈ [x'1j, x'2j, …, x'mj], 有xij=x'kj(1≤ km)。 利用函数Fj可得对应的y'kj, 即为校正后的辐射值, 例如: 假设x5j=x'20j, 有y'20j=Fj(x'20j), 那么y'20j就是x5j校正后的辐射值。

2 结果与讨论

亮线会造成微光图像局部区域非均匀性显著增加, 从而影响图像视觉质量。 本文采用非均匀性指标(nonuniformity, NU)来验证算法的亮线校正效果, 非均匀性的数学表达式如式(4)[10, 13]

${{V}_{\text{NU}}}=\frac{1}{{{x}_{\text{avg}}}}\sqrt{\frac{1}{mn}\overset{m}{\mathop{\underset{i=1}{\mathop \sum }\,}}\,\overset{n}{\mathop{\underset{j=1}{\mathop \sum }\,}}\,{{({{x}_{ij}}-{{x}_{\text{avg}}})}^{2}}}\times 100\%$(4)

式(4)中, xavg为CCD像元辐射平均值, xij为单个像元辐射值。

为验证算法在不同光照条件下的适用性, 分别选取包含海表、 沙漠、 湖冰、 大雾和冰川等5种典型均匀场景的微光样例数据进行实验, 亮线校正前后微光图像对比结果如图7所示。

图7 亮线校正前后微光图像对比
(a): 东海海表(UTC 2021/11/19); (b): 塔克拉玛干沙漠(UTC 2021/11/19); (c): 贝加尔湖冰面(UTC 2020/01/12); (d): 大雾(UTC 2020/01/12); (e): 格陵兰岛冰川(UTC 2021/11/19)
Fig.7 Comparison of low-light images before and after bright line correction
(a): Surface of the East China Sea(UTC 2021/11/19); (b): Taklamakan Desert(UTC 2021/11/19); (c): Ice surface of Lake Baikal(UTC 2020/01/12); (d): Heavy fog(UTC 2020/01/12); (e): Greenland glacier(UTC 2021/11/19)

图7中红色方框选定区域为均匀目标, 左边、 中间图像分别为亮线校正前和校正后的微光图像, 右上、 右下图像分别为亮线校正前、 后图像中红色方框区域放大图。 从图中可以明显看出, 不同光照条件下的原始微光图像中均存在大量亮线。 经算法处理后, 亮线基本从图像中消失, 图像视觉效果得到明显改善。

针对选定的5处均匀目标, 分别计算亮线校正前后目标场景的像元辐射非均匀性, 结果见表1。 其中, 整体非均匀性是指目标场景中所有像元辐射的非均匀性, 反映的是算法对图像整体质量提升的作用; 强亮线非均匀性是指目标场景中强亮线列和最邻近非亮线列组成区域像元辐射的非均匀性(强亮线的判定标准为列方向辐射均值相对偏差大于30%), 侧重体现算法对强亮线引起的图像非均匀性的修复能力。

表1 亮线校正前后目标场景像元幅射非均匀性 Table 1 Nonuniformity of pixel radiance in target scenes before and after bright line correction

表1可见, 随着目标场景从海表到冰川, 对应辐射均值从3.44× 10-9 W· cm-2· sr-1逐渐增加到3.51× 10-8 W· cm-2· sr-1。 目标场景辐射范围跨越1个数量级, 涵盖低、 中、 高反射特性目标, 具有较好的代表性。 综合分析5处场景, 从图像整体改进效果来看, 亮线校正前图像整体非均匀性平均为21.1%, 校正后降低到11.8%, 非均匀性下降9.3%, 相对改进量约44%; 从强亮线修复效果来看, 校正前强亮线非均匀性平均为29.8%, 校正后降低到12%, 非均匀性下降17.8%, 相对改进量约60%。 值得注意的是, 东海海表亮线校正后图像整体非均匀性为23.7%, 而其他4类目标场景非均匀性介于7%~10%之间。 这主要是由于微光成像仪探测动态范围为4.0× 10-9~3.0× 10-2 W· cm-2· sr-1, 海表辐射接近仪器响应低端, 卫星接收辐射信噪比较低造成的(仪器探测灵敏度指标为SNR> 4@4.0× 10-9 W· cm-2· sr-1)[15, 16]

为进一步评估算法效果, 这里针对典型暗背景条件下的信噪比进行分析。 对于本身比较均匀的海表而言, 可将目标场景辐射均值与标准差的比值(即非均匀性的倒数)等效看作信噪比。 分析表明, 东海海表图像校正前信噪比为2, 校正后信噪比增加到4.2, 该算法可将海表信噪比提升1倍以上, 从而达到仪器探测灵敏度设计指标。

3 结论

针对星载微光成像仪CCD像元异常响应造成的图像亮线问题, 本文提出了一种空间域松弛匹配而辐射域严格映射的修正方法。 该算法首先通过计算沿轨方向像元辐射均值的相对偏差, 利用直方图分析确定亮线检测阈值并实现自动检测。 在此基础上, 利用双线性插值法建立亮线列参考辐射值, 并通过对亮线列和参考值在辐射域内排序映射实现亮线校正, 避免了空间域内直接替换所致的观测信息损失问题。 为验证算法效果, 本文选取了覆盖低、 中、 高反射率且表面均匀的5个典型目标场景进行实验。 定性来看, 处理后图像亮线基本消失, 图像视觉效果得到明显改善; 定量来看, 处理后图像整体非均匀性相对改进量达到44%、 强亮线非均匀性相对改进量达到60%, 表明了该方法的有效性。 针对典型暗背景图像的分析表明, 弱信号条件下的图像信噪比由修正前的2提升至4.2, 与仪器的设计指标一致。

该方法能够自动识别异常响应像元并完成快速校正, 不依赖历史数据和其他参考数据, 具有自动化程度高、 实时性强、 适用性好等优点。 此外, 该方法本质上是一种相对定标方法, 亮线校正后的辐射值有物理意义, 能够保持图像空间分辨率不降低, 适用于无星上定标装置的推扫式CCD光学遥感卫星辐射校正业务化处理。 后续将利用该方法处理相机间的不一致问题, 且需利用均匀场景开展绝对定标或与同类载荷交叉定标, 进一步提升星载微光成像仪数据质量, 为微光载荷的定量应用奠定基础。

参考文献
[1] HU Shen-sen, MA Shuo, JIANG Jun, et al(胡申森, 马烁, 江军, ). Acta Optica Sinica(光学学报), 2021, 41(15): 1500001. [本文引用:1]
[2] Lee T E, Miller S D, Turk F J, et al. Bulletin of the American Meteorological Society, 2006, 87(2): 191. [本文引用:1]
[3] Jiang J, Yan W, Ma S, et al. Weather and Forecasting, 2015, 30(6): 1763. [本文引用:1]
[4] Huang Y, Song Z, Yang H, et al. Remote Sensing of Environment, 2022, 268: 112766. [本文引用:1]
[5] Polivka T N, Wang J, Ellison L T, et al. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(9): 5503. [本文引用:1]
[6] Zhou G, Jiang L, Huang J, et al. Sensors, 2018, 18(6): 1794. [本文引用:1]
[7] WANG De-jiang, SHEN Hong-hai, SONG Yu-long, et al(王德江, 沈宏海, 宋玉龙, ). Acta Photonica Sinica(光子学报), 2012, 41(2): 232. [本文引用:1]
[8] Miller S D, Mills S P, Elvidge C D, et al. Proceedings of the National Academy of Sciences of the United States of America, 2012, 109(39): 15706. [本文引用:1]
[9] HU Xiao-hua, ZHOU Xiao-zhong, LIU Song-tao, et al(胡晓华, 周晓中, 刘松涛, ). Chinese Optics(中国光学), 2013, 6(5): 701. [本文引用:1]
[10] ZHU Hong-yin, GUO Yong-fei, SI Liang-guo(朱宏殷, 郭永飞, 司良国). Optics and Precision Engineering(光学精密工程), 2011, 19(12): 3034. [本文引用:2]
[11] GUO Jun-jie, YAO Zhi-gang, HAN Zhi-gang, et al(郭俊杰, 姚志刚, 韩志刚, ). Spectroscopy and Spectral Analysis(光谱学与光谱分析), 2019, 39(12): 3953. [本文引用:1]
[12] LIU Ze-xun, QUAN Xian-rong, REN Jian-wei, et al(刘则洵, 全先荣, 任建伟, ). Infrared and Laser Engineering(红外与激光工程), 2012, 41(8): 2211. [本文引用:1]
[13] XIU Ji-hong, HUANG Pu, LI Jun, et al(修吉宏, 黄浦, 李军, ). Acta Optica Sinica(光学学报), 2013, 33(7): 0711003. [本文引用:2]
[14] SUN Ling, TANG Jun-wu, ZHANG Jie(孙凌, 唐军武, 张杰). Acta Oceanologica Sinica(海洋学报), 2002, 24(6): 20. [本文引用:1]
[15] Miller S D, Straka W, Mills S P, et al. Remote Sensing, 2013, 5(12): 6717. [本文引用:1]
[16] HU Xiao-hua, LIU Song-tao, PAN Zhen-dong, et al(胡晓华, 刘松涛, 潘振东, ). Chinese Optics(中国光学), 2015, 8(3): 350. [本文引用:1]