传统基于RGB体制的显示技术,其本质是异谱同色成像,为进一步提升显示端与真实物体反射光谱匹配度,减少色差,本文提出一种基于多通道的反射光谱重建方法,可在显示端更加接近物体反射特性,色差更小,效果更真实。本方法通过增加显示通道的数量,扩大了光谱范围,提高显示信息的完整性;并利用QPSO (量子粒子群)多光谱重建算法,拟合真实物体表面反射光谱,达到重建物体真实反射光谱目的。在实验验证中,首先利用LED光源,对4种标准光源照射下的24色标准色卡中的各个颜色进行反射光谱重建,共计384组光谱。当通道数量从3增加到8时,光谱匹配度从80%增加到大于90%,且平均色差小于2,验证了本方法可以大幅度提高显示光谱与真实物体的光谱匹配度,同时大幅减少色差。 The essence of the traditional display technology based on RGB system is heterochromatic imaging. In order to further improve the matching between the display end and the reflection spectrum of the real object and reduce the color difference, this paper proposes a re-flection spectrum reconstruction method based on multi-channel, which can be more accurate on the display end. Close to the reflection characteristics of the object, the chromatic aberration is smaller, and the effect is more realistic. By increasing the number of display channels, the method expands the spectral range and improves the integrity of the displayed information; and uses the QPSO (quantum particle swarm) multispectral reconstruction algorithm to fit the reflection spec-trum of the real object surface to achieve the purpose of reconstructing the real reflection spectrum of the object. In the experimental verification, the LED light source was used to reconstruct the re-flection spectrum of each color in the 24-color standard color card under the illumination of 4 standard light sources, resulting in a total of 384 groups of spectra. When the number of channels increased from 3 to 8, the spectral matching degree increased from 80% to more than 90%, and the average chromatic aberration is less than 2. It is verified that this method can greatly improve the spectral matching between the displayed spectrum and the real object, and at the same time great-ly reduce the chromatic aberration.
传统基于RGB体制的显示技术,其本质是异谱同色成像,为进一步提升显示端与真实物体反射光谱匹配度,减少色差,本文提出一种基于多通道的反射光谱重建方法,可在显示端更加接近物体反射特性,色差更小,效果更真实。本方法通过增加显示通道的数量,扩大了光谱范围,提高显示信息的完整性;并利用QPSO (量子粒子群)多光谱重建算法,拟合真实物体表面反射光谱,达到重建物体真实反射光谱目的。在实验验证中,首先利用LED光源,对4种标准光源照射下的24色标准色卡中的各个颜色进行反射光谱重建,共计384组光谱。当通道数量从3增加到8时,光谱匹配度从80%增加到大于90%,且平均色差小于2,验证了本方法可以大幅度提高显示光谱与真实物体的光谱匹配度,同时大幅减少色差。
光谱匹配度,多光谱重建,QPSO,色差
Kanghua Wang, Lijun Xu*, Yu Ren, Jianwei Zhou, Dongliang Li, Tingting Wang, Hongxing Cai
School of Physics, Changchun University of Science and Technology, Changchun Jilin
Received: Nov. 8th, 2022; accepted: Jan. 5th, 2023; published: Jan. 12th, 2023
The essence of the traditional display technology based on RGB system is heterochromatic imaging. In order to further improve the matching between the display end and the reflection spectrum of the real object and reduce the color difference, this paper proposes a reflection spectrum reconstruction method based on multi-channel, which can be more accurate on the display end. Close to the reflection characteristics of the object, the chromatic aberration is smaller, and the effect is more realistic. By increasing the number of display channels, the method expands the spectral range and improves the integrity of the displayed information; and uses the QPSO (quantum particle swarm) multispectral reconstruction algorithm to fit the reflection spectrum of the real object surface to achieve the purpose of reconstructing the real reflection spectrum of the object. In the experimental verification, the LED light source was used to reconstruct the reflection spectrum of each color in the 24-color standard color card under the illumination of 4 standard light sources, resulting in a total of 384 groups of spectra. When the number of channels increased from 3 to 8, the spectral matching degree increased from 80% to more than 90%, and the average chromatic aberration is less than 2. It is verified that this method can greatly improve the spectral matching between the displayed spectrum and the real object, and at the same time greatly reduce the chromatic aberration.
Keywords:Spectral Match, Multispectral Reconstruction, QPSO, Chromatic Aberration
Copyright © 2023 by author(s) and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
传统基于RGB成像显示已经应用十分广泛,但其本质是异谱同色成像,即成像显示端所显示的光谱与物体的真实光谱存在较大差异。随着科学技术的高速发展,人们对色彩还原的精度要求逐渐提高,如何在显示端实现“色谱合一”(即颜色与光谱一一对应)成为了一项十分重要的研究 [
最早Gressmann在1854年总结出著名的Gressmann定律,为现代色度学颜色测量和标定奠定了基础 [
基于以上传统基础理论,诸多科学家针对多基色显示减小同色异谱,即提高显示端的光谱匹配度问题开展了一系列的研究。2005年Michael等人研究了基于多基色显示时避免同色异谱的方案,优化了多基色的显示设计,并提供了避免同色异谱问题的设计规则,但仍受到任何单一滤波器引起的颜色混淆增加的影响 [
随着多色显示理论研究的深入,针对多色显示器件的研究也得到了许多重大进展。2017年Ji等人研究了量子点液晶显示背光技术广色域的特点,以及在提升显示器件色域方面的优势 [
以上研究分别从理论和技术方面对多色显示领域进行了探讨,并提供了不同的研究思路。本文针对传统RGB体制中出现的颜色压缩以及同色异谱问题,提出了一种针对物体反射光谱的多色拟合技术,首先通过增加显示通道数,扩大光谱范围,提高了颜色信息显示的完整性;再利用QPSO算法重建真实物体表面反射光谱,大幅度提高了光谱匹配度并减少了误差。
物体真实表面反射光谱是一条连续曲线,多光谱成像系统可以获取物体表面所有颜色的反射光谱曲线。虽然由一般的成像设备获取的RGB响应值也能重建出反射光谱,但是,与只有三个光谱通道的普通RGB三色图像相比,多光谱图像包含了更多的光谱通道,所以多光谱图像包含了更加丰富而且准确的光谱信息,这使得多光谱成像系统重建出的反射光谱精度比普通成像设备重建出反射光谱精度更高。另外,对物体反射光谱的多个波段的采样可以特别详细的记录颜色特性,有效的解决了传统方法下数据精度过低的问题。多光谱技术还通过对采样通道数量的增加,极大地提高了色彩信息显示的完整性,因此能实现高精度的色彩拟合。
因此为了提升显示端光谱匹配度和减少色差,本文采用不同颜色的LED光谱为多通道光谱,针对物体真实反射光谱对其拟合。目前,进行多光谱拟合的主要方法是迭代算法。成熟的迭代算法有很多种,如最速梯度法,以及在光谱研究领域最常用的最小二乘法等,因为最小二乘法具有运算效率高,对矩阵操作方便等优点,故选用最小二乘法进行拟合计算。
最小二乘法:
首先根据光谱叠加原理得到LED的光谱合成模型:
L ( λ ) = ∑ k i S i ( λ ) (1)
式中: L ( λ ) 为拟合后的LED光谱模型, k i 为拟合系数, S i ( λ ) 为不同波段的单个LED模型。
1) 光谱离散采样,构建目标光谱矩阵 S ( t ) :
S ( t ) = [ y 1 , y 2 , y 3 , ⋯ , y t ] T (2)
式中,t为目标光谱的离散采样点个数,y为各采样点,T表示矩阵转置。
2) 构造LED光谱矩阵 S L E D ( i ) 和LED单元 N i ( t ) :
S L E D ( i ) = [ N 1 ( t ) , N 2 ( t ) , ⋯ , N t ( t ) ] T (3)
式中,t为LED单元离散采样点个数,i为拟合单元个数决定拟合矩阵的大小以及仿真的精度,LED单元越多仿真精度越高。
3) 构造系数矩阵 K = [ k 1 , k 2 , ⋯ , k i ] T ,得到拟合计算公式:
S L E D ( i ) × K = S t (4)
4) 通过上式计算出系数K,这里 i ≪ t ,因此该计算为超定方程的求解过程,而超定方程组没有古典意义下的解,但是可以求出它的广义解法,即最小二乘解 K ∗ :
‖ S ( t ) − S L E D ( i ) K ∗ ‖ 2 = min K ∈ R t ‖ S ( t ) − S L E D K ‖ 2 (5)
目前有很多算法可以实现超定方程组的最小二乘解,常见的有模拟退火算法、遗传算法、L-M算法等,PSO算法等 [
PSO算法是一种基于群体智能的优化算法,在PSO系统中,每个优化问题的潜在解都可以想象成N维搜索空间上的一个点,称之为“粒子”,而所有的粒子都有一个被目标函数决定的适应值,即目标函数值。每个粒子在搜索空间中以一定的速度飞行,这个速度根据它本身的飞行经验来动态调整。通常粒子将追随当前最好的粒子,并经过逐代搜索,最终得到最优解。在每一代中,粒子将跟踪两个最好的位置,一个是粒子本身迄今找到的最好位置,称为个体最好位置(pbest)。另一个为整个粒子群迄今找到的最好位置,称为全局最好位置(gbest) [
而QPSO算法是基于PSO算法的进阶算法,具体算法流程如下,在一个N维的目标搜索空间中,OPSO算法由M个代表潜在问题解的粒子组成群体 X = { X 1 , X 2 , ⋯ , X M } ,在t时刻,第i个粒子位置 X i ( t ) = [ X i , t ( t ) , X i , 2 ( t ) , ⋯ , X i , N ( t ) ] , i = 1 , 2 , ⋯ , m
粒子没有速度向量。个体最好位置表示为 P i ( t ) = [ P i , 1 ( t ) , P i , 2 ( t ) , ⋯ , P i , N ( t ) ] ,群体的全局最好位置为 G ( t ) = [ G 1 ( t ) , G 2 ( t ) , ⋯ , G N ( t ) ] ,且 G ( t ) = P g ( t ) ,其中g为处于全局最好位置粒子的下标, g ∈ { 1 , 2 , ⋯ , M } 。
对于最小化问题,目标函数越小,对应的适应值越好。粒子i的个体最好位置pbest:
P i ( t ) = { X i ( t ) 若 f [ X i ( t ) ] < f [ P i ( t − 1 ) ] P i ( t − 1 ) 若 f [ X i ( t ) ] ≥ f [ P i ( t i − 1 ) ]
群体的全局最好位置gbest:
g = arg min 1 ≤ i ≤ m { f [ P i ( t ) ] } G ( t ) = P g ( t )
利用多个单峰离散的LED光谱拟合目标光谱,需要在保证相邻LED光谱存在叠加区域的前提下,选择覆盖目标光谱的LED单元,利用合成方法对选择的LED合成目标光谱的效果进行仿真实验,对拟合结果进行光谱匹配度分析,根据拟合结果调整LED模型参数,再次进行仿真实验,最终确定光谱拟合最优系数。
由于LED发光特性,单个LED在其光轴方向上单位立体角内辐射功率随电流变化的关系可以用高斯函数来近似,采用物理量表示如下:
L λ = α I e − 2 ( λ − λ c ) / ω 2 (6)
式中 L λ 为单个LED在光轴方向上的辐射强度, α 为光电转换系数,对于单个LED转换系数为常数,I为电流, λ c 为峰值波长。
实验测得的LED光谱分布函数并不是轴对称的,直接用高斯分布拟合单个LED光谱会有偏差,但由于标准高斯拟合的相关系数为0.982,与实际光谱曲线的相关系数接近于1,且我们是对多个波段的LED进行光谱拟合,所以选用标准高斯分布的LED光谱进行拟合是可行的 [
为了使实验更加符合实际情况,我们模拟了4组方案,分别为传统RGB通道(即本文中的3通道),4通道,6通道和8通道,各组数据如表1及图1所示。
Number of channels | Center wavelength(nm) | FWHM(nm) |
---|---|---|
3 | 435, 546, 700 | 100 |
4 | 420, 500, 580, 660 | 100 |
6 | 410, 470, 530, 590, 650, 710 | 80 |
8 | 400, 445, 490, 535, 580, 625, 670, 715 | 65 |
表1. 4种不同通道数下各LED具体参数
图1. 模拟仿真的3组LED光谱。(a) 为RGB 3通道;(b) 为4通道;(c) 为6通道;(d) 为8通道
对于QPSO算法在光谱拟合上的理论支持,现对理论进行实验验证,由仿真实验结果分析该方法的光谱拟合效果。
为了使得模拟实验具有一般性,我们选用的目标光谱为处于4种标准光源照射下的24色标准色卡反射光谱。标准色卡均是用哑光油漆或涂料模拟自然界典型物体的光谱曲线制作而成,对自然界典型物体颜色具有较好代表性。具体见图2,标准光源则模拟了现实生活中不同场景下的自然光源。我们选用的四种标准光源分别为A光源,CWF光源,D65光源,HZ光源,具体光源参数见表2。
图2. 24色标准色卡
standard light source | Alight source | CWFlight source | D65light source | HZlight source |
---|---|---|---|---|
color temperature | 2856 K | 4150 K | 6500 K | 2300 K |
表2. 标准光源参数
图3为各光源照射下标准色卡第4,10,14,16的反射光谱:
图3. 标准色卡在4种光源照射下的第4,10,14,16个色块的反射光谱。(a) 为标准光源A照射下的反射光谱;(b)为标准光源CWF照射下的反射光谱;(c) 为标准光源D65照射下的反射光谱;(d) 为标准HZ照射下的反射光谱
我们随机选取A光源照射下的第4色块,CWF光源照射下的第10色块,D65光源照射下的第16色块,HZ光源照射下的第14色块作为目标,分别将这4种反射光谱作为目标光谱。随后我们选取可见光波段380~760 nm,分别将图1中模拟的3通道,4通道,6通道,8通道光谱作为基向量光谱,运用QPSO算法对其拟合,部分拟合结果如图4所示:
图4. QPSO算法拟合图。(a) 为标准光源A照射下色卡第4色块反射光谱;(b) 为标准光源CWF照射下第10色块反射光谱;(c) 为标准光源D65照射下第16色块反射光谱;(d )为标准光源HZ照射下第14色块反射光谱
对比实验结果我们可以发现,在目标光谱中出现过于“陡峭”的波峰或者出现过于“平缓”的波峰时,拟合光谱与目标光谱之间差异较大。这是因为在选择基向量时,所选的基向量其半高宽远大于目标光谱中部分波段的半高宽或者所选的基向量其半高宽远小于目标光谱中部分波段的半高宽,FWHM拟合 ≫ FWHM目标,或FWHM拟合 ≪ FWHM目标。
分析以上问题我们可以得到,理论上只要我们所选的基向量半高宽越小,数量越多峰值波长间隔越小的LED光谱数据组合成光谱越平滑,拟合光谱与目标光谱相似度越高,能更好的分辨目标光谱尖峰处的细节,但是间隔越小使计算量、数据采集量都会增加。
所以使用间隔过小的LED光谱数据拟合成目标光谱是不符合实际的。在调整基向量参数时要尽可能符合实际LED光谱参数。
根据以上模拟仿真分析,我们对结果进行光谱匹配度 [
η = E 1 − E 2 E 3 × 100 % (7)
η :光谱匹配度;
E 1 :拟合光谱积分面积;
E 2 :拟合光谱与目标光谱未重合部分积分面积;
E 3 :目标光谱积分面积。
在接下来实验中,我们拟合了在4种光源条件下,分别用RGB 3通道,4通道,6通道和8通道作为基向量,对24色标准色卡各色块的反射光谱,总共384组实验。针对该实验结果,我们对其进行光谱匹配度分析,分析结果见下表3:
standard light source | Maximum spectral match | ||||
---|---|---|---|---|---|
3channels | 4 channels | 6 channels | 8 channels | ||
Alight source | 80.34% | 84.53% | 95.19% | 95.30% | |
CWF light source | 83.75% | 94.91% | 95.45% | 95.81% | |
D65 light source | 81.37% | 89.68% | 95.23% | 95.34% | |
HZ light source | 76.64% | 80.12% | 93.64% | 94.26% | |
standard light source | Average spectral match | ||||
3 channels | 4 channels | 6 channels | 8 channels | ||
A light source | 78.16% | 74.83% | 90.42% | 90.30% | |
CWF light source | 81.57% | 91.07% | 93.00% | 92.57% | |
D65 light source | 79.91% | 83.36% | 93.03% | 92.33% | |
HZ light source | 73.02% | 71.31% | 88.99% | 90.21% | |
表3. 光谱匹配度
图5. 各通道下光谱匹配度对比。(a) 为平均光谱匹配度;(b) 为最大光谱匹配度
由图5可以看出,随着通道数的增加,光谱匹配度逐渐增大。6通道时拟合光谱与目标光谱的光谱匹配度基本大于90%,8通道时全部大于90%,拟合结果优异。
CIEDE2000差公式为CIE专委会在2000年提出的新的色差评价公式,此公式在目前国际上所有新的和旧的视觉实验数据的测试中均有较精确的预测性能。具体公式如下:
Δ E 00 2 = ( Δ L ′ K L ⋅ S L ) + ( Δ C ′ K C ⋅ S C ) 2 + ( Δ H ′ K H ⋅ S H ) 2 + R T ⋅ ( Δ C ′ ⋅ Δ H ′ K C ⋅ S C ⋅ K H ⋅ S H ) (8)
Δ E 00 = Δ E 00 2 (9)
式中: Δ L ′ 为亮度差异; Δ H ′ 为色相角差异; K L 为亮度参数因子; K H 为色相角参数因子; S L 为亮度加权函数; S C 为色度加权函数; S H 为色相角加权函数; R T 为在CIEDEAB空间的蓝色和蓝紫色区域中根据彩度变化计算的旋转度 [
具体计算过程主要包含以下四个步骤:
1) 计算目标颜色样品在CLELAB颜色空间中的L、A、B;
2) 计算 a ′ 、 C ′ a b 和 h ′ a b
{ L ′ = L a ′ = ( 1 + G ) ∗ a b ′ = b C ′ a b = a ′ 2 + b ′ 2 h ′ a b = arctan ( b ′ / a ′ ) (10)
其中,
G = 0.5 ∗ ( 1 − C a b ∗ ¯ 7 / C a b ∗ ¯ 7 + 25 7 ) (11)
其中 C a b ∗ ¯ 表示两个色样的平均彩度值。
3) 计算 Δ L ′ 、 Δ C ′ a b 和 Δ H ′ a b
{ Δ L ′ = L ′ 1 − L ′ 2 Δ C ′ a b = C ′ a b , 1 − C ′ a b , 2 Δ H ′ a b = 2 C ′ a b , 1 ∗ C ′ a b , 2 sin ( Δ h ′ a b / 2 ) (12)
4) 计算 S L 、 S C 、 S H 和T:
{ S L = 1 + 0.015 ( L ′ ¯ − 50 ) 2 20 + ( L ′ ¯ − 50 ) 2 S C = 1 + 0.045 C ′ a b ¯ S H = 1 + 0.015 C ′ a b ¯ T T = 1 − 0.017 cos ( h ′ a b ¯ − 30 ∘ ) + 0.24 cos ( 2 h ′ a b ¯ ) + 0.32 cos ( 3 h ′ a b ¯ + 6 ∘ ) − 0.2 cos ( 4 h ′ a b ¯ − 63 ∘ ) (13)
其中,
{ R T = − sin ( 2 Δ θ ) R C Δ θ = 30 exp { − [ h ′ a b ¯ − 275 ∘ / 25 ] 2 } R C = 2 C ′ a b ¯ 7 / C ′ a b ¯ 7 + 25 7 (14)
Color Card | L | a | b |
---|---|---|---|
A-1 | 81.57 | 22.62 | 43.17 |
A-2 | 70.5 | 36.64 | 21.68 |
A-3 | 70.48 | 36.64 | 21.64 |
A-4 | 78.07 | 23.16 | 17.42 |
A-5 | 76.26 | 36.75 | 60.63 |
A-6 | 75.37 | 22.27 | -19.9 |
A-7 | 95.41 | 6.61 | 55.19 |
A-8 | 56.61 | 59.25 | 32.08 |
A-9 | 62.21 | 52.99 | 57.37 |
A-10 | 62.24 | 52.93 | 57.09 |
A-11 | 90.64 | 13.47 | 50.13 |
A-12 | 90.64 | 13.47 | 50.15 |
A-13 | 87.94 | 26.25 | 102.89 |
A-14 | 87.95 | 26.25 | 102.9 |
A-15 | 87.91 | 26.34 | 103.01 |
A-16 | 94.19 | 9.67 | 47.12 |
A-17 | 85.9 | 27.62 | 90.04 |
A-18 | 68.33 | 46.63 | -29.05 |
A-19 | 96.19 | 4.71 | 35.39 |
A-20 | 85.49 | 17.87 | 33.68 |
A-21 | 82.68 | 19.66 | 29.93 |
A-22 | 83.74 | 18.1 | 29.35 |
A-23 | 83.34 | 18.42 | 28.26 |
A-24 | 76.53 | 30.03 | 32.1 |
表4. A光源照射下4通道拟合后Lab值
表4为A光源照射下4通道拟合后的Lab值。所有模拟结果根据4.2式计算得CIEDE2000平均色差如表5所示:
number of channels | RGB 3 channels | |||
---|---|---|---|---|
standard light source | A light source | CWF light source | D65 light source | HZ light source |
CIEDE2000Average color difference | 3.4 | 4.2 | 3.65 | 3.74 |
表5. 色差分析
图6. 4种标准光源下4、6、8通道色差分析
由表4可以看出,当LED光谱基向量为4通道时,拟合光谱与目标光谱之间色差较大,特别是针对于在D65光源下的色卡反射光谱,色差为3.1,拟合结果不理想。由图6可看出,随着LED光谱基向量的增加,色差逐渐减小,当通道数为8时,4种标准光源下的平均色差均 ≤ 2,表明模拟结果良好,满足要求,证明了我们第2节中结论的准确性。
综上所述,我们通过增加显示通道的数量,模拟了3、4、6、8通道的LED光谱,扩大了光谱范围,并首次利用QPSO算法将模拟的4组LED基向量光谱与4种标准光源辐照24色标准色卡的全部384组光谱进行拟合。结果表明,随着通道数的增加,光谱匹配度逐渐增大,色差逐渐减小。8通道时光谱匹配度全部大于90%,平均色差均 ≤ 2,证明了该多色拟合技术提升显示端与物体真实反射光谱匹配度和减少色差的可行性。
吉林省自然科学基金项目(20200201257JC)。
王康华,徐立君,任 玉,周建伟,李栋梁,王婷婷,蔡红星. 物体反射光谱的多色拟合技术研究 Research on Multicolor Fitting Technology of Object Reflectance Spectrum[J]. 传感器技术与应用, 2023, 11(01): 58-70. https://doi.org/10.12677/JSTA.2023.111007