图像融合评价指标
图像融合评价指标
基于信息理论
基于**信息理论（Information theory-based）**的方法，包含以下四种，交叉熵CE（Cross entropy），熵EN（Entropy），互信息MI（Mutual information），峰值信噪比PSNR（Peak signal-to-nosie ration）。
交叉熵CE
计算交叉熵时，需要参考原始的两张图片(红外图片和可见光图片)。 $$ CE(T,V,F)=\frac{CE(T,F)+CE(V,F)}{2}\ CE(T,F)=\sum^{255}{i=1}h_T(i)log_2\frac{h_T(i)}{h_F(i)}\ CE(T,F)=\sum^{255}h_V(i)log_2\frac{h_V(i)}{h_F(i)} $$ 其中，$T$为红外图像，$V$为可见光图像，$F$为融合图像，$h_T(i)$为红外图像直方图统计，$h_V(i)$为可见光图像直方图统计， $h_F(i)$为融合图像直方图统计，在实际编程时若$h_F(i)$或者$\frac{h_T(i)}{h_F(i)}$，$\frac{h_V(i)}{h_F(i)}$为0，可以上下都+1，防止出现上面的情况。
交叉熵计算得到的值，越小越好，最小值为0，为0代表和原来两幅图像一致，当然实际不可能为0，越小也就代表着和原来图像越接近，保留的细节也就越多。
熵EN
熵的概念就比较好理解诶了，计算熵时，不需要考虑原始的两幅图像。 $$ H(F)=\sum^{255}_{i=0}-p_F(i)log_2(p_F(i)) $$ 其中，$p_F(i)$为灰度直方图的统计概率，如果$p_F(i)$=0，可以在运算中直接跳过进行下一次的循环。
熵计算得到的值，越大越好，值越大，信息量包含的就越大，保留的图像的细节也就越多。
互信息MI
互信息MI计算时，需要参考原始的两张图片(红外图片和可见光图片)。 $$ I(X,Y)=\sum_{x,y}p_{XY}(x,y)log_2\frac{p_{XY}(x,y)}{P_X{x}P_Y{y}} $$ 其中，$p_{XY}(x,y)$为联合概率密度分布。$P_X(x),P_Y(y)$为两幅图像的直方图统计概率;
如果 X,Y 相互独立，那么$I(X,Y)=0$。
而对于 T,V,F 而言，互信息量为：$MI(T,V,F)=I(T,F)+I(V,F)$
后来有其他作者对这种方法进行了改进，得到了另外一个公式：$MI(T,V,F)=2*(\frac{I(T,F)}{H(T)+H(F)}+\frac{I(V,F)}{H(V)+H(F)})$
对于上面两个互信息量的公式，第一个公式得到的结果越大越好，而第二个公式值越小越好。
峰值信噪比PSNR
计算PSNR时，需要参考原始的两张图片(红外图片和可见光图片)。
峰值信噪比经常用作图像压缩等领域中信号重建质量的测量方法，它常简单地通过均方差（ MSE ）进行定义。 $$ PSNR(I,K)=10log_{10}(\frac{L^2}{MSE(I,K)})\ MSE(I,K)=\frac{1}{mn}\summ_{i=0}\sumn{j=0}||I(i,j)-K(i,j)||^2 $$ 其中，$m,n$为图像的宽高，$I、K$为图像在$i,j$位置的像素值。 $$ PSNR(T,V,F)=\frac{PSNR(T,F)+PSNR(V,F)}{2} $$ 对于峰值信噪比，值越大越好，值越大说明融合图片和原始图片之间差别就越小，说明细节保留的就越多。
基于结构相似性
结构相似性SSIM
在计算SSIM时，需要参考原始的两张图片(红外图片和可见光图片)。 $$ SSIM(T,V,F)=\frac{SSIM(T,F)+SSIM(V,F)}{2} $$ $SSIM(T,F)$和$SSIM(V,F)$都是基于原始的$SSIM$计算公式得到的，原始的$SSIM$计算基于两张图像之间的亮度、对比度和结构三部分组成：
$l(T,F)=\frac{2\mu_T\mu_F+c_1}{\mu2_T+\mu2_F+c_1}$,$l(T,F)=\frac{2\mu_V\mu_F+c_1}{\mu2_V+\mu2_F+c_1}$
$\mu_T,\mu_V,\mu_F$分别为$T,V,F$图像的均值；
$\sigma_T,\sigma_V,\sigma_F$分别为$T,V,F$图像的标准差；
$\sigma_{TF},\sigma_{VF}$分别为$T和F,V和F$图像的协方差；
$c(T,F)=\frac{2\sigma_T\sigma_F+c_2}{\sigma2_T+\sigma2_F+c_2}$,$c(V,F)=\frac{2\sigma_V\sigma_F+c_2}{\sigma2_V+\sigma2_F+c_2}$
SSIM计算得到的值在[0,1]之间，越大越好。
越大也就代表着融合图像和原来两幅图像越接近，保留原始两幅图像的细节也就越多。
均方根误差RMSE
在计算RMSE时，需要参考原始的两张图片(红外图片和可见光图片)。 $$ RMSE(T,V,F)=\frac{RMSE(T,F)+RMSE(V,F)}{2}\ RMSE(T,F)=\sqrt{\frac{1}{MN}\sumM_{i=1}\sumN_{j=1}(I_T(i,j)-I_F(i,j))^2}\ RMSE(V,F)=\sqrt{\frac{1}{MN}\sumM_{i=1}\sumN_{j=1}(I_V(i,j)-I_F(i,j))^2} $$ 其中，$M,N$为图片的宽、高；$I$为图像在$i,j$位置的像素值。
RMSE计算得到的值越小越好。
越小也就代表着融合图像和原来两幅图像越接近，保留原始两幅图像的细节也就越多。
基于图像特征
第三部分我们接着介绍基于**图像特征（Image feature-based）**的图像融合质量评价指标，包含以下五种AG（Average gradient），EI（Edge Intensity），SD（Standard deviation），SF（Spatial frequency）， QAB/F （Gradient-based fusion performance），翻译过来就是平均梯度、边界强度、标准差、空间频率、基于梯度的融合性能。
平均梯度AG
计算平均梯度时，无需原始图像的两幅参考图。 $$ AG(F)=\frac{1}{(M-1)(N-1)}\sum{M-1}_{i=1}\sum_{j=1}\sqrt{\frac{(I(i+1,j)-I(i.j))2+(I(i,j+1)-I(i,j))2}{2}} $$ 其中，$M,N$为图像的宽高，$I$为图像在$i,j$位置的像素值。
平均梯度(AG)越大越好，越大图像细节越多，清晰度越高。
边缘强度EI
计算边缘强度时，无需原始图像的两幅参考图。 $$ EI(F)=\frac{\sqrt{\sumM_{I=1}\sumN_{j=1}s_x(i,j)2+s_y(i,j)2}}{M*N} $$
$$ s_x=fh_x,s_y=Fh_y $$
其中，$M,N$为图片的宽高;$h_x,h_y$为$x,y$方向的$Sobel$算子;$s_x,s_y$为$Sobel$算子卷积后的结果。
边缘强度(EI)越大越好，越大图像质量越高，也就更清晰。
标准差SD
计算标准差时，无需原始图像的两幅参考图。 $$ SD(F)=\frac{\sqrt{\sumM_{i=1}\sumN_{j=1}(I(i,j)-\mu)^2}}{M*N} $$ 其中,$M,N$为图片的宽、高；$\mu$为均值；$I$为图像在$i,j$位置的像素值。
标准差SD越大越好，越大图像质量越高，也就更清晰。
空间频率SF
计算空间频率时，无需原始图像的两幅参考图。 $$ SF=\sqrt{RF2+CF2}\ RF=\sqrt{\frac{1}{MN}\sumM_{i=1}\sumN_{j=2}(I(i,j)-I(i,j-1))^2}\ CF=\sqrt{\frac{1}{MN}\sumM_{i=2}\sumN_{j=1}(I(i,j)-I(i-1,j))^2} $$ 其中,$M,N$为图片的宽、高；$I$为图像在$i,j$位置的像素值。
空间频率SF越大越好，越大图像质量越高，也就更清晰。
基于梯度的融合性能QAB/F
计算基于梯度的融合性能时候，需要参考原始图像的两幅参考图。
利用局部度量来估计来自输入的显著信息在融合图像中的表现程度，同样使用了 Sobel 算子。
基于梯度的融合性能值越大越好，越大图像质量越高，保留的原始图像的信息也就越多。
基于人类启发感知
第四部分我们接着介绍**人类启发感知（Human perception inspired）**的图像融合质量评价指标，包含以下两种$Q_{CB}$( Chen-Blum metric),$Q_{CV}$(Chen-Varshney metric),都是作者名字命名的方法
$Q_{CB}$
在计算$Q_{CB}$的时候，需要参考原始的两张图片(红外图片和可见光图片)。
$Q_{CB}$越大图像质量越高，保留的原始信息也就越多。
$Q_{CV}$
在计算$Q_{CV}$的时候，需要参考原始的两张图片(红外图片和可见光图片)。
$Q_{CV}$越小图像质量越高，保留的原始两幅图像的信息也就越多。