基于频域的像素光场图像重聚焦算法

　　摘要：提出一种基于像素光场的频域重聚焦算法。首先建立四维光场与像素光场的关系模型，然后基于傅里叶变换，建立了像素光场的重聚焦方法，并分析了傅里叶切片的作用和重采样的方法。在实验中，对比积分投影法，分析两种不同方法对同一场景的重聚焦效果，评价了两种方法的计算效率。实验结果表明，基于频域的傅里叶切片法在结果上等效于积分投影法，但是计算负担更小。 论文网站

　　关键词： 

　　像素光场； 重聚焦； 傅里叶切片 

　　引言 

　　光场有别于传统的二维图像，是对场景空间中既包含位置信息、又包含方向信息的所有光线的四维光辐射场的参数化的表示[1]。传统相机对拍照的要求高，尤其是面对高速运动或是多目标场景拍摄时，经常出现离焦等现象。如抓拍高速运动物体，要减少高速运动的物体造成的运动模糊，如果减少曝光时间，则图像过暗；若增大孔径，则景深过小，造成背景模糊[2]。当面对多目标场景，除聚焦点之外的物体则难以成像清晰。与之相对的，光场成像技术通过先拍摄后聚焦的技术提供了解决这些问题的新途径。它可以记录场景中自由光线传播的四维位置和方向信息，比传统的相机记录的内容更加丰富，增加了两维方向信息[1]；通过数字重聚焦技术，还可以在拍摄之后重新选择焦点或是全景深融合，解决离焦或背景模糊等问题[34]。 

　　光场图像信息在存储时有别于传统的二维图像：普通二维图像存储为RGB二维矩阵；光场图像为了在保留位置信息的前提下，增加方向信息，用四维光场模型（其中位置坐标两维，方向坐标两维）来表示。如图1所示，光线L（u，v，s，t）在空间中沿直线传播[5]。根据Levoy的光场渲染理论[6]，空间中携带强度和方向信息的任意光线，都可以用两个平行平面来进行参数化表示。因此，光场中的每条光线都可以用L（u，v，s，t）表示，其中，[u，v]代表位置信息，[s，t]代表方向信息[7]。图1中d为两个平面间的距离，模型化距离为1，而在实际进行光场变换的过程中，d会随着焦点的改变而改变。 

　　作为光场成像中的核心技术之一，数字重聚焦的方法有很多，主要可以分为基于空间域的积分投影[89]和基于傅里叶切片定理的信号处理的方法（以下简称傅里叶切片定理）[410]两大类。基于空间域的投影积分法，主要是对光线沿光路的投影积分。鉴于光场数据是四维的，因此，计算相对比较繁琐；相较于前者，基于频域的信号处理的方法为我们提供了一个全新的关于光场图像的处理视角[11]，使得关于光场重聚焦的推导过程更加严密，同时，这种完全不同的算法在数字重聚焦的计算方面更加快捷[412]。无论是在计算性还是理论性，基于傅里叶切片定理的信号处理的方法，都是优于空间域的计算方法。 

　　本文将频域处理方法用在光场成像数字重聚焦算法中，建立像素光场模型，提出一种基于像素光场的傅里叶切片方法，并给出推导过程。从计算简便性和理论优越性方面，与空间域积分投影法进行比较分析，实验证明傅里叶切片法的优势。 

　　1傅里叶切片法 

　　无论是积分投影法还是傅里叶切片法，都是基于光场理论。光场理论基于光场渲染理论，即当已知某平面位置的光场信息，则该光场在移动一定距离后，光场信息发生转变，聚焦点也随之变化[6]。如图2所示，A、B、C三个物体具有不同的深度，传统相机的聚焦面只能在一定深度，如图2所示的物体理想位置。此时，A清晰成像，B和C则模糊。同量，当聚焦面移动到其他位置，亦会导致其它物体离焦而不清晰。光场成像理论则不同，依靠在主透镜和CCD之间添加的微透镜阵列，图3所示，光线穿过微透镜阵列到达CCD，与二者的交点分别为[Mpx，Mpy]，[Ipx，Ipy]，位置信息已经记录；对于同一条光线，将二者对应坐标相减，可得到偏移量，即光线的方向信息，这样，不仅记录了场景光线的位置信息，同时可以记录其方向信息[13]。经过数学变换，可以有效还原场景的三维信息。 

　　式中：[u，v]表示透镜阵列所在的平面位置；[s，t]表示光场的方向信息。3D场景中的光线通过空间和光学器件到达传感器。这些光学器件需要经过仔细挑选，并按照期望的光学流程布置，才能合理编码可利用的视觉信息。光场能够记录光线，利用了微透镜阵列空间复用原理[15]。 

　　一条光线与两平面分别相交于O和Od，这两个平面的距离d=1，直线OO′与两平面垂直。因此，第一个平面上的O点就表示位置信息[u，v]T，而向量O′Od表示方向信息[s，t]T。由此可得，光线OOd可以表示为[u，v，s，t]T。 

　　在理想成像面处放置透镜阵列，在透镜阵列1倍焦距（微透镜阵列的焦距）处放置CCD感光器件，如图3所示。根据高斯成像原理，1倍焦距处的成像是平行入射光线所致。CCD上对应同一个小透镜，不同的像素来源于不同方向的光线。因此CCD的像素位置光与其小透镜中心位置的偏移量为[px，py]T，相当于光线的方向。 

　　首先将相机获得的光场信息转化为标准的光场描述。考虑到像素尺寸大小pw，微透镜焦距fm，则光场的方向描述[s，t]T可由下式得到 

　　1.2傅里叶切片法原理 

　　基于频域的傅里叶切片法，提出一种全新的快速的光场图像数字重聚焦算法。傅里叶中心切片定理最早是由Bracewell 在无线电航天领域提出的，其表述为二维函数的傅里叶频谱的一维切片，即为其二维函数的正交投影积分的傅里叶变换。因为在频域空间的起点，函数的信号值是直流量，不随时间变化[1617]，因此，旋转或者剪切等操作，是不会产生任何影响。为了将二维空间延伸至四维空间，同时方便操作，需要引入切片算子B。 

　　根据式（1），对当前透镜阵列所在平面的光场进行变换，改变成像平面的位置，该位置变量由距离d决定。将式（4）代入式（1）可得 

　　（3） 计算二维傅里叶切片的反变换，对每个透镜下的像素求和，即可得到理想深度d下的重聚焦图片。这一步的计算复杂度为O（n2log2n）。 

　　作为解决同一问题的不同方法，基于空间域的积分投影法和基于频域的傅里叶切片法，都可以完成数字重聚焦的工作。图4为两种不同的重聚焦算法的示意图。图5（a）、（b）分别为空间域和频域同时在d=-7处的聚焦效果图对比。图5（c）为二者相减得到的像素差的伪彩色图。其中，图像的存储数据类型为无符号16位（uint 16），范围是0～65 535。伪彩色图的数值范围为[0，65]，与数据相差三个数量级，误差率小于65/65 535≤1×10-3，即0.1%，近似相等。 

　　因其看待问题的角度不同，因而在算法的具体实现上，二者的繁易程度会有差别。积分投影法的计算复杂度主要集中在积分投影部分。由于正反傅里叶变换是公式化的，因此，傅里叶切片法的计算复杂程度主要取决于两侧的投影积分和二维傅里叶切片。由图中可以看出，频域内的计算复杂度为O（n2），空间域内的为O（n4）。显然，傅里叶切片法要比积分投影法快捷许多。 

　　如图6所示，对同一深度连续聚焦21次的时间对比。可以看出，这就验证了上述理论的正确性，傅里叶切片法比前者有更快的运行速度。 

　　2数字重聚焦 

　　不同于空间域的算法，基于频域的傅里叶切片法，首先对四维光场进行预处理，然后傅里叶变换，在频域完成数字重聚焦后，再将图像由频域反变回空间域。RGB三通道分别进行傅里叶变换，然后对每个透镜进行重采样来进行光场重聚焦：首先寻找二维切片的坐标（px′，py′），然后利用立方插值，通过二维切片坐标，根据新的焦点，对光场图像进行重采样[18]，即数字重聚焦；最后，非数字数据全部置零，经傅里叶反变换，即可得到新的焦点下的重聚焦图像。其中，图7为像素光场raw图像，图8为重聚焦图像。图8（a）是焦点在前方（靠近镜头处），图8（b）是焦点在后方（远离镜头处），图8（c）为近景聚焦，图8（d）为远景聚焦。 

　　3结论 

　　本文提出基于像素光场的傅里叶切片算法实现光场重聚焦。基于光场空间复用的原理推导出标准光场与像素光场的关系，并将空间变换转化到像素光场上。根据傅里叶变换原理推导出在频域的光场重聚焦等效方法。通过理论分析，两者是等效的，且时间复杂度上频率的傅里叶切片方法更小。实验表明，与空间域相比在达到同样效果的前提下，同样可以完成光场重聚焦的功能，而且具有更快的运行速度，在处理大数据的情况下优势明显。 论文发表

　　参考文献： 

　　[1]ALEXANDER GERSHUN.The light field[J].Journal of Mathematics and Physics，1939（18）：51151. 

　　[2]聂云峰，相里斌，周志良.光场成像技术进展[J].中国科学院研究生院学报，2011，28（5）：564572. 

　　[3]NG R，LEVOY M，BRDIF M，et al.Light field photography with a handheld plenoptic camera[R].[S.l.]：Stanford Tech Report CSTR，2005：111. 

　　[4]NG R.Digital light field photography[D].California：Stanford University，2006：187. 

　　[5]ADELSON E H，WANG J Y A.Single lens stereo with a plenoptic camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1992，14（2）：99106. 

　　[6]LEVOY M，HANRAHAN P.Light field rendering[C]//Proceedings of SIGGRAPH.New York：ACM Press，1996：3142. 

　　[7]LEVOY M，ZHANG Z，MCDOWALL I.Recording and controlling the 4D light field in a microscope using microlens arrays[J].Journal of Microscop，2009，235（2）：144162. 

　　[8]NG R.Fourier slice photography[C]//Proceedings of SIGGRAPH.New York：ACM Press，2005：735744. 

　　[9]CASTLEMAN H R.Digital image processing[M].Englewood Cliffs，New Jersey：Prentice Hall，1979. 

　　[10]LEVOY M.Light fields and computational imaging[J].Computer，2006，39（8）：4655. 

　　[11]DURAND F，HOLZSCHUCH N，SOLER C，et al.A frequency analysis of light transport[J].ACM Transactions on Graphics，2005，24（3）：11151126. 

　　[12]周志良.光场成像技术研究[D].北京：中国科学技术大学，2012：114. 

　　[13]CHEN W C，BOUGUET J Y，CHU M H，et al.Light field mapping：effcient representation and hardware rendering of surface light field[C]//Proceeding of SIGGRAPH.New York：ACM Press，2002：447456. 

　　[14]张旭，李晨.微透镜阵列式光场成像模型及其标定方法[J].光学学报，2014，34（12）：95107. 

　　[15]ZHANG X，LI C.Model of light field imaging and its application in refocus and allfocus[J].Advanced Materials Research，2014，1039：266273. 

　　[16]BRACEWELL R.The Fourier transform and its applications[M].New York：McGrawHill，1965. 

　　[17]LEVOY M.Volume rendering using the fourier projectionslice theorem[C]//Proceedings of graphics interface.Vancouver：Canadian Information Processing Society，1992，6169. 

　　[18]DANSEREAU D G，PIZARRO O，WILLIAMS S B.Decoding，calibration and rectification for lenseletbased plenoptic cameras[C]//Proceeding of computer vision and pattern recognition （CVPR）.Portland，OR：IEEE，2013：10271034.