专利名称：图像处理装置和模拟立体图像生成装置的制作方法
技术领域：
本发明涉及图像处理装置和模拟立体图像生成装置。特别涉及根据屋外等拍摄的 通常的二维静止图像或动态图像等、没有给出进深方向信息的图像(二维图像)，推定出三 维形状，制成模拟立体图像的模拟立体图像生成装置。
背景技术：
对于二维静止图像，要想能任意改变视点来欣赏模拟立体图像，就必需使用各种 方法，取得通常用来表现立体的进深方向信息。为此，只要使用例如特殊的测距仪和例如变 动光源的所谓活动检测系统即可。但是，这种结构很难在一般民用的相机上搭载。因此，正在探讨一种方法，根据拍摄的场景图像，使用各种假设，推定出立体构造， 实现图像合成和虚拟的视点移动。根据该方法，虽然不能根据一般场景，准确恢复推定立体 构造所需要的信息，但却可以较为成功地模拟出立体构造。专利文献1公开的方法是以诸如伸向无限远方的道路这类典型的进深场景为对 象，通过合成3个基本种类的场景构造模型，赋予二维相片图像以进深模型，进行模拟的立 体化合成。非专利文献1公开的方法是例如以通用的摄影场景为对象，同样输入1张彩色图 像，根据其像素的色彩信息、图像微小区域的纹理信息、图像上的配置信息、和作为被摄物 体的建筑物等人工物体表面的平行线边缘，推定消失点。根据这些信息，识别场景中反映 的各个区域，例如天空、地面、垂直于地面的墙壁等平面、草木等凹凸面。然后，根据检出的 地面和建筑物面的法线信息，实行简单的三维立体化，就如同“立体画册”那样，将相片立体 化，合成从任意视点看到的图像。一般认为，通过学习典型的场景图像，上述推定可以非常 精准地实施。然而，根据专利文献1的技术，立体信息与其说是从图像中抽出的，不如说是从基 本图形中抽出的。其结果，对象场景被限定。因此，不得不说该技术通用性较差，实用性不 强。而对于非专利文献1的技术来说，虽然是从图像中抽出信息，却存在以下课题。1)无法正确推定相对于地表倾斜的斜面的法线。2)在除长方形以外的侧面，无法正确推定法线。3)会错误判定色彩信息接近天空和地面的面。这些课题全都缘自于无法从二维图像直接推定表面法线。要想根据二维图像获得 表面法线信息，已知有以下技术，例如使用现有激光测距仪，或使用立体摄影由距离求出。 但是，如果对象是在屋外且是远处的巨大建筑物等，二者均不实用。作为即便是对于这种远距离也能通过无源(passive)方法抽出面法线的技术，例 如有使用偏光信息的技术。专利文献2的技术就是采用完全漫射照明，对被摄物体周围进 行360度照明，用可取得其图像偏光信息的相机拍摄，取得被摄物体的形状。假设被摄物体 的折射率已知，则能够取得通常测定困难的透明物体等的形状。专利文献2的技术要点是被摄物体是镜面反射(specular reflection)物体，反射光按照菲涅尔(Fresnel)法则发生偏光；对完全包住被摄物体的整个面进行照明，使被 摄物体的整个面发生镜面反射。另外，专利文献2的技术有以下优点形状推定不是诸如 使用测距仪或进行立体测量，先测定距离再推定法线，而是直接求出表面法线，不用求出距
1 O就白天屋外的环境而言，已知虽然距离被摄物体很远，但其四周都被天空照明， 而且，如果是晴天的话，被摄物体大多呈现镜面反射，所以，这种环境与本技术的状况极其 类似。另外，非专利文献1公开了根据二维图像形成模拟立体图像的技术。非专利文献2 和非专利文献3中有关于天空偏光(偏振)的报告，专利文献3公开了偏光成像装置的现 有例。专利文献1 特开2006-186510号公报专利文献2 特开平11-211433号公报专利文献3 特开2007-86720号公报非专利文献1 “Automatic photo pop-up", Derek Hoiem et.al，ACM SIGGRPAH 2005非专利文献2 :“Polarization Analysis of the Skylight Caused by Rayleigh Scattering and Sun Orientation Estimation using Fisheye-Lens Camera，，， Daisuke Miyazaki et. al,电子信息通信学会模式识别·媒介理解研究会，Vol. 108，No, 198, pp.25-32,2008非专利文献3:“The Journal of Experimental Biology 204，2933-2942 (2001)，，专利文献2的技术应用于屋外时，存在以下的课题。在根据镜面反射光的偏光信息推定表面法线时，不仅需要对被摄物体的四周进行 照明，还需要照射的照明是非偏光(随机的偏光)照明。所以，在专利文献2中，使用了一 种非常特殊的装置，用完全漫射球完全覆盖被摄物体，从其外部进行照明。而屋外环境的照明在晴天时是由太阳的直接光(平行光)和蓝天的表面照明组 成。太阳光是非偏振光，蓝天是偏振光。在摄影时，被摄物体通常不会被太阳的直接光照射， 其四周会被蓝天的偏光照射，发生镜面反射。所以，在这种情况下，现有技术无法使用。

发明内容
本发明的图像处理装置包括偏光图像取得部，获取具有多个像素的偏光信息的 偏光图像；被摄物体法线推定部，根据所述偏光图像拥有的偏光信息，推定屋外被摄物体表 面的法线；和全天空偏光映射图取得部，获取全天空偏光映射图，它表示全天空的位置与所 述位置的偏光信息之间的关系。所述被摄物体法线推定部利用所述全天空偏光映射图，从 所述偏光信息中求出所述被摄物体表面的镜面反射光的偏光状态，由此推定所述被摄物体 表面的法线。本发明的另一图像处理装置包括图像取得部，获取亮度图像和偏光图像，该亮度 图像具有多个像素的亮度信息，该偏光图像具有所述多个像素的偏光信息；天气判定部，将 天气状态判定为阴天状态或晴天状态；和被摄物体法线推定部，根据所述偏光状态，求出屋 外被摄物体表面产生的镜面反射光的偏光状态，按照所述天气判定部决定的天气状态，采取不同方法，推定所述被摄物体的表面法线。在优选的实施方式中，所述图像取得部针对多种不同颜色取得所述亮度图像。在优选的实施方式中，所述天气判定部根据天空的偏光度或偏光度在基准水平以 上的区域的面积，决定天气状态。在优选的实施方式中，所述天气判定部将天气状态判定为天空偏光度低于规定的 基准水平的阴天状态，或所述偏光度在所述基准水平以上的晴天状态。在优选的实施方式中，所述天气判定部将天空局部有云的部分晴天判定为晴天状 态。在优选的实施方式中，所述天气判定部从外部获取表示天气状态的信息，决定天 气的状态。在优选的实施方式中，具备全天空偏光映射图取得部，获取表示以下两者关系的 全天空偏光映射图，即整个天空中的一个位置与所述位置的偏光状态间的关系。当所述天 气判定部判定天气状态为晴天状态时，利用所述全天空偏光映射图，推定所述被摄物体表 面的法线。在优选的实施方式中，具备阴天时法线推定部，实行基于镜面反射偏光的法线推 定；和晴天时法线推定部，实行基于几何学的法线推定、以及基于镜面反射偏光的法线推 定。所述晴天时法线推定部在实行基于几何学的法线推定时，会利用所述全天空偏光映射 图表示的整个天空中的一个位置与所述位置的偏光状态间的关系。在优选的实施方式中，所述全天空偏光映射图取得部利用广角镜头，获取整个天 空的偏光图像。在优选的实施方式中，所述全天空偏光映射图取得部从外部获取所述全天空偏光 映射图的数据。在优选的实施方式中，具备晴天天空区域分离部，晴天时将天空区域从所述图像 中分离出去；和阴天天空区域分离部，阴天时将天空区域从所述图像中分离出去。根据所 述天气判定部的输出，选择性切换晴天天空区域分离部和阴天天空区域分离部的动作或输
出ο在优选的实施方式中，所述图像取得部具有彩色偏光同时取得部，在具有彩色马 赛克滤片的单板彩色摄像元件的同一个多色像素内，具有角度不同的透过偏振波面的多个 偏光子相邻配置；偏光信息处理部，将对所述取得的每种颜色的多个偏光子的观测亮度近 似为正弦函数，对得到的近似参数进行颜色间的平均化，取得归总的偏光信息；和色彩信息 处理部，根据所述取得的多个观测亮度，进行亮度平均化，生成平均色彩亮度。输出(i)彩 色图像；(ii)基于所述偏光图像的偏光度信息和偏光相位图像。在优选的实施方式中，(i)当光源的入射角小于规定值时，采用基于几何学的法线 推定；(ii)当光源的偏光度小于规定值时，采用基于镜面反射偏光的法线推定。在优选的实施方式中，天气状态被判定为阴天时，根据镜面反射光的偏光相位和 偏光度，推定法线。当推定的法线向量在视线向量的周围有多个存在时，选择的法线具有相 对于包含所述视线向量的水平面方向朝上的向量，当推定的法线向量在包含所述视线向量 和入射光线的平面内有多个存在时，选择的法线具有入射角小于布儒斯特偏振角的向量。本发明的模拟立体图像生成装置具有面抽出部，根据上述任意一项所述的图像处理装置所推定的被摄物体的表面法线，抽出与所述表面法线垂直的面；和模拟立体化部， 根据所述抽出部抽出的面，实施视点转换，生成其它视点下的生成场景图像。在优选的实施方式中，所述模拟立体化部推定所述面抽出部抽出的面的顶点的世 界坐标。本发明的图像处理方法包含以下步骤取得屋外场景的偏光图像；取得全天空偏 光映射图；判定天气状态。还包含推定步骤，根据所述偏光图像，检测屋外被摄物体表面的 镜面反射光的偏光状态，根据天气状态，采取不同方法，推定所述被物体的表面法线。在优选的实施方式中，在天气状态被判定为晴天的情况下，利用两种法线，即基于 几何学的法线和基于镜面反射偏光的法线，来实施法线推定。在优选的实施方式中，光源的入射角小时，增加基于几何学推定法线的可靠度。光 源的偏光度小时，增加基于镜面反射偏光推定法线的可靠度。最终采用可靠度高的法线。在优选的实施方式中，当天气状态被判定为阴天时，根据镜面反射光的偏光相位 和偏光度，推定法线。当推定的法线向量在视线向量的周围有多个存在时，选择的法线具有 相对于包含所述视线向量的水平面方向朝上的向量。当推定的法线向量在包含所述视线 向量和入射光线的平面内有多个存在时，选择的法线具有入射角小于布儒斯特偏振角的向 量。本发明的模拟立体图像的生成方法包含以下步骤取得屋外场景的偏光图像；根 据所述偏光图像具有的偏光信息，推定屋外被摄物体表面的法线；根据推定的被摄物体的 表面法线，抽出垂直于所述表面法线的面；和实施视点转换，以生成其它视点下的场景图像。在优选的实施方式中，还包含对所抽出的面的顶点的世界坐标进行推定的步骤。根据本发明，就可以提供一种图像处理方法和装置，在例如推定屋外距离相机较 远的巨大建筑物的三维形状时，即使现有的测距仪和立体摄影都不奏效，也可以利用天空 的偏光信息，推定被摄物体的表面法线，推定出三维形状。此外，还可以对例如天空、地面、 墙壁面、屋顶等进行识别处理。另外，通过利用本发明的图像处理，还可以提供一种模拟立 体化装置，实现虚拟的立体化。


图IA是屋外被摄物体镜面反射的说明图。图IB是屋外被摄物体镜面反射的另一说明图。图IC是与本发明有关的图像处理装置的一个实施方式的外观图。图2是与本发明有关的图像处理装置的框图。图3(A)是本发明的实施方式的彩色偏光图像取得部的构成框图，(B)是全天空偏 光映射图取得部的构成图。图4(A)是彩色偏光同时取得部的立体构成图，(B)沿光轴方向从正上方观察其一 部分摄像面的示图，(C)是图(B)的局部放大图。图5㈧至(C)分别是表示B、G、R偏光像素波长特性的示意图。图6是表示透过4种偏光主轴方向不同的偏光子的光的亮度。图7 (A)至(C)表示拍摄建筑物场景时彩色偏光图像取得部取得的3种图像实例。
图8㈧至(C)分别是说明图7(A)至(C)图像的示意图。图9㈧和⑶表示全天空偏光映射图取得部取得的两种图像。图IOA是说明一例天气判定部动作的流程图。图IOB是说明另一例天气判定部动作的流程图。图11是说明晴天天空区域分离部的框图。图12(A)至(H)是利用偏光和亮度从实际的场景中分离出天空区域的结果(成功 例)。图13(A)至(F)是利用偏光和亮度从实际的场景中分离出天空区域的结果(失败 例)。图14(A)至(D)是利用色相和亮度从实际的场景中分离出天空区域的结果(成功 例)。图15是说明阴天天空区域分离部的框图。图16是表示晴天或阴天时天空区域被分离之后的场景图像示意图。图17 (A)和(B)是晴天时与阴天时被摄物体镜面反射现象的偏光现象差异的说明 图。图18是利用与入射角的关系来表现镜面反射中菲涅尔反射率的图线。图19是实现晴天时法线推定部的流程图。图20A是表示根据几何学实施法线推定时的偏光相位图。图20B是用被摄物体镜头拍摄的被摄物体图像的示图。图20C是用拍摄天空的广角镜头拍摄的天空图像的示图。图21是根据几何学计算法线的处理说明图。图22是基于几何学的法线和可靠度的示图。图23是表示根据镜面反射偏光实施法线推定时的偏光相位图。图对是入射角α与偏光度P的关系式的说明图线。图25是基于镜面反射偏光的法线和可靠度的示图。图沈是可靠度评价后的法线推定结果的示图。图27是阴天时实施法线推定的流程图。图28是表示模拟立体化部处理流程的流程图。图四是表示世界坐标系与相机坐标系之间关系的示图。图30是表示视点转换后的模拟立体化效果的示图。图31是根据本发明的图像处理装置的另一实施方式的框图。图32是根据本发明的图像处理装置的又一实施方式的框图。图33是与本发明的第2实施方式有关的图像处理装置的框图。图34是表示本发明的第2实施方式的单色偏光图像取得部的构成框图。图35是本发明的第2实施方式的晴天天空区域分离部的说明框图。图36是本发明的第2实施方式的阴天天空区域分离部的说明框图。图37是阴天天空区域分离部3304的构成框图。图中200-偏光信息取得部，201-彩色偏光图像取得部，202-全天空偏光映射图 取得部，203-天气判定部，204-晴天天空区域分离部，205-阴天天空区域分离部，206-晴天时法线推定部，207-阴天时法线推定部，208-模拟立体化部，210-法线推定部。
具体实施例方式已知屋外的偏光(偏振)现象几乎都是仅因镜面反射(Specular Reflection) 发生的。本发明就是在屋外的被摄物体被天空照明时，利用被摄物体表面所产生的镜面反 射光的偏光状态，来推定被摄物体的表面法线。但是，由于晴天和阴天天空的偏光状态不 同，所以优选的实施方式是将二者分开，实施处理。图IA示意地表现了如下情况光从天空的某个位置103a向屋外的被摄物体(例 如“房屋”)1600表面的某个位置1600a照射，由于镜面反射，光改变方向，射入相机100。被 摄物体1600表面的位置1600a的法线N是将该位置1600a指向天空位置103a的向量L和 相机100的视线向量V 二等分的向量。所以，如图IA所示，当光的入射角为θ时，出射角 也等于0。图IB示意地表现了如下情况光从天空的另一位置10 向屋外的被摄物体1600 表面的另一位置1600b照射，由于镜面反射，光改变方向，射入相机100。所以，法线N是随 被摄物体表面位置的变化而变化，天空发出射入相机的光的位置(103a，103b)也会变化。另外，在图IA和图IB所示的例子中，法线N是与图面(纸面)平行的。当然，由 于法线N会随被摄物体表面的形状和位置而发生改变，所以有时也不与图面平行。为了求 出法线N，不仅需要图IA所示的角度θ，还需要决定围绕相机的视线向量V的转角ψ。晴天时，由于天空发生偏光，所以无法使用专利文献2所示的方法，也就是说，无 法利用被摄物体表面产生的镜面反射的偏光，推定被摄物体的表面法线。然而，晴天时，由 于被摄物体表面会发生镜面反射，所以，在完全镜面的条件下，天空特定位置上的偏光状态 会在被摄物体的一部分上原样体现。例如，在图IB所示的例子中，天空位置10 上的天空 的偏光状态会反映到被摄物体1600表面的位置1600b上。所以，如果利用另行取得的全天 空偏光映射图上的偏光信息与偏光图像上显现的偏光信息的对应关系，就可以确定射入相 机的光是从天空的哪一个位置发出的。而且，在清楚该位置以后，就可以像图1A、1B所示的 那样，按照几何学原理，决定被摄物体表面的法线N。这里，对虽说是晴天但局部有云的“局部晴天”的情况进行说明。本发明优选的实 施方式会将这种局部晴天的状态全部作为“晴天”处理。在进行这种处理时，本发明会根据 可信度来决定是采用阴天前提下的基于镜面反射偏光的法线，还是晴天前提下的基于几何 学的法线。如果是全阴天，整个天空都被云均勻覆盖，那么天空可以视为非偏光照明(半球 状照明)。这样，就可以使用与专利文献2所述的同样的方法，在全阴天的情况下推定被摄 物体表面的法线。根据本发明，根据取自屋外的被摄物体的偏光信息，可以推定出二维图像上被摄 物体表面的法线。然后，使用这样推定出来的法线信息，就可以从二维图像中抽出三维信息 (进深信息)，生成模拟的三维立体图像。另外，对本发明而言，实现方式不仅可以表现为图像处理方法和模拟立体图像生 成方法，也可以表现为具备执行处理的各个步骤的机构的图像生成装置；让计算机执行各 个步骤的计算机程序；和存放该程序的CD-ROM等计算机可读取的存储介质等。
本发明的图像处理装置包括获取偏光图像的偏光图像取得部；和根据取从偏光 图像获得的上述偏光信息，推定屋外被摄物体表面法线的被摄物体法线推定部。另外，本说明书中的“偏光图像”是指，包含被摄物体的二维图像中具有偏光信息 的多个像素所组成的图像。也就是说，偏光图像的意思是，构成该图像的多个像素的每一个 通过表示该像素的偏光信息而构成的图像。偏光信息包含偏光度和偏光相位(偏光角)。 所以，只要没有特别限定，“偏光图像”就是“偏光度图像”和“偏光相位图像”的总称。“偏光 度图像”是各像素偏光度的二维表示；“偏光相位图像”是各像素偏光相位的二维表示。各 像素的偏光度和偏光相位的大小(数值)可以通过该像素的亮度或色相(色调)表现。在 本申请的附图中，偏光度和偏光相位的大小由亮度的高低表现。此外，本说明书中的“图像”不一定像人的视觉所能识别的那样，是像素二维排列 呈现的状态。也就是说，“图像”这一用语有时表现的是构成图像的各个像素的信息(数值) 的排列(图像数据)，例如亮度、偏光度、偏光相位等。本发明的图像处理装置具备被摄物体法线推定部，用来根据从这种偏光图像得到 的偏光信息，推定屋外被摄物体的表面法线。在优选的实施方式中，本图像处理装置具备全天空偏光映射图取得部，用来取得 全天空偏光映射图，该图表示全天空的位置与该位置的偏光信息间的关系。本图像处理装 置根据全天空偏光映射图，推定被摄物体表面的法线。优选本发明的图像处理装置具备天气判定部，判定天气的状态是偏光度低于基准 水平的阴天状态，还是偏光度为该基准水平以上的晴天状态。本发明的图像处理装置会测 定屋外被摄物体表面的镜面反射光的偏光状态，根据天气判定部决定的天气状态，采用不 同方法来推定被摄物体表面的法线。下面，利用附图，对本发明的实施方式进行说明。(实施方式1)首先，对本发明的图像处理装置的第1实施方式进行说明。本实施方式是具有相机形态的图像处理装置，外观构成如图IC所示。图IC的图 像处理装置(相机100)包括被摄物体镜头部101，用来通过摄影，获取被摄物体的偏光图 像和彩色图像信息；广角镜头部102，设置在相机顶部，用来通过摄影，获取天空的偏光图 像信息；和水准仪等水平指示装置103。被摄物体的摄像是在相机100维持水平的状态下， 水平指示装置103表示方向为水平方向、广角镜头部102垂直向上的状态下进行。下面，参照图2，对本实施方式的构成进行更加详细的说明。图2是本实施方式的 图像处理装置的功能框图。图2的图像处理装置具有偏光信息取得部200，它包含彩色偏光图像取得部201和 全天空偏光映射图取得部202。彩色偏光图像取得部201通过图IC的镜头部101，取得被摄物体的偏光度图像 P、偏光相位图像Φ、彩色图像C的信息。全天空偏光映射图取得部202被设置在相机顶 部，用来通过图IC的广角镜头部102，获取天空的偏光图像信息。这里，“全天空偏光映射 图”是表示整个天空多个位置(点)的天空偏光信息的映射图。本实施方式的图像处理装置还包括法线推定部210和模拟立体化部208。法线推 定部210包含天气判定部203、晴天天空区域分离部204、阴天天空区域分离部205、晴天时法线推定部206和阴天时法线推定部207。本实施方式中，测定屋外被摄物体表面的镜面反射光的偏光状态，根据天气的状 态，采用不同方法推定被摄物体表面的法线。天气判定部203是根据天空的偏光度决定天 气状态的机构，用来判定场景拍摄时天气是晴是阴。具体而言就是，当天空的偏光度低于基 准水平时，就判定“阴天状态”；当天空的偏光度为基准水平以上时，就判定“晴天状态”。本实施方式中，测定屋外被摄物体表面的镜面反射光的偏光状态，根据天气的状 态，采用不同方法推定被摄物体表面的法线。天气判定部203是根据天空的偏光度决定天 气状态的机构，用来判定场景拍摄时天气是晴是阴。具体用两个例子说明。一个例子是，当 天空的偏光度低于基准水平时，就判定“阴天状态”；当天空的偏光度为基准水平以上时，就 判定“晴天状态”。另一个例子是，当天空偏光度低于基准水平的区域在整个天空占有一定 面积以上时，就判定“阴天状态”；除此之外就判定“晴天状态”。本发明的“阴天状态”可以 视为整个天空都被云覆盖的完全阴天状态。所以，“晴天状态”包含天空局部有云存在的状 态。晴天天空区域分离部204输入P、Φ、C，晴天时将天空区域和被摄物体区域从图 像中分离出去，输出将天空区域分离后的晴天时被摄物体偏光度图像P fo、晴天时被摄物 体偏光相位图像Ofo。另一方面，阴天天空区域分离部205是在阴天时，将天空区域和被 摄物体区域从图像中分离出去，同样生成将天空区域分离后的阴天时被摄物体偏光度图像 P co、阴天时被摄物体偏光相位图像Φ(30。晴天时法线推定部206在晴天时利用全天空偏光映射图，根据偏光度图像和偏光 相位图像的信息，推定法线图像N;阴天时法线推定部207在阴天时，根据偏光度图像和偏 光相位图像的信息，推定并取得法线图像N。模拟立体化部208利用取得的晴天或阴天的法线图像N，对彩色图像C实行模拟立 体化。图3 (A)是表示偏光信息取得部200的内部构成的框图，也就是彩色偏光图像取得 部201和全天空偏光映射图取得部202。如图所示，本实施方式的偏光信息取得部200包括 拍摄被摄物体的被摄物体镜头部101、在相机正上方朝上设置的广角镜头部102、可动式反 射板303、驱动机构304、彩色偏光摄像元件(彩色偏光取得部)305、偏光信息处理部306、 和色彩信息处理部307。在图3(A)所示的状态下，天空的光310通过广角镜头部102被可动式反射板303 反射，到达彩色偏光摄像元件305。所以，在摄像时，彩色偏光摄像元件305可以拍摄整个天 空。大范围的天空区域可以利用例如鱼眼相机拍摄，能够观测天空(整个天空)的偏光状 态。偏光信息处理部306根据彩色偏光摄像元件305的输出，获得表示天空偏光状态 的全天空偏光映射图。另外，取得全天空偏光映射图的具体方法在非专利文献2中有述。在 非专利文献2中，方向向上的数码相机上设置了规格为F3. 5焦距为8mm的鱼眼镜头，其前 端设置了偏光板。通过手动，将偏光板的偏光透过轴旋转0度、45度、90度，可以获得整个 天空130度范围的天空偏光模式(pattern)。本实施方式也基本上采取相同的处理，但是不 使用转动的偏光板，使用的是偏光摄像元件，这样，可以实时取得偏光映射图。因此优点在 于在偏光板转动期间，不会由于云的移动等造成伪影(artifact)。
接下来，驱动机构304将反射板303向上方(箭头312)转动，此时，如图3(B)所 示，来自被摄物体镜头部101的光311会进入彩色偏光摄像元件305。如此，在拍摄被摄物 体时，偏光信息处理部306和色彩信息处理部307工作。被摄物体和整个天空的摄像顺序 也可以颠倒过来。下面，以拍摄被摄物体为例，说明彩色偏光图像取得部201的动作。对于全天空偏 光映射图取得部202的动作，同样也只有与偏光处理有关的部分。优选，同时或以较短的时间间隔取得屋外的场景图像和场景偏光图像。由于会有 风起云动等情况，所以优选采取实时取得方式。在取得偏光图像时，转动偏光板、进行多个 图像拍摄的技术不适合屋外。所以，必须使用实时偏光相机。专利文献3公开了同时实时取得单色图像和偏光图像的技术。根据该技术，要想 同时取得亮度图像和被摄物体的部分偏光图像，就要对摄像元件空间上设置多个偏光主轴 (偏光透过轴)不同的模式化偏光子(偏振器)。作为模式化偏光子，利用的有光子结晶 或构造多折射波片阵列(構造複屈折波長板7 > ^ )。但是，这些技术仍然不能使彩色图像 和偏光图像同时取得。相对于此，采取图3(A)的结构下，可以对被摄物体实时取得彩色图像，并同时取 得偏光图像，输出两种偏光图像(偏光度图像P和偏光相位图像Φ)。入射光射入到彩色偏光摄像元件305中。通过该入射光，彩色偏光摄像元件305可 以实时取得彩色动态信息和偏光图像信息两方。彩色偏光摄像元件305输出表示彩色动态 图像信息和偏光图像信息的信号，分别输入到偏光信息处理部306和色彩信息处理部307。 偏光信息处理部306和色彩信息处理部307对上述信号实施各种处理，输出彩色图像C、偏 光度图像P、偏光相位图像Φ。图4(A)是表示彩色偏光摄像元件305的基本构成的示意图。在图示的例子中，彩 色滤片和模式化偏光子被叠设在摄像元件像素的前面。入射光透过彩色滤片和模式化偏光 子到达摄像元件，通过摄像元件像素，可观测到亮度。这样，根据本实施方式，就可以利用彩 色马赛克型单板彩色摄像元件，同时获得彩色图像信息和偏光图像信息。图4(B)是沿光轴方向从正上方观察彩色偏光摄像元件305的一部分摄像面的示 图。为了简化起见，图中只图示了摄像面中的16个像素0X4)。图示的4个矩形区域401 404分别表示设置在4个像素单元上的拜耳型(kiyer)彩色马赛克滤片的对应部分。矩形 区域404是B (蓝色)滤片区，罩住了像素单元Bl Β4。像素单元Bl Β4上紧密附着了 偏光主轴互不相同的B(蓝色)用模式化偏光子。这里，“偏光主轴”是指，与透过偏光子的 光的偏波面(透过偏波面)平行的轴。在本实施方式中，颜色相同的像素内，具有角度不同 的透过偏波面的偏光子单位(微小偏光板)被相邻配置。具体而言就是，4种透过偏波面方 向互不相同的偏光子单位被配置在R (红色)、G (绿色)、B (蓝色)的各个颜色相同的像素 群中。1个偏光子单位对应1个细微的偏光像素。图中，对每个偏光像素赋予了例如Gl等 符号。图4(C)是表示紧密附着了 B(蓝色)用偏光子的4个细微的偏光像素上分配的偏 光主轴。在图4(B)中，各细微偏光像素上的直线示意了微小偏光板的偏光主轴方向。对于 图中的例子，4个细微偏光像素的偏光主轴角度各异，分别是UU = 0°、45°、90°、135°。矩形区域402、403的像素上分别紧密附着了 4个G(绿色)用偏光子，矩形区域401的像素上附着了 4个R(红色)用偏光子。图中，参照符号“405”所示的位置是一个虚 拟像素位置，表示的是本摄像体系中将4个像素视为一个整体时的像素位置。如图所示，各 矩形区域401 403的模式化偏光子也被分割成4个具有不同偏光主轴的部分。这样，本实施方式就具备了以下特征各彩色像素都包含偏光主轴不同的多个细 微的偏光像素。彩色马赛克排列本身是任意的。在以下的说明中，称各个细微的偏光像素 为“偏光像素”。图5㈧至(C)是分别示意地表示B (蓝色)、G (绿色)、R(红色)偏光像素的波长特 性的图线。各图线的纵轴是透过光的强度，横轴是波长。B、G、R用偏光像素具有在B、G、R的 各波长频带中透过TM(Transverse Magnetic Wave)波、反射(不使其透过)TE (Transverse Electric Wave)波的偏光特性。TM波是磁场分量相对于入射面为横向的波，TE波是电场 分量相对于入射面为横向的波。图5㈧示出了 B(蓝色)偏光图像的偏光特性502、503以及B(蓝色)用彩色滤 片的透过特性501。偏光特性502、503分别表示TM波和TE波的透过率。图5 (B)示出了 G偏光图像的偏光特性505、506以及G用彩色滤片的透过特性504。 偏光特性505、506分别表示TM波和TE波的透过率。图5(C)示出了 R偏光图像的偏光特性508、509以及R用彩色滤片的透过特性507。 偏光特性508、509分别表示TM波和TE波的透过率。图5㈧至(C)所示的特性可以利用例如专利文献3所述的光子结晶来实现。在使 用光子结晶的情况下，具有与该结晶表面形成的沟槽平行的电场向量振动面的光是TE波； 具有与该结晶表面形成的沟槽垂直的磁场向量振动面的光是TM波。如图5㈧至(C)所示，本实施方式的要点在于，在B、G、R的各个透过波长频带中， 都使用了体现偏光分离特性的模式化偏光子。在使用单色图像亮度和偏光滤片时，不用对表现偏光分离特性的波长频带进行优 化；而在对每个彩色像素取得偏光信息时，需要整合色彩的分离特性和偏光的分离特性。本说明书中，采用4个数字“ 1、2、3、4”和3个符号“R、G、B”的组合(例如"Rl，，或 “G1”等)来表示偏光像素的特性，4个数字表示偏光像素的偏光主轴方位，3个符号用来区 别颜色。对于偏光像素Rl和偏光像素G1，数字是相同的，所以偏光主轴的方向一致，但RGB 的符号不同，所以它们是不同的偏光像素，透过的光具有不同的波长频带。本实施方式通过 图4(A)所示的彩色滤片和模式化偏光子的组合实现了这种偏光像素的排列。下面，利用图6，对图3的偏光信息处理部306的处理进行说明。图6示出了透过 4种偏光主轴方向不同(Ψ = 0°、45°、90°、135° )的偏光子的光的亮度601 604。 这里，设偏光主轴的转角Ψ为Vi时，观测亮度为Ii。其中，“i”为1以上N以下的整数， “N”是采样数量。在图6所示的例子中，N = 4，所以i = l，2，3，4。图6示出了与4个像素 的取样(Ψ ，Ii)相对应的亮度601 604。偏光主轴的角度Vi与亮度601 604的关系被表现为正弦函数曲线。图6记述 了亮度601 604的4个点在一条正弦曲线上的情况。在根据更多的观测亮度来决定正弦 曲线的情况下，一部分观测亮度有时稍微偏离正弦曲线。另外，本详细说明书中的“偏光信息”指的是正弦曲线上的调幅度和相位信息，表 示亮度对偏光主轴角度的依赖性。
实际处理时，对图4(A)所示的每个颜色相同的区域401 404取样内部的4个像 素亮度值，按照以下公式，对模式化偏光子主轴角Ψ所对应的反射光亮度I进行近似。[数式1]Ι(ψ) = A · sin 2(￥_B)+C(式1)这里，如图6所示，A、B、C是常数，分别表现偏光亮度变动曲线的振幅、相位、平均 值。(式1)可以如下展开。[数式2]I (ψ) = a · sin 2 Ψ+b · cos 2 Ψ+C(式 2)其中，A和B分别由以下的(式3)和(式4)表示。[数式3]
权利要求
1.一种图像处理装置，其特征在于，包括偏光图像取得部，获取具有多个像素的偏光信息的偏光图像； 被摄物体法线推定部，根据所述偏光图像拥有的偏光信息，推定屋外被摄物体表面的 法线；和全天空偏光映射图取得部，获取全天空偏光映射图，它表示全天空的位置与所述位置 的偏光信息之间的关系，所述被摄物体法线推定部，利用所述全天空偏光映射图，从所述偏光信息中求出所述 被摄物体表面的镜面反射光的偏光状态，由此推定所述被摄物体表面的法线。
2.一种图像处理装置，其特征在于，包括图像取得部，获取亮度图像和偏光图像，该亮度图像具有多个像素的亮度信息， 该偏光图像具有所述多个像素的偏光信息；天气判定部，将天气状态判定为阴天状态或晴天状态；和被摄物体法线推定部，根据所述偏光状态，求出屋外被摄物体表面产生的镜面反射光 的偏光状态，按照所述天气判定部决定的天气状态，采取不同方法，推定所述被摄物体的表 面法线。
3.根据权利要求2所述的图像处理装置，其特征在于， 所述图像取得部针对多种不同颜色取得所述亮度图像。
4.根据权利要求2所述的图像处理装置，其特征在于，所述天气判定部根据天空的偏光度或偏光度在基准水平以上的区域的面积，决定天气 状态。
5.根据权利要求4所述的图像处理装置，其特征在于，所述天气判定部将天气状态判定为天空偏光度低于规定的基准水平的阴天状态，或所 述偏光度在所述基准水平以上的晴天状态。
6.根据权利要求4所述的图像处理装置，其特征在于， 所述天气判定部将天空局部有云的部分晴天判定为晴天状态。
7.根据权利要求2所述的图像处理装置，其特征在于，所述天气判定部从外部获取表示天气状态的信息，决定天气的状态。
8.根据权利要求2所述的图像处理装置，其特征在于，具备全天空偏光映射图取得部，获取表示整个天空中的一个位置与所述位置的偏光状 态间的关系的全天空偏光映射图，当所述天气判定部判定天气状态为晴天状态时，利用所述全天空偏光映射图，推定所 述被摄物体表面的法线。
9.根据权利要求8所述的图像处理装置，其特征在于，具备阴天时法线推定部，实行基于镜面反射偏光的法线推定；和 晴天时法线推定部，实行基于几何学的法线推定、以及基于镜面反射偏光的法线推定， 所述晴天时法线推定部，在实行基于几何学的法线推定时，利用所述全天空偏光映射 图表示的整个天空中的一个位置与所述位置的偏光状态间的关系。
10.根据权利要求8所述的图像处理装置，其特征在于，所述全天空偏光映射图取得部利用广角镜头，获取整个天空的偏光图像。
11.根据权利要求8所述的图像处理装置，其特征在于，所述全天空偏光映射图取得部，从外部获取所述全天空偏光映射图的数据。
12.根据权利要求2所述的图像处理装置，其特征在于，具备晴天天空区域分离部，晴天时将天空区域从所述图像中分离出去；和 阴天天空区域分离部，阴天时将天空区域从所述图像中分离出去， 根据所述天气判定部的输出，选择性切换晴天天空区域分离部和阴天天空区域分离部 的动作或输出。
13.根据权利要求2 12任意一项所述的图像处理装置，其特征在于， 所述图像取得部具有彩色偏光同时取得部，在具有彩色马赛克滤片的单板彩色摄像元件的同一个多色像素 内，具有角度不同的透过偏振波面的多个偏光子相邻配置；偏光信息处理部，将对所述取得的每种颜色的多个偏光子的观测亮度近似成为正弦函 数，对得到的近似参数进行颜色间的平均化，取得归总的偏光信息；和色彩信息处理部，根据所述取得的多个观测亮度，进行亮度平均化，生成平均色彩亮度，输出(i)彩色图像；(ii)基于所述偏光信息的偏光度图像和偏光相位图像。
14.根据权利要求9所述的图像处理装置，其特征在于，(i)当光源的入射角小于规定值时，采用基于几何学的法线推定； ( )当光源的偏光度小于规定值时，采用基于镜面反射偏光的法线推定。
15.根据权利要求2所述的图像处理装置，其特征在于，天气状态被判定为阴天时，根据镜面反射光的偏光相位和偏光度，推定法线， 当推定的法线向量在视线向量的周围有多个存在时，选择的法线具有相对于包含所述 视线向量的水平面方向朝上的向量，当推定的法线向量在包含所述视线向量和入射光线的平面内有多个存在时，选择的法 线具有入射角小于布儒斯特偏振角的向量。
16.一种模拟立体图像生成装置，其特征在于，具有面抽出部，根据权利要求1 13任意一项所述的图像处理装置所推定的被摄物体的表 面法线，抽出与所述表面法线垂直的面；和模拟立体化部，根据所述抽出部抽出的面，实施视点转换，生成其它视点下的场景图像。
17.根据权利要求16所述的模拟立体图像生成装置，其特征在于， 所述模拟立体化部推定所述面抽出部抽出的面的顶点的世界坐标。
18.一种图像处理方法，其特征在于， 包含以下步骤取得屋外场景的偏光图像； 取得全天空偏光映射图； 判定天气状态，还包含推定步骤，根据所述偏光图像，检测屋外被摄物体表面的镜面反射光的偏光状 态，根据天气状态，采取不同方法，推定所述被物体的表面法线。
19.根据权利要求18所述的图像处理方法，其特征在于，在天气状态被判定为晴天的情况下，利用两种法线，即基于几何学的法线和基于镜面 反射偏光的法线，来实施法线推定。
20.根据权利要求19所述的图像处理方法，其特征在于， 光源的入射角小时，增加基于几何学推定法线的可靠度，光源的偏光度小时，增加基于镜面反射偏光推定法线的可靠度， 最终采用可靠度高的法线。
21.根据权利要求18所述的图像处理方法，其特征在于，当天气状态被判定为阴天时，根据镜面反射光的偏光相位和偏光度，推定法线， 当推定的法线向量在视线向量的周围有多个存在时，选择的法线具有相对于包含所述 视线向量的水平面方向朝上的向量，当推定的法线向量在包含所述视线向量和入射光线的平面内有多个存在时，选择的法 线具有入射角小于布儒斯特偏振角的向量。
22.—种模拟立体图像生成方法，其特征在于， 包含以下步骤取得屋外场景的偏光图像；根据所述偏光图像具有的偏光信息，推定屋外被摄物体表面的法线； 根据推定的被摄物体的表面法线，抽出垂直于所述表面法线的面；和 实施视点转换，以生成其它视点下的场景图像。
23.根据权利要求22所述的模拟立体图像生成方法，其特征在于， 还包含对所抽出的面的顶点的世界坐标进行推定的步骤。
全文摘要
本发明提供一种图像处理装置和模拟立体图像生成装置，由以下各部构成彩色偏光图像取得部(201)、全天空偏光映射图取得部(202)、天气判定部(203)、晴天天空区域分离部(204)、阴天时法线推定部(207)和模拟立体化部(208)。该图像处理装置通过上述构成，考虑屋外天空的偏光状态，取得偏光信息，推定二维图像的被摄物体表面的面法线信息，生成表面的法线图像。利用该法线图像，对被摄物体进行区域分割，抽出三维信息，生成视点转换图像，生成模拟的三维立体图像。
文档编号G01C11/06GK102113021SQ20098013065
公开日2011年6月29日 申请日期2009年12月16日 优先权日2008年12月25日
发明者佐藤智, 甲本亚矢子, 金森克洋 申请人:松下电器产业株式会社