专利名称：从图像中确定颜色的方法和系统的制作方法
技术领域：
本发明的实施例涉及ー种从色样图像中确定色样颜色的方法和系统。
背景技术：
当选择用于装饰房间的涂料颜色时，通常的情况是顾客希望涂料的顔色与房间中已经包含的例如家具或例如靠垫、沙发、窗帘或类似 的软装饰项目的特定项目的颜色相匹配。涂料生产商通常提供大的颜色调色板，而且在涂料零售商 处提供详细的顔色展示，以使顾客能够选择顔色。色样卡对于用户带回家与要匹配顔色的项目进行匹配是可用的。但是，通常这需要顾客光顾涂料零售商店，收集色卡，把色卡带回家，进而尝试比较在色卡上的色样与需要匹配的项目的顔色。然后顾客必须返回商店，通常购买涂料的测试罐，回家，使用涂料的测试罐，然后最終做出购买決定。另外，这样传统的技术依靠单个顾客的感觉作为最匹配的涂料颜色。但是，众所周知人和人之间的颜色的感觉变化显著，这样以致由一个人选择的与样本匹配的颜色对另ー个人看来将不是匹配的顔色。这个问题的ー种潜在的解决方案是使用数字图像电子地尝试并且匹配顔色。在这方面，现在国内的用户通常拥有许多供他们支配的以数字照相机或配备照相机的移动电话的形式的数字图像捕获设备。但是，通常国内可用的图像捕获设备的顔色捕获特性，例如数字照相机，移动电话或类似的设备，设备之间变化显著并且因此精确的颜色捕获通常是不可能的。可以精确测量顔色的专业分光光度计设备是可用的，但是这些超出了大多数国内顾客的手段。典型的国内图像捕获设备将捕获图像并且使用RGB像素值表示顔色。通常使用16位或24位RGB。在使用16位值的情况，红色和蓝色通道的每ー个通常具有与之关联的5位，但是绿色通道具有与之关联的6位。在这方面，人眼对绿色比对红色和蓝色更敏感，并且因此大量的緑色是可检测的。在使用24位顔色的情況，则每个顔色通道等于8位或256色。但是，因为上面提及的在图像捕获设备的精确捕获顔色的差异，以及同样和在再现颜色中类似的例如监视器的图像再现设备，顔色的RGB值没有当作标准值。作为替代，存在由国际照明委员会(Commission International De L’Eclairage, CIE)制定的定义颜色的固定标准，例如CIE三色值X，Y，Z，或所谓CIELAB值(L *，a *，b *)。CIELAB值涉及使用ー个已知的数学公式的三色值XYZ。三色XYZ值自身涉及在特定顔色中呈现的波长。现有技术因而通过关联捕获的RGB值到标准值如XYZ三色值或CIELAB值的校准图像捕捉设备的问题，先前已经在US5150199和W001/25737中指出。更特别地,US5150199 (Megatronic公司)描述了ー种用于转换或关联由不同的仪器开发的数字RGB值到标准三色值的方法。在这方面，使用迭代回归分析来确定从初始的顔色到标准XYZ三色值转换由摄像机产生的RGB值的初始函数。然后使用回归分析来确定转换由查看不同于初始颜色相比标准XYZ值不同的额外的顔色的摄像机产生的RGB值的附加函数。然后使用为摄像机产生的函数来转换在成像彩色目标中由摄像机产生的RGB值到标准XYZ值。更特别地，在US5150199中RGB值和XYZ值两者都从ー组色样中确定。使用传统的摄像机和能够检测和记录每种颜色的RGB成分的数值的数字化设备确定RGB值。通过传统的色度计或分光光度计的使用确定色样的XYZ值。已捕获这个数据，作为在分析中的第一歩，执行迭代回归分析以发现X是R的函数，Y是G的函数，Z是B的函数。回归分析在色样中使用所谓的“灰度”值，在其中R、G和B值近似相等。产生的函数是能量函数(power function)。其后,在步骤2中，执行能量函数的多变量分析，确定单独关联X、Y和Z的每ー个到全部R、G和B的函数。在US5150199中，同样描述使Y函数适于作为红色色度的函数的进ー步技木，虽然该技术在这里是不相干的。
因此，为了允许由设备捕获的RGB值转换到XYZ三色值，US5150199描述了用于表征图像捕获设备的顔色捕获转换函数的基本技木。但是，如上所述，为了使用US5150199的设置，为了表征捕获的图像用户必须有权使用色度计或分光光度计来测量色样的颜色，该色样同样由所表征的图像捕获设备成像。通常，在上面背景部分中概述的使用情况中，用户无权使用这样的专业设备如色度计或分光光度计。因此，US5150199的方法很大程度上是实验性的。但是，W001/25737部分解决US 5150199的这些缺点。W001/25737同样描述了匹配捕获的RGB值到标准色度数据，并且特别地匹配到CIELAB值。在W001/25737中描述的数学分析与在US 5150199中描述的基本上相同，虽然W001/25737引入了已知颜色、已知色度数据的校准模式(calibration pattern)的概念。然后要测量的未知颜色与校准模式同时成像。校准模式在一个例子中包括65种已知颜色和在另ー个例子中，包括分布在颜色空间的37种已知顔色。通过捕获校准顔色的RGB值，可以计算所需的数学模型，以转换已知顔色的測量信号到色度数据(如CIELAB值)。一旦获得该模型，则在图像中的任何未知的颜色(在CIELab颜色空间中)的颜色可从而从其RGB值确定。W001/25737描述了要确定的色样的图像与使用例如平板扫描仪或数字照相机的校准模式的图像同时捕获。然后处理捕获的图像以确定在图像中的未知的顔色。该设置描述为在汽车修理行业中特别有用。在这个方面，使用电子成像设备测量要修理的汽车的颜色。在这之前或同时记录由在其上应用有不同校准顔色的板构成。然后计算汽车顔色的色度数据进而找到给出与要修理的汽车的颜色相同的顔色的顔色公式。在分配器中准备颜色公式进而应用。因此W001/25737描述ー种用于专业场合的设置，如汽车修理或涂料商店。因此，W001/25737没有指出所有的问题，这些问题涉及例如在其中照明穿过捕获图像变化，或在其中色样实际上包含穿过样本被空间地混合的不同顔色的问题。相反地，在国内的场合，所有的这些异常场合都可出现。本发明的其他现有技术包括W002/13136，W02008/108763 和 W02004/028144。

发明内容
本发明的实施例指出了ー些上面提及的问题，并且涉及从色样的图像中确定色样的顔色，该图像典型地(虽然不是专有地)已由没有受过训练的用户使用非专业装备捕获。在一个实施例中提供在其上印有已知颜色(例如，XYZ三色值)的色样的色样捕获卡。测试色样的图像则使用国内可用的装备捕获，例如消费者数字照相机或装备照相机的移动电话，图像同样包含色样捕获卡。在一个实施例中，图像则传输到用于色样顔色确定的远程颜色确定服务。使用图像中的RGB色样和其中已知的XYZ颜色执行回归分析以表征响应图像捕获设备的顔色捕获。通过已表征的图像捕获设备，未知色样的XYZ顔色可从图像中的其RGB颜色确定。已知XYZ颜色，则可以精确的匹配颜色与涂料颜色的调色板以确定与未知颜色匹配的涂料颜色。另外，可以识别在涂料调色板中的互补色。在执行上述设置时，在一个实施例中可解决穿过图像在空间亮度中的差异。在另一个实施例中在图像中的卡的放置错误同样在运行之前使用图像的纠偏(deskewing)和旋转变形校正。在进ー步的实施例中在两个途径中计算XYZ颜色，使用来自第一途径的信息通知第二途径。在更进ー步的实施例中，在色样实际上包含多于ー种顔色之处，使用聚类技术(clustering techniques)确定单个颜色以识别在样本中的主导颜色。鉴于上述情况，本发明的第一方面提供ー种方法，包括接收涉及将要确定其比色数据的未知色样的第一图像数据；和接收涉及多个已知其比色数据的已知校准色样的第二图像数据。然后确定有关从第二图像数据到校准色样的对应的已知的比色数据的已知校准色样的颜色测量的多个颜色校准特性，并且依靠从第一图像数据的其颜色测量和确定的顔色校准特性计算未知色样的比色数据。尤其是使用N个已知的校准色样确定顔色校准特性，其中N小于穿过整个颜色空间中已知的校准色样的总数。在某些情况中这可提供更精确的结果。更优选地，在上面的实施例中N个已知校准色样是在颜色空间中最接近未知色样的评估颜色的那些N个样本。这有效地允许当确定颜色校准特性吋“放大(zoom in)”颜色空间，以使得更精确表征包含未知色样的颜色空间的部分。在上面的实施例中可以通过使用所有可用的已知的校准色样确定第一组校准特性，和使用第一组校准特性计算所评估的顔色来获得所评估的顔色。然后执行处理的“第二途径”，使用N个最接近的已知的校准色样来评估顔色。在这种方式中，使用双途径处理方式，该方式允许表征一般顔色空间，进而在进ー步的细节中表征包含未知色样的空间部分，以提供更精确的結果。可选地，N个已知校准色样为在有限的颜色空间内使用的那些N个样本，已知第二图像数据代表该有限的顔色空间。在这个方面，它可以是已知校准色样已知在顔色空间的有限部分内，例如，可以全部为红色或蓝色。即，如果试图匹配红色那么用户使用主要为红色，或接近红色的已知校准色样，因此来限定需要表征的捕获设备的顔色空间的部分。更进ー步可选择的N个已知校准色样为具有与从第一图像数据的未知的样本的测量的顔色值最相似的从第二图像数据的测量颜色值的那些N个样本。例如，可以使用具有与未知的色样最接近的RGB或sRGB值的N个已知校准色样。在上面的实施例中，N优选地在基本上5到基本上250的范围中，或者更优选地基本上10到基本上100，或者更优选地基本上20到基本上85，或者更优选地基本上30到基本上70，或者更优选地基本上40到基本上60，或者更优选在50或50左右。在另ー个实施例中则可以使用N的不同数量或范围。 除了上述之外，在一个实施例中确定的未知色样的比色数据则可以与涂料颜色的颜色调色板相匹配以识别匹配的涂料颜色，和涉及提供给用户的匹配涂料颜色的信息。在一个实施例中，经由电信网络从远程用户接收第一图像数据和第二图像数据。另外，经由电信网络提供给用户涉及匹配涂料颜色的信息。这样可以使用远程服务提供未知色样的匹配涂料颜色。在一个实施例中接收第一图像数据和第二图像数据作为任意的i)电子邮件信息；ii)多媒体信息服务(匪S)信息；和/或iii)网页中的图像数据。另外也可以提供涉及匹配涂料颜色的信息作为任意的i)电子邮件信息；ii)多媒体信息服务信息；iii)短信息服务(SMS)信息；和/或iv)在网页中的数据。这样的通信协议远程地推动涂料匹配服务的供应，该供应对用户是熟悉的并且容易使用。在一个实施例中通过使用图像捕获设备由用户产生第一图像数据和第二图像数据；其中图像捕获设备优选为任意的i)数字照相机；ii)装备有照相机的移动电话；和/或iii)数字摄录一体机(camcorder)。同样，该设备对于普通用户而言易于手持，并且用户 熟悉该设备的操作。在一个实施例中确定的比色数据和/或已知的比色数据是XYZ三色值。XYZ三色值定义固定的和特定的标准化的顔色。在一个实施例中可以确定匹配颜色的互补颜色，并且向用户提供有关确定的互补色的信息。通过提供互补色则可以更容易的确定颜色方案。在一个实施例中至少第二图像数据定向到已知的方向中以允许在其中的已知的校准色样的识别。图像数据的自动定向允许终端用户的容易使用，因为在任意特定的所需方向中不需要捕获所捕获的第二图像数据。 在这个实施例中定向优选地包括执行边缘检测来识别在第二图像数据中的已知校准色样组的位置。另外，定位可进ー步包括识别涉及在第二图像数据中已知的校准色样组的多个预定的点。一旦识别这些已知的点那么能够依靠识别点的位置应用透视转换到第ニ图像数据来纠偏已知的校准色样组的图像。此外，在这个实施例中定位可进ー步包括识别涉及在第二图像数据中的已知校准色样组的预定的旋转方向标记。第二图像数据则可依靠识别的旋转方向标记的位置旋转以使已知的校正色样放置在第二图像数据中的已知的位置中。在一个实施例中还可以补偿穿过已知校准色样组的亮度差异。这允许在未控制的照明条件中捕获图像数据，在其中可存在穿过图像的不同照明。同样，这允许终端用户的容易使用。在这个实施例中补偿可包括确定具有第一组校准系数的第一组ー个或多个函数，所述ー个或多个函数涉及从第二图像数据到校准色样的已知比色数据的已知校准色样的测量颜色和在图像中每ー个已知样本的已知位置。然后分析确定的函数以找到具有第二组校准系数的第二组函数。然后在计算未知色样的比色数据中使用第一和第二组函数和校准系数。此外，更优选地亮度补偿进ー步包括在第一组函数的确定之前，确定具有前导(pre-cursor)校准系数组的前导函数组，该前导校准系数组有关从第二图像数据到不考虑已知色样的位置的校准色样的已知比色数据的已知校准色样的测量颜色。然后使用前导校准系数组作为在第一组ー个或多个函数的确定中的第一组校准系数的一部分。
在本发明的一个实施例中可对表示在第一图像中的未知色样的像素的像素值应用聚类算法来确定在样本图像中的顔色的数量，和用于每ー个识别的聚类(cluster)识别的顔色。用这样的设置，如果未知的色样包括多于ー种顔色，那么或者可以识别主导颜色，和/或分别识别单个颜色。在这ー实施例中首先使用顔色校准特性校准像素值。这具有确保在色样中的真实顔色上运行聚类算法的效果。使用的聚类算法则可通过如下步骤运行i)在聚类中计算像素的平均值；ii)然后在平均值的预定的阈值距离内确定像素的数量；进而iii)如果确定的像素的数量少于涉及未知样本的第一图像数据中的像素的数量的预定比例(fraction)则增加聚类的数量。这样用每ー个涉及相应的单个颜色识别的聚类，使识别在样本中的不同顔色成为可能。为了确保探测在样本中的主导或重要顔色，实施例还可以过滤聚类从在平均的聚类的第二阈值距离内不包含像素的阈值数量的考虑移除那些聚类。因此，不识别仅有小数 量像素的顔色聚类作为样本中的主导或重要顔色。从本发明的第二方面同样提供一种设备，包括至少ー个处理器；和包括计算机程序代码的至少ー个存储器，该至少一个存储器和计算机程序代码配置为，用至少ー个处理器，使该设备执行至少下面的i)接收涉及要确定其比色数据的未知色样的第一图像数据，和涉及多个已知其比色数据的已知校准色样的第二图像数据；ii)确定涉及从第二图像数据到校准色样的相应的已知比色数据的已知校准色样的颜色测量的多个颜色校准特性；和iii)依靠从第一图像数据的其颜色测量和确定的顔色校准特性来计算未知色样的比色数据；其特征在于使用N个已知校准色样确定顔色校准特性，其中N小于穿过整个颜色空间的已知校准色样的总数。本发明的进ー步方面和特征将从附加权利要求中体现。


本发明的例子的进ー步特征和优点将从本发明具体实施例的下面的描述中体现，仅通过举例的方式和參考附图体现，其中同样的附图标记指示同一部分，并且其中图I是根据本发明实施例的系统的方框图。图2是在本发明实施例中使用的顔色校准样本卡的图；图3是在本发明实施例中执行的过程的流程图；图4是在本发明实施例中使用的说明图像定向过程的流程图和相关图；图5是在本发明实施例中使用的描述颜色校准过程的流程图；图6是在本发明实施例中使用的说明多途径过程的流程图；图7是在本发明实施例中使用的说明空间亮度校准过程的一部分的流程图；图8是在本发明实施例中使用的说明聚类过程的流程图；图9是在本发明实施例中使用的证明聚类过程使用的图；图10是在本发明实施例中使用的说明聚类过程的使用的另ー个图；图11是用于在本发明实施例的测试的实验性的颜色校准样本模版的照片；图12是在本发明实施例的测试期间中从校准过程获得的灰度能量拟合lgreyscale power fit；的图表；
图13-15是图12中示出的基于能量函数的用于X，Y和Z的能量函数回归拟合的图；图16是使用ニ阶多项式的灰度拟合的图；图17是使用约束在零截止的四阶多项式的灰度拟合的图；图18-20是从在其中执行第二处理途径的实施例获得的测试结果的图。
具体实施例方式本发明的不同例子现在将关于附图描述。I.第一实施例-使用减少的颜色空间的回归分析图I是根据本发明第一实施例的系统的方框图。系统具有用户侧元件和后端服务器侧元件。用户侧元件用干与其比色数据已知的校准色样的图像一起捕获要确定的色样的图像。服务器侧或后端元件涉及接收图像数据、处理图像数据、确定未知色样的颜色、匹配顔色到涂料调色板然后从调色板返回匹配的顔色到用户的处理元件。在这点上，本发明的第一实施例g在提供一种允许国内用户或其他用户精确地识别未知色样的颜色的系统。为了执行该系统，用户获得校准色样卡，例如通过邮寄，或通过访问他们可用的涂料零售商店。校准色样卡具有一个要确定其颜色的目标可放置在其中的裁剪的部分。然后用户用容易的可用的图像捕获设备，例如数字照相机或装备有照相机的移动电话，捕获具有在该裁剪的部分中要确定的目标颜色的校准色样卡的图像。然后由用户传输图像，例如通过电子邮件、多媒体信息服务或使用网络接ロ，到处理图像的后端服务器，确定未知色样的颜色，并回传关于匹配涂料颜色的信息给用户。此外，有关互补涂料颜色的信息使制定涂料颜色方案也可以回传到用户。图I以更多的细节说明该系统的元件。在用户端开始，用户例如从本地的涂料零售商或通过邮寄将它寄出以获得校准色样卡24。校准色样卡24在其上具有多个单独的色样242，穿过该卡空间地分布，色样242的顔色也穿过颜色空间分布。校准色样卡24具有一个裁剪部分244，如图I所示位于中间，但是在另ー个实施例中裁剪部分可以位于卡上的任意位置，在该卡中，在使用中，放置要采样的目标或放置该卡在要采样的目标上，从而要采样的目标的部分通过裁剪部分244示出。校准色样卡24的进ー步细节稍后将參考图2描述。在使用中，如指出的用户放置校准色样卡24在要确定其顔色的目标上。然后用户使用图像捕获设备例如数字照相机或装备有照相机的移动电话，以获取同样位于图像中的具有要确定的未知色样的校准色样卡24的图像。如图I所示，可以使用用户图像捕获设备12，例如数字照相机或装有图像捕获设备例如内置摄像头的用户移动设备14。一旦用户捕获了图像，那么用户必须传输图像到用于图像处理的后端服务器10。可以使用多种不同的传输技术来传输图像数据到后端服务器10，并且本发明的实施例不限于那些描述。例如，用户可以从数字照相机12装载捕获的图像到他的或她的计算机16上，该计算机16经由本地网络，例如WIFI路由器18连接到因特网22。然后，用户可以使用计算机16发送作为附件的图像的电子邮件到涉及后端服务器10的电子邮件地址。可选地，后端服务器10经由网络接ロ可以提供能够由计算机16下载和由浏览器程序显示的专用网页，并且可以放置图像数据在其中，使得可以回传到后端服务器10。、
在用户使用移动电话捕获图像的情况下提供到后端服务器的可选择的路线。通常公知为智能电话的某些移动设备具有WIFI功能并可用于发送电子邮件或以与膝上型电脑或台式计算机相同的方式访问网页。在这种情况下使用用户移动设备作为便携式计算机并且因此可通过电子邮件发送的捕获的图像，或作为进入到网页的数据，回传到后端服务器。可选择地，用户移动设备可以使用它的蜂窝无线接ロ来发送图像数据到后端服务器10。在这种情况下，可以发送图像数据，例如作为经由蜂窝网络26到移动网关20的多媒体信息服务(MMS)信息，该移动网关然后传输图像数据到后端服务器10。在这方面，可以提供特殊的联系号码并让可向其发送MMS信息的用户知道(例如印在校准色样卡24上)。后端服务器10包括连接到用于从用户接收图像数据的网络22的网络接ロ 102，和向网络22传送颜色匹配数据，如将要描述的一祥。后端服务器10进ー步包括运行程序以执行颜色确定和通常控制后端服务器10的操作的处理器104。由数据可暂存在其中的处理器提供使用的工作存储器106。同样在后端服务器10中提供的是形成数据和程序可存于其中的长项(long term)存储的计算机可读介质108。例如计算机可读介质108可以为硬盘驱动器，或可以是例如固态存储器。存储在计算机可读介质108上的是ー些控制程序。在这第一个实施例中提供顔色匹配控制模块104，该颜色匹配控制模块104控制系统的整体操作，并且当需要时调用其他模块以执行操作。另外，在第一实施例中提供的是校准模块118，该校准模块118适当地从颜色匹配控制模块114接收控制命令，并由处理器104运行以执行校准函数，并且特别是执行必要的回归分析以使能够表征由用户使用的图像捕获设备的顔色捕获特性。校准模块118操作的进ー步细节将稍后给出。在另ー个实施例中，可以提供附加的模块，例如图像定向模块116，或者聚类模块120。这些附加模块的操作将稍后关于相关的实施例描述。另外在后端服务器10中提供的进ー步是计算机可读存储介质110，其同样可以采用硬盘、固态存储器或类似的形式。在这方面，第二计算机可读存储介质110可以实际上为与介质108相同的介质，并且可例如是构成第一计算机可读存储介质108的相同硬盘的分区。但是，第二计算机存储介质110存储包括涉及在校准色样卡24上的色样的比色数据的顔色数据库。可以相关于可用的不同校准色样卡24，存储这些数据的多个组。对于每个校准色样卡24,存储卡的标识符(ID),然后为在卡上的姆ー个已知的色样,与在卡上具有那些三色值的色样的XY坐标位置一起存储已知的XYZ三色值。由于在校准色样卡24上存在色样碎片，因此将存在许多组坐标值和相关的三色值。图2在更多细节上示出校准色样卡24。特别地，校准色样卡24在其外部边缘具有边界248，进而在其上印刷有已知颜色的色样碎片。布置色样碎片使得色样碎片区域的外部边缘周围的碎片250为灰度碎片，例如它们的范围为从黑色通过多个的灰度颜色到白色。应当由例如具有基本上相等的RGB值的数字照相机的图像捕获设备捕获这些碎片。如在后面的实施例中将要描述的，它们在执行空间亮度校正中是有用的。进ー步位于从校准色样卡24的边缘中的色样碎片242是每ー个具有已知的三色顔色值的颜色碎片。在这方面，顔色碎片必须按照期望的三色值尽可能精确地印刷。可选地，可以印刷校准颜色卡，进而测量每一个碎片例如使用分光光度计来确定它的XYZ值。色样碎片242的顔色优选地穿过整个顔色空间分布。但是，在稍后描述的其他的实施例中颜色可以集中在顔色空间的特别区域内。同样用某种识别标记246提供卡24，该标记可以为条形码或某些其他受信(fiduciary)标记，例如印刷的名称、符号或类似的标记。这用于识别哪张卡已由用户使用，这样可以选择使用的正确的色卡数据。最后，校准卡24具有裁剪部分244，这里在中间示出。但是裁剪部分的位置不重要，并且它可以位于在卡上的任意位 置甚至在边缘。此外不是必须包含裁剪部分；在这方面，校准色样卡24可以简单地位于邻近目标或要确定其顔色的样本，尽管这不是最优的。在使用中，如所提及的，用户例如从涂料零售商获得校准色样卡24，然后放置校准卡24使得裁剪部分超过采样的顔色，例如靠垫、窗帘、家具项目或类似的顔色。在这方面，卡24将位于要采样其顔色的目标的正面或反面，这样它的顔色通过裁剪部分244示出。使用移动电话、数字照相机或类似的，用户则获取要采样的具有在图像中的顔色捕获卡的目标的静止图像，并且使用先前描述的多种通信途径，例如MMS、电子邮件或使用网页访问将其发送到后端服务器10。图3在更多细节中示出在后端服务器10执行的过程。首先，在后端服务器10的网络接ロ 102接收由用户发送的图像数据32。通过在处理器104上运行的顔色匹配控制模块114控制后端服务器10。当接收到图像数据时，顔色匹配控制模块114首先，随意地，执行图像处理来定位和定向图像内的校准色样卡24。这在块3. 2中执行，并且可选择因为可能取决于向用户给出的指示，这个步骤不是必需的。例如，校准色样卡24可与向用户的指示一起给出以捕获图像使得在图像内的卡的位置是不偏斜的。另外，在它发送到后端服务器10之前，可指示用户裁剪图像使得图像单独地具有在已知的旋转方向中的校准卡24。如果提供用户这些指示并执行它们，那么将不需要执行任何定位或卡定向途径。因此，在这种情况下，接收的图像32将为单独具有在已知方向中的未知样本的校准卡的图像，例如，可以为卡和样本的卡图像34。—旦已经获得卡图像34，为了执行回归分析来表征用户的图像捕获设备的顔色捕获特性，顔色匹配控制模块114控制处理器104装入校准模块118。在本实施例中使用的回归分析与先前在US5150199和W001/25737中描述的基本上一祥，并且在图5中示出更多的细节。在图3的方面中，在块3. 4中执行表征该设备的回归分析，參考从顔色卡数据112中已知的，存储在颜色数据库110中的校准卡设计(layout) 35。迭代回归算法包括以下两个单独的处理步骤步骤I :使用在校准色样卡24上的灰度色样确定每ー个测量的R，G和B组件和已知的X，Y和Z组件之间的3个关系，例如 X作为R的函数(命名为函数R1)。
Y作为G的函数(命名为函数G1)。
Z作为B的函数(命名为函数B1)。可以在灰度数据上使用能量曲线拟合来获得上面步骤I中的关系R1, G1, B115同样可使用任意的ニ阶、4阶或更高阶的多项式曲线拟合。步骤2 :确定在已知的X，Y和Z组件的每ー个和在上面步骤I中确定的三个函数之间的多变量线性关系，例如 X作为R1, G1, B1的函数(命名为函数X1)。
Y作为R1, G1, B1的函数(命名为函数Y1)。
Z作为R1, G1, B1的函数(命名为函数Z1)。步骤2在算法中执行与步骤I中获得的针对能量曲线拟合R1, G1和B1的X，Y和Z的多变量回归，例如X=f(R1,G1,B1)Y=f(R1,G1,B1)
Z=f(R1,G1,B1)或者X=a+b. R^c. G^d. B1Y=a+b. R^c. G^d. B1Z=a+b. R^c. G^d. B1其中a，b，c和d为常数系数。X，Y和Z的三个多变量回归拟合分別指示X1, Y1和
Z1O图5在更多细节上示出了上面的例子。特别地，如在图3中的块3. 4 一样将执行图5的过程。首先，在块5. 2，像讨论的一祥，接收来自己知方向的颜色卡的图像数据。然后识别在块5. 4使用的顔色卡是必需的，并且这使用位于校准卡24上的识别标记246执行。SP，执行识别标记246的识别，然后使用该标记作为索引来从颜色卡数据库110选择颜色卡数据的合适的组。接下来，开始上面提及的算法的第一歩，从块5. 6延伸到5. 14。也就是说，在块5. 6开始过程回路来在图像中的已知位置从图像读取数据。也就是说，在块5. 6，在校准卡24上的已知位置U，y)的每ー个灰度样本具有从在块5. 8的图像测量的它的RGB值，然后在步骤5. 10从数据库中查找用于在相同位置(x，y)的样本的三色XYZ值。为图像上的所有灰度样本重复该过程，与样本250 —祥，具有校准卡24的该灰度样本位于色样的外部边缘。在可替换的实施例中，这个步骤不需要限制为灰度样本，并且另外同样可以使用其他色样，或作为替换。因此，在处理构成块5. 6到5. 12的最后，为在图像中的每ー个已知颜色或灰度样本，将从在顔色数据库110中的合适的色卡数据获得三色XYZ值，并且将测量在图像上的色样的RGB值。对应的RGB和XYZ值相互关联地存储在存储器106中。例如，如图12，16和17所示，为针对在图上的样本的已知的XYZ值的每个已知样本绘制测量的RGB值是可能的。一旦測量到RGB值，并且从顔色数据库中查找到相应的XYZ值，那么在步骤5. 14，执行算法的上面提示的步骤I，来确定作为测量的R值的函数的X值，作为G测量的值的函数的Y值，和作为测量的B值的函数的Z值。或使用能量拟合或使用多项式拟合执行这个步骤，以获得涉及X到R，Y到G和Z到B的函数。通常，能量拟合将给出如下等式形式Xi=CtxRifixYi=QZi = a其中系数ax,y,z和3x,y,z表征各自的关系。图12，16和17示出用于在图11中示出的在测试校准样本序列1102的捕获的图像上执行的实验测试数据的获得的曲线拟合的例子。图11示出了色样碎片1102的序列，与灰度碎片1104 —起，位于序列的底部。色样碎片1102包括包含6个灰度标准256种随机布置的标准颜色。灰度碎片1104包括从黑到白排列的16种灰度颜色。为了测试该过程，图11的实验测试序列是使用D65光线照明并且使用高端数字照相机(佳能Powershot Pro 90IS)捕获的图像。在测试序列中预先已知来自颜色碎片的XYZ三色数据，在序列中通过碎片的位置索引。用这些数据，绘制针对每ー个测试碎片的已知XYZ值的每ー个碎片的测量的R，G和B值是可能的，如图12，16和17中所示。应当注意在图12，16和17中的每ー个中数据的绘制是相同的。不同的是应用的曲线拟合。特别地， 在图12中根据上面描述的关系，使用能量拟合。但是，如所提及的，同样可使用多项式拟合而不是能量拟合，并且图16示出ニ阶多项式拟合，反之图17示出四阶多项式拟合，在其中函数被限制在零处截止。如后面将要描述的一祥，不管使用能量拟合还是多项式拟合，结果基本上相同，并且看来有一点优势，如果有的话，使用多项式拟合好于能量拟合。一旦执行曲线拟合来给出上面提及的函数，接下来，在块5. 16，针对获得的函数执行X，Y和Z的多变量回归，来获得有关X到R、G，和B、Y到R、G和B，和Z到R、G和B的系数，如上面步骤2中提及的一祥。图13示出针对回归拟合Rl和Xl的已知X的绘制，然而图17示出针对回归拟合Gl和Yl的已知Y的绘制，和图15示出针对回归拟合BI和Zl的已知Z的绘制。如上描述，这找到有助于表征X，Y和Z的每ー个作为R，G和B的函数的常数系数(上面步骤2中的a，b，c和d)。一旦找到这些系数，例如来自上述算法的步骤I和步骤2 二者的系数，存储它们并其后表征由用户使用的图像捕获设备的顔色捕获函数。使用这些系数则可能从它的RGB值找到在图像中的未知色样的颜色。因此，返回到图3，在块3. 4，执行上面提及的校准过程并且这返回一组校准系数36，该系数则可用于后来的颜色确定。首先，但是，必须确定在已知色样中是否有任意的主导颜色，并在块3. 6中执行该确定。例如，可以检查表示未知样本的RGB像素值来确定是否存在主导RGB值。另外，如果没有主导RGB值，那么在块3. 10使用的网络接ロ询问用户以抓取要校准的顔色。然后在块3. 12校准抓取的颜色。在随后的实施例中我们将描述能够在未知样本中识别多个颜色并为它们的每ー个返回校准顔色的聚类过程。在块3. 12，使用校准系数36校准抓取的顔色。即，使用校准系数36应用RGB值到在块3. 4找到的方程。这个过程给出抓取的顔色的XYZ三色值。在块3. 14，已经找到的未知色样的XYZ值(或在色样中抓取的主导值，如果存在多于ー种的顔色)然后颜色匹配控制模块114执行以找到在可用颜色调色板中的最接近的颜色。在这方面，颜色调色板数据45可用于颜色匹配控制模块114并存储在顔色数据库110中。通过由使用顔色差异测量执行找到最接近的顔色，并且比较使用差异测量在调色板中为每ー个颜色确定的XYZ顔色，选择具有最小差异的颜色。可以使用许多不同的差异测量，但是在本发明的实施例中优选使用CIE Delta E测量。特别地，可以使用原始CIE Delta E(1976)颜色差异测量，或在另ー个实施例中的CIE Delta E (2000)测量。在进ー步的实施例中，可以使用Delta E(2000)但是使用不同的加权因子。在块3. 14的顔色匹配过程返回在调色板中最接近确定的测试样本的XYZ顔色的为涂料顔色的匹配涂料颜色。然后提供这个涂料顔色信息42经由网络22上的网络接ロ102返回给用户。例如，在用户使用移动设备通过丽S传输图像到后端服务器10处，网络接ロ 102可以配置为短信息服务(SMS)或MMS信息来发送涂料顔色信息返回到用户移动设备。可选择地，在用户发送电子邮件给后端服务器10处，网络接ロ 102可以配置电子邮件答复涂料顔色信息。在使用网络接ロ处，可向用户发送用于由用户网络浏览器显示的网页，所述用户网络浏览器给出匹配的涂料颜色信息。最后，在本发明的一些实施例中除了返回涂料颜色信息42外，在块3. 16后端服务器10同样执行找到补充确定的涂料颜色42的顔色方案。例如，有许多用于确定彼此互补的顔色方案的方法。例如，离在CIELAB颜色轮上的第一顔色120°的顔色通常认为是补充色。另外，离在CIELAB颜色轮上的第一颜色180°的颜色同样认为是互补的。因此，在块
3.16，使用这样的补充色确定技木，来确定颜色方案信息44，该信息同样返回给用户。因此，在第一实施例中，用户可以使用他的移动电话或他的数字照相机获得要确 定其颜色的目标的数字照片。通过放置校准色样卡24在目标上、邻近或接近目标获取照片，使得校准色样卡24和目标两者在图像中捕获。然后用户经由从他家到后端服务器的电信网络发送图像。在这方面，联系细节例如电子邮件地址、MMS号码或网页地址，可以在校准色样卡24的背面提供。后端服务器10接收图像，像描述的一祥处理图像来确定要确定的目标的实际颜色，进而与涂料调色板匹配顔色来确定目标的匹配涂料颜色。然后在答复用户时通过电信网络返回有关匹配涂料颜色的信息。答复可以是，例如，通过电子邮件，SMS,MMS或通过在用户的计算机或移动电话上的浏览器中传送用于显示的合适的网页。用这样的设置，极大地提高用户容易地匹配涂料颜色的能力。特别地，对用户而言不再需要从他的本地涂料商店获得多组色样卡，进而尝试使用他自己的感觉匹配顔色。作为替代，可以获得更精确的和数学上严格的顔色匹配。另外，不需要专业设备来获取图像，而且用户能够使用他通常拥有的图像捕获设备。为了从上面提及的过程评估結果，同样使用两个模版标准(先前描述的，图11中示出第二模版标准，第一模版标准相同，但是在底部没有灰度碎片1104)的测量的RGB数据作为样本输入数据。使用上面描述的方法使用该RGB输入数据来计算校准的XYZ值。然后在数字上比较确定的校准XYZ颜色与已知的XYZ值以提供算法中回归拟合的有效性的测量。为了这个目的，使用CIE dE和CIE DE2000的感觉差异的两个标准测量。下面的表格显示平均dE和同样用于上面描述的每ー种方法获得的DE2000值。
画画画画画画
权利要求
1.一种方法，包括 接收涉及要确定其比色数据的未知色样的第一图像数据； 接收涉及多个已知其比色数据的已知校准色样的第二图像数据； 确定有关从所述第二图像数据到所述校准色样的相应的已知比色数据的所述已知校准色样的颜色测量的多个颜色校准特性；和 根据从所述第一图像数据的其颜色测量和确定的颜色校准特性计算所述未知色样的比色数据； 其中使用N个已知校准色样确定所述颜色校准特性，其中N小于穿过整个颜色空间的已知校准色样的总数。
2.根据权利要求I的方法，其中所述N个已知的校准色样是在颜色空间中最接近所述未知色样的评估颜色的那些N个样本。
3.根据权利要求2的方法，其中通过使用所有可用的所述已知校准色样确定第一组校准特性获得所述评估的颜色，并使用所述第一组校准特性计算所述评估的颜色。
4.根据权利要求3的方法，其中使用在第一处理途径期间的上述步骤获得所述评估的颜色，进而使用上述步骤执行第二处理途径，使用所述N个到所述评估的颜色最接近的已知校准色样作为所述已知校准色样的组。
5.根据权利要求I的方法，其中所述N个已知校准色样为在有限的颜色空间内使用的那些N个样本，所述第二图像数据已知用来代表所述有限的颜色空间。
6.根据权利要求I的方法，其中所述N个已知校准色样是具有与从所述第一图像数据的所述未知样本的所述测量的颜色值最相似的从所述第二图像数据的测量的颜色值的那些N个样本。
7.根据权利要求6的方法，其中所述测量的颜色值是RGB或sRGB值。
8.根据权利要求I到5中任一项的方法，其中N在基本上5到基本上250的范围内，或者更优选地基本上10到基本上100,或者更优选地基本上20到基本上85,或者更优选地基本上30到基本上70，或者更优选地基本上40到基本上60，或者更优选地在50或50左右。
9.一种计算机程序或一组计算机程序，如此设置以使当在计算机系统上运行时，它/它们促使所述计算机系统执行权利要求I到8中任意一项所述方法。
10.一种设备，包括 至少一个处理器；和 至少一个包括计算机程序代码的存储器； 所述至少一个存储器和所述计算机程序代码配置为，用所述至少一个处理器，促使所述设备执行至少下面的 i)接收涉及要确定其比色数据的未知色样的第一图像数据，以及涉及已知其比色数据的多个已知校准色样的第二图像数据； ii)确定有关从所述第二图像数据到所述校准色样的相应的已知比色数据的所述已知校准色样的颜色测量的多个颜色校准特性；和 iii)根据从所述第一图像数据的其颜色测量和所述确定的颜色校准特性计算所述未知色样的比色数据； 其特征在于使用N个已知校准色样确定所述颜色校准特性，其中N小于穿过整个颜色空间的已知校准色样的总数。
11.根据权利要求10的设备，其中所述N个已知校准色样是在颜色空间中最接近所述未知色样的评估颜色的那些N个样本。
12.根据权利要求11的设备，其中通过使用所有可用的所述已知校准色样确定第一组校准特性获得所述评估的颜色，并使用所述第一组校准特性计算所述评估的颜色。
13.根据权利要求12的设备，其中使用上述步骤在第一处理途径期间获得所述评估的颜色，进而使用上述步骤执行第二处理途径，使用N个最接近所述评估的颜色的所述已知校准色样作为所述已知校准色样的组。
14.根据权利要求10的设备，其中N个所述已知校准色样是在有限的颜色空间内使用的那些N个样本，所述第二图像数据已知用来代表所述有限的颜色空间。
15.根据权利要求10所述的设备，其中所述N个已知校准色样是具有与从所述第一图像数据的所述未知样本的所述测量的颜色值最相似的从所述第二图像数据的测量的颜色值的那些N个样本，其中所述测量的颜色值优选为RGB或sRGB值。
全文摘要
本发明的实施例涉及从色样图像确定色样的颜色。在一个实施例中提供其上印刷有已知颜色(例如，XYZ三色值)的色样的颜色捕获卡。然后使用国内可用的装备，例如用户数字照相机或装备有照相机的移动电话，捕获测试色样的图像，图像同样包含色样捕获卡。然后使用图像中的RGB色样和它的已知的XYZ颜色执行回归分析来表征响应图像捕获设备的颜色捕获。在一个实施例中使用N个已知校准色样确定颜色校准特性，其中N小于穿过整个颜色空间的已知校准色样的总数。通过表征的图像捕获设备可从图像中的它的RGB颜色确定未知色样的XYZ颜色。
文档编号G01J3/52GK102714689SQ201180006517
公开日2012年10月3日 申请日期2011年1月17日 优先权日2010年1月19日
发明者B·B·林斯, P·J·哈罗普, P·M·斯皮尔斯, S·朗赫斯特 申请人:阿克佐 诺贝尔国际涂料股份有限公司