专利名称：精密机器视觉检测系统和用于操作该系统的方法
技术领域：
本发明一般涉及机器视觉检测系统，特别涉及在此类系统中包括连续高速图像获取的部件程序的编辑环境。
背景技术：
精密机器视觉检测系统(或简称为“视觉系统”)可用于获取被检测物体的精确尺寸测量以及检测各种其它物体特征。此类系统可包括计算机、摄像头和光学系统，以及可在多个方向移动以允许摄像头扫描被检测工件特征的精密平台。市售的一个示例性现有技术系统为位于伊利诺斯州奥罗拉的美国三丰公司(MAC)销售的QUICK VISION 系列的基于个人计算机(PC)的视觉系统和QVPAK 软件。例如，在2003年I月出版的QVPAK 3DCNC视觉测量机的用户指南，以及于1996年9月出版的QVPAK 3D CNC视觉测量机的操作指南，中对QUICK VISION 系列的视觉系统和QVPAK 软件的特征和操作进行一般描述，其全部内容据此通过引用的方式并入本文。例如，以QV-302Pio型号例证的产品能够使用显微镜型光学系统以按不同放大倍数提供工件的图像，并按需要移动平台以使工件表面横越任何单个视频图像的限制。典型地，单个视频图像仅包含被观察或检测的工件的一部分，其给出此类系统所需的放大倍数、测量分辨率和物理尺寸限制。机器视觉检测系统一般使用自动化视频检测。美国专利号6，542，180对此类自动化视频检测的各方面给出了教导，且其全部内容通过引用的方式并入本文。如在’ 180专利所教导的，自动化视频检测计量仪通常具有编程能力，其允许用户针对每个特定工件配置而定义自动检测事件序列。这可以通过基于文本的编程而实现，例如，或通过借助于图形用户界面存储与用户执行的检测操作的序列相对应的机器控制指令序列而逐渐“学习”检测事件序列的记录模式而实现，或通过这两种方法的组合而实现。这种记录模式通常被称为“学习模式”或“训练模式”。一旦在“学习模式”中定义了检测事件序列，则可以使用此序列在“运行模式”中自动获取(以及另外分析或检测)工件的图像。可手动使用视频工具(或简称为“工具”)和其它图形用户界面特征以完成人工检测和/或机器控制操作(在“手动模式”中)。也可在学习模式中记录其设置的参数和操作，以便创建自动检测程序，或“部件程序”。例如，视频工具可包括边缘/边界检测工具、自动对焦工具、形状或模式匹配工具、尺寸测量工具等。其它图形用户界面特征可包括与数据分析相关的对话框、步骤和重复循环编程等。例如，此类工具通常用于各种市售机器视觉检测系统中，如上面所讨论的QUICK VISION 系列的视觉系统和相关的QVPAK 软件。包括特定检测事件序列(即，如何获取每个图像以及如何分析/检测所获取的每个图像)的机器控制指令通常存储为针对特定工件配置特定的“部件程序”或“工件程序”。例如，部件程序定义如何获取每个图像，诸如如何以什么照明水平、什么放大级别等相对于工件来定位摄像头。进一步地，部件程序定义如何分析/检测所获取的图像，例如，通过使用一个或多个视频工具，如边缘/边界检测视频工具。创建带有按预定顺序进行检测操作的指令的部件程序的能力可提供多个益处，包括提供增强的检测可重复性，以及在一个或多个兼容的机器视觉检测系统上重复地自动执行同一部件程序的能力。对于用于可迅速编程多种工件的通用机器视觉检测系统，如前面提及的quick VISION 系列的基于PC的视觉系统，传统地，图像获取操作与对最近所获取的图像进行的图像分析操作和/或特征检测操作穿插进行(在本文中称为“穿插”型操作)。然而，对于使通用机器视觉检测系统提供更高吞吐量的需求日益增长。根据一种方法，可在利用摄像头和工件平台之间的连续性相对运动的同时通过进行图像获取来满足所述需求(与间歇性地停止和启动相对运动相反，此为穿插型操作所需)，从而显著提高检测的吞吐量。此类操作在此被称为连续运动型操作。这将有利于使此类系统包括闪光灯照明以在连续运动中协助图像获取，而不会使图像模糊。用于高速生产线的高速“成直线的”视觉检测系统提供了连续运动型图像获取。然而，这样成直线的视觉系统通常是专用于单个生产线并可多次反复获取同样的图像，例如在传送系统上用于连续的工件。在这种情况下，对于每个图像，运动速度和闪光灯照明参数等均为相同的。此外，工件配置和/或图像获取参数等很少会发生改变。因此，此类系统的编程方法无法帮助相对不熟练的用户对无限的多种工件、摄像头位置、图像获取参数等进行快速编程。相反地，经验表明通用机器视觉检测系统须帮助相对不熟练的用户能对无限的多种工件、摄像头位置、图像获取参数等进行快速编程。用于通用机器视觉检测系统的之前的编程方法并不能使连续运动型操作的编程足够简单或快速。此外，之前的编程方法未使与穿插型操作相结合的连续运动型操作的编程足够简单或快速。可以单独或组合使用来克服这些问题和缺点的编程系统和方法是理想的。在美国专利号7，590, 276中例示了可以克服这些问题和缺点中的某些问题和缺点的一个示例性现有技术方法，该专利的全部内容据此通过引用的方式并入本文。如’ 276专利所述，其提供了一种部件编程的方法，其允许用户容易地定义多个图像获取操作，其中，所述图像获取操作在学习模式操作中以自然和可直观理解的关系穿插有相关图像分析操作。然后，在所得到的部件程序中，可自动将用于至少一些图像的图像获取操作重新排列成连续运动图像获取顺序，其以“非穿插”的方式获取图像并存储图像，以便增加机器视觉检测系统的吞吐量。但是，如’ 276专利中所示，某些之前的编程方法的一个缺点是通常通过分析在学习模式中由用户输入的各种操作、使用“重组”的编程表示和语法改变或“重组”其在部件程序中的顺序已经实现了连续流的图像获取操作，从而可将图像获取指令分组到一起，以使用连续运动获取多个图像，并改变或“重组”其相应图像分析指令以遵循图像获取指令，以使所述图像分析操作在连续运动中未穿插或中断高速图像获取。因此，当再调用部件程序指令用于编辑或查看时，可将图像分析指令与获取指令分离以用于其相应图像。这已证明会引起此类系统用户的困惑，这是因为相关图像获取和分析指令是通过干预“无关的”图像获取和图像处理指令而分离的，当用户试图读取或编辑“重新排列的”部件程序指令时，这是不直观的并会导致效率低下和错误。换句话说，用于在部件程序中将图像获取操作分组到一起的重新排列的编程表示和语法使此类部件程序的编程和编辑对于用户而言变得更难。因此，需要能克服这些和其它不足的部件编程语法和编辑操作及功能，从而实现用于精密机器视觉检测系统的连续图像获取部件程序的更高效、直观和灵活的编程和编辑。

发明内容
提供了本发明的内容，以简单的形式介绍概念的选择，且这些概念将在下面的说明书中进一步说明。本发明内容的目的既不是用以识别所要求保护的主题的关键特征，也不是用作确定所要求保护的主题范围的辅助手段。根据本发明的一个方面，提供了一种精密机器视觉系统的编辑环境，其中在运行模式中进行连续或不间断的连续流图像获取操作。精密机器视觉检测系统包括成像部分、用于承载在所述成像部分的视野(FOV)中的一个或多个工件的平台、控制部分、显示器以及用户界面。根据本发明的另一方面，机器视觉检测系统还包括学习模式，其可操作来接收用户输入以控制机器视觉检测系统的操作并记录与受控操作相应的指令，以便创建部件程序。学习模式还可操作来编辑部件程序，并根据执行的编辑模式执行之前记录的部件程序指令。学习模式包括用户界面功能，诸如用户可控制流模式指令元件和部件程序指令的可编辑部件程序表示。用户可控制流模式指令元件可用于指定流模式段，其中，所述流模式段包括指定用于流模式执行的部件程序段。在各种实施例中，流模式执行可包括在连续运动序列中按相继顺序进行图像获取操作，其中平台和成像部分彼此相对连续移动以获取至少两个图像。可编辑部件程序表示包括与图像获取操作相应的图像获取指令表示、与图像分析操作相应的图像分析指令表示以及流模式段表示。根据本发明的另一个方面，机器视觉检测系统包括运行模式，其可操作来执行之前创建的部件程序，运行模式包括用于执行不位于流模式段中的部件程序指令的非流模式，以及用于执行位于流模式段中的部件程序指令的流模式。根据本发明的另一个方面，配置学习模式以使可编辑部件程序表示可按第一顺序表示包括图像获取的第一多个部件程序指令及相应图像分析指令，其中，所述第一顺序与用以创建部件程序而进行的相应受控操作的顺序相对应。此外，可进一步配置学习模式以使执行的编辑模式执行第一多个部件程序指令的部件程序图像获取指令和相应图像分析指令以按与第一顺序一致的方式进行图像获取操作和相应图像分析操作，且不论第一多个部件程序图像获取和相应图像分析指令是否包括在流模式段中。根据本发明的另一个方面，配置运行模式，使得在第一多个部件程序图像获取和相应图像分析指令包括在流模式段中时，使流模式根据第二顺序执行指令。在一个实施例中，第二顺序包括执行第一多个部件程序图像获取指令以按相继顺序执行其相应图像获取操作，而无需依赖于执行相应图像分析操作。另外，第二顺序还可包括执行第一多个部件程序图像分析指令以在获取其相应图像后进行其相应图像分析操作。在一个实施例中，在获取其相应图像后的图像获取操作的执行是在在相继顺序的图像获取操作中完成的。根据本发明的另一个方面，图像获取操作的执行是在连续运动序列中按相继顺序完成的，其中在连续运动序列中，平台和成像部分相对于彼此连续移动(例如，平台相对于成像部分连续移动)。在某些配置中，平台运动可操作以在水平面(例如，X-Y平面)中物理移动工件，而不移动成像部分，然而，平台运动也可操作以在垂直方向(例如，Z方向)移动成像部分，而不移动工件。在其它配置中，平台运动可操作以在一个水平方向(例如，X方向)物理移动工件，而不移动成像部分，然而，平台运动也可操作以在不同的水平方向(例如，Y方向)和垂直方向(例如，Z方向)移动成像部分，而不移动工件。在各个实施例中，可以连续运动序列对至少两个图像进行图像获取操作。根据本发明的另一个方面，在获取其相应图像后的图像分析操作的执行至少部分地是在图像获取操作的相继顺序中执行的。根据本发明的另一个方面，执行的非流模式执行第一多个部件程序指令的不位于流模式段中的图像获取指令和相应图像分析指令，从而按与第一顺序一致的方式执行图像获取操作和相应图像分析操作。根据本发明的另一个方面，配置学习模式，使得在再调用包括流模式段的部件程序用于编辑时，按第一顺序显示可编辑部件程序表示，且执行的编辑模式按与第一顺序一致的方式执行图像获取操作和相应图像分析操作。根据本发明的另一个方面，配置学习模式，使得使用户可以选择包括在流模式段中的部件程序指令表示，作为发起执行相应部件程序指令的编辑模式的位置，之后，则按与第一顺序一致的方式执行随后的部件程序指令。根据本发明的另一个方面，按与第一顺序一致的方式执行随后的部件程序指令。根据本发明的另一个方面，流模式段包括第一组指令和第二组指令，第一组指令包括第一图像获取指令和第一图像分析指令，其包括第一视频工具的视频工具指令，且第二组指令包括第二图像获取指令和第二图像分析指令，其包括第二视频工具的视频工具指令，其中在执行的编辑模式中，在开始执行包括第二视频工具的视频工具指令的第二图像获取指令和第二图像分析指令前执行包括第一视频工具的视频工具指令的第一图像获取指令和第一图像分析指令。在运行模式中，由于流模式指令元件，在流模式中执行流模式段，且在执行的运行模式，流模式段的执行中，按相继顺序执行第一和第二图像获取指令而无需依赖于执行包括第一和第二视频工具的视频工具指令的相应第一和第二图像分析操作。根据本发明的另一个方面，第一和第二视频工具包括边缘检测视频工具。根据本发明的另一个方面，部件程序还包括非流模式段，且在学习模式中，由于缺乏用于非流模式段的流模式指令元件，可将非流模式段与流模式段进行区分，非流模式段包括第三组指令和第四组指令，第三组指令包括第三图像获取指令和第三图像分析指令，其包括第三视频工具的视频工具指令，且第四组指令包括第四图像获取指令和第四图像分析指令，其包括第四视频工具的视频工具指令，其中在执行的编辑模式中，在开始执行包括第四视频工具的视频工具指令的第四图像获取指令和第四图像分析指令前执行包括第三视频工具的视频工具指令的第三图像获取指令和第三图像分析指令。在运行模式中，由于缺乏用于非流模式段的流模式指令元件，在非流模式中执行非流模式段，且在非流模式段的运行模式执行中，按相继顺序执行第三和第四图像获取指令，而无需依赖于执行包括第三和第四视频工具的视频工具指令的相应第三和第四图像分析操作。根据本发明的另一个方面，当再调用包括流模式段的部件程序用于编辑时，按第一顺序显示可编辑部件程序表示，且执行的编辑模式按与第一顺序一致的方式执行图像获取操作和相应图像分析操作。根据本发明的另一个方面，在学习模式中，用户可以选择流模式段中的任何部件程序指令，作为开始部件程序指令的执行的位置，之后，则按与第一顺序一致的方式执行随后的部件程序指令。根据本发明的另一个方面，流模式段包括第一组指令和第二组指令。第一组指令包括第一图像获取指令和第一图像分析指令，其包括第一视频工具的视频工具指令，而第二组指令包括第二图像获取指令和第二图像分析指令，其包括第二视频工具的视频工具指令。在一个实施例中，在执行的编辑模式中，在开始执行包括第二视频工具的视频工具指令的第二图像获取指令和第二图像分析指令前执行包括第一视频工具的视频工具指令的第一图像获取指令和第一图像分析指令。然后，在运行模式中，由于流模式指令元件，在流模式中执行流模式段。在流模式段的执行的运行模式中，按相继顺序执行第一和第二图像获取指令，而无需依赖于执行包括第一和第二视频工具的视频工具指令的相应第一和第二图像分析操作。在一个实施例中，第一和第二视频工具包括边缘检测视频工具。根据本发明的另一个方面，部件程序还包括非流模式段，且在学习模式中，由于缺乏用于非流模式段的流模式指令元件，可将非流模式段与流模式段进行区分。在一个实施例中，非流模式段包括第三组指令和第四组指令。第三组指令包括第三图像获取指令和第三图像分析指令，其包括第三视频工具的视频工具指令，而第四组指令包括第四图像获取指令和第四图像分析指令，其包括第四视频工具的视频工具指令。在执行的编辑模式中，在开始执行包括第四视频工具的视频工具指令的第四图像获取指令和第四图像分析指令前执行包括第三视频工具的视频工具指令的第三图像获取指令和第三图像分析指令。然后，在运行模式中，由于缺乏用于非流模式段的流模式指令元件，在非流模式中执行非流模式段。在非流模式段的运行模式执行中，按相继顺序执行第三和第四图像获取指令，而无需依赖于执行包括第三和第四视频工具的视频工具指令的相应第三和第四图像分析操作。根据本发明的另一个方面，在学习模式中，按第一顺序执行第一和第二组指令，其中，至少某些第一和第二图像获取指令穿插有第一视频工具和第二视频工具的视频工具指令，指令以第一顺序显示于用户界面上。接着，在运行模式中，在流模式中，处理与流模式段相应的部件程序指令，从而确定包括第一和第二组指令的图像获取指令但不包括视频工具指令的图像获取例程，执行图像获取例程以用于获取图像，且在执行视频工具指令的同时执行视频工具指令。根据本发明的另一个方面，在运行模式中，在流模式中在第二次通过流模式段时的至少一部分视频工具指令的执行与图像获取例程的执行并行完成。根据本发明的另一个方面，在运行模式中，在图像获取例程的执行中，在学习模式中穿插的任何视频工具指令还未执行时，连续执行多个图像获取指令，从而以不同于第一顺序的第二顺序执行指令。根据本发明的另一个方面，在运行模式中，在执行图像获取例程时，平台和成像部分相对于彼此连续移动以获取图像。根据本发明的另一个方面，在流模式段的开始和结束处指定流模式指令表示识别部件程序的流模式段。根据本发明的另一个方面，在学习模式中，流模式段中的部件程序指令作为部件程序表示而显示并制成具有与位于流模式段外部的相似部件程序指令表示相同的外观，使得在对位于与流模式段外部相对的流模式段内部的操作进行编程或编辑时，用户无需使用不同的编程表示或语法。


参照下面的详细描述并结合附图可更容易且更好地理解本发明的上述方面以及许多附带的优点，其中:图1为通用精密机器视觉检测系统的各个典型组件的图；图2为与图1所示的系统相似的机器视觉检测系统的控制系统部分和视觉组件部分的框图，且所述系统包括根据本发明的功能；图3为包括部件程序表示的编辑界面的图，所述部件程序包括流模式段以在运行模式中进行连续流的图像获取操作；图4为用户界面的图，所述用户界面包括在其上执行图3的部件程序步骤的工件的部分；以及图5A和图5B为例程的一个实施例的流程图，所述例程用于为包括流模式段的部件程序提供编辑环境。
具体实施例方式图1为可按本文所述的方法使用的一个示例性机器视觉检测系统10的框图。机器视觉检测系统10包括视觉测量机12，其可操作地连接以与控制计算机系统14交换数据和控制信号。控制计算机系统14还可操作地连接以与监视器或显示器16、打印机18、操纵杆22、键盘24和鼠标26交换数据和控制信号。监视器或显示器16可显示用户界面，其适用于控制和/或编程机器视觉检测系统10的操作。视觉测量机12包括可移动工件平台32和可包括变焦镜头或可互换镜头的光学成像系统34。变焦镜头或可互换镜头通常可为光学成像系统34所提供的图像提供各种放大倍数。机器视觉检测系统10通常可与上面所讨论的QUICK VISION 系列的视觉系统和QVPAK 软件，以及类似的最先进的商用精密机器视觉检测系统相媲美。在共同转让的美国专利号7, 454，053和7，324，682和美国专利申请号2010/0158343和2011/0103679中也说明了机器视觉检测系统10，其中每个专利的全部内容都通过引用的方式并入本文。图2为与图1所示的机器视觉检测系统相似的机器视觉检测系统100的控制系统部分120和视觉组件部分200的框图，且所述系统包括根据本发明所述的功能。如下面更详细的描述，控制系统部分120可用于控制视觉组件部分200。视觉组件部分200包括光学组件部分205、光源220、230和240以及具有中央透明部分212的工件平台210。工件平台210可沿位于平面中的X轴和Y轴以可控的方式移动，其中所述平面与工件20可能位于的平台表面大致平行。光学组件部分205包括摄像头系统260和可互换物镜250，而且可包括具有镜头286和288的镜头盘组件280。作为镜头盘组件的替代物，也可包括固定的或手动的可互换放大倍数变化镜头，或变焦镜头配置等。光学组件部分205可使用可控电机294沿与X轴和Y轴大致垂直的Z轴以可控的方式移动。待使用机器视觉检测系统100进行成像的工件20或承载多个工件20的托盘或夹具被放置于工件平台210上。可控制工件平台210以相对于光学组件部分205移动，从而使可互换物镜250在工件20上的位置间和/或在多个工件20间移动。平台灯220、同轴灯230和表面灯240的一个或多个灯可分别发出源光222、232或242，从而照亮一个工件或多个工件20。源光工件光255而反射或传递，且工件光255会通过可互换物镜250和镜头盘组件280且由摄像头系统260会聚。由摄像头系统260捕捉的工件20的图像由信号线262输出至控制系统部分120。光源220、230和240可分别通过信号线或总线221、231和241连接至控制系统部分120。为了改变图像放大倍数，控制系统部分120可沿轴284旋转镜头盘组件280以通过信号线或总线281选择镜头盘。在各种示例性实施例中，可使用可控电机294使光学组件部分205相对于工件平台210在垂直Z轴方向移动，且可控电机294驱动致动器、连接电缆等，以沿Z轴移动光学组件部分205，从而改变由摄像头系统260捕捉的工件20的图像的焦点。在本文使用的术语Z轴指目的在于用于聚焦由光学组件部分205获得的图像的轴。在使用中，可控电机294通过信号线296连接至输入/输出接口 130。如图2所示，在各种示例性实施例中，控制系统部分120包括控制器125、输入/输出接口 130、存储器140、工件程序生成器和执行器170以及电源部分190。每个组件，以及下述附加组件，均可通过一个或多个数据/控制总线和/或应用程序编程接口进行相互连接，或通过不同元件间直接连接进行相互连接。在根据本发明所述的各种实施例中，工件程序生成器和执行器170包括编辑部分172，其提供或激活与编辑部件程序相关的各种操作和用户界面特征，下文将进行更详细的描述。需理解的是术语“工件程序”和“部件程序”在本文中可以互换使用。在一般情况下，编辑部分172包括控制用于编辑功能的操作的编辑操作控制器174，以及为编辑功能提供用户界面特征的编辑界面176。工件程序生成器和执行器170还包括流模式部分178，其提供与本发明相关的各种功能，下文将进行更详细的描述。如图2所示，输入/输出接口 130包括成像控制接口 131、运动控制接口 132、照明控制接口 133和镜头控制接口 134。虽然位置控制元件132a和速度/加速度控制元件132b可进行合并和/或难以区分，但是运动控制接口 132仍可包括这些元件。照明控制接口 133包括照明控制元件133a-133n，其控制用于机器视觉检测系统100的各个相应光源的选择、电源、开/关和闪控脉冲时间测定等(如适用)。存储器140包括图像文件存储部分141、可包括一个或多个部件程序等的工件程序存储部分142以及视频工具部分143。视频工具部分143包括视频工具部分143a和其它视频工具部分(例如，143m)，其确定用于每个相应视频工具的GU1、图像处理操作等。许多已知的视频工具均包括在市售机器视觉检测系统中，如上面所讨论的QUICK VISION 系列的视觉系统和相关QVPAK 软件等。视频工具部分143还包括有用域(ROI)生成器143x，其支持定义各种ROI的自动、半自动和/或手动操作，且ROI可于包括在视频工具部分143中的各视频工具中进行操作。在一般情况下，存储部分140存储数据，其可用于操作视觉系统组件部分200以捕捉或获取工件20的图像，从而使所获取的工件20图像具有所需的图像特征。存储部分140也可存储检测结果数据，还可存储数据，其可用于操作机器视觉检测系统100以对所获取的图像(例如，部分作为视频工具而实施的)手动或自动进行各种检测和测量操作，并通过输入/输出接口 130输出其结果。存储部分140也可包含数据，其定义可通过输入/输出接口 130操作的用户界面。平台灯220、同轴灯230和表面灯240的信号线或总线221、231和241分别连接至输入/输出接口 130。源自摄像头系统260的信号线262以及源自可控电机294的信号线296连接至输入/输出接口 130。除了携有图像数据外，信号线262还可携有源自启动图像获取的控制器125的信号。一个或多个显示装置136 (例如，图1的显示器16)和一个或多个输入装置138 (例如，图1的操纵杆22、键盘24和鼠标26)也可连接至输入/输出接口 130。显示装置136和输入装置138可用于显示用户界面，其可包括可用于进行检测操作，和/或创建和/或修改部件程序，查看由摄像头系统260捕捉的图像，和/或直接控制视觉系统组件部分200的各种用户界面特征。在各种示例性实施例中，当用户使用机器视觉检测系统100以创建用于工件20的部件程序时，用户通过自动、半自动或手动地对指令进行明确编码、或使用工件编程语言、和/或通过在学习模式下操作机器视觉检测系统100以生成指令从而提供所需图像获取训练序列而生成部件程序指令。例如，训练序列可包括在视野(FOV)中定位工件特征、设置亮度级、聚焦或自动聚焦、获取图像并提供应用于图像的分析训练序列(例如，使用视频工具)。操作学习模式，以捕捉或记录序列并将其转换成相应的部件程序步骤(例如，指令)。当执行部件程序时，这些部件程序步骤会使机器视觉检测系统再次产生经训练的图像获取和分析操作，以自动检测工件或在创建部件程序时匹配所使用的工件。在题为“Machine Vision System Program Editing Environment IncludingRealTime Context Generation Features (包括实时上下文生成功能的机器视觉系统程序编辑环境)”(代理人案卷号:MEIP138167)、“Machine VisionSystem Program EditingEnvironment Including Synchronized User InterfaceFeatures (包括同步用户界面特征的机器视觉系统程序编辑环境)”(代理人案卷号=MEIP 138244)和“System and MethodUtilizing An Editing InitializationBlock In A Part Program Editing EnvironmentIn A Machine Vision System (在机器视觉系统的部件程序编辑环境中使用编辑初始化块的系统和方法)”(代理人案卷号:MEIP137678)也说明了相关编辑功能，每个申请均同时提交且通过引用的方式并入本文。图3为编辑界面300的图，所述编辑界面300包括如选择栏310的各种测量和/或操作选择栏，以及部件程序320的可编辑表示，部件程序与包括非流模式段表示330和流模式段表示340的各种部件程序指令相对应。非流模式段表示330包括一组部件程序指令表示331和332，且流模式段表示340包括一组部件程序指令表示341-349。流模式段340为设计用于流模式执行的部件程序320段，如下文更详细的描述。参照图4，下文将更详细地说明所述特定部件程序指令331-349的操作。图4为示出用户界面400的图，所述用户界面400包括具有工件部分415的视野窗口 410。用户界面400还包括如选择栏420和440的各种测量和/或操作选择栏、实时X-Y-Z(位置)坐标窗口 430、光控制窗口 450和视频工具参数框460。如下文更详细的描述，可根据图3的相关部件程序指令来确定工件415上的各种特征。将参考图3的部件程序指令表示321-350以及与图4的工件415相关的相应行为进行下面的描述。如图3所示，部件程序320开始于指令表示321、331和332，其分别表明开始结点、设置灯且向所需位置移动平台。关于图4，灯的设置可通过位于视野窗口 410中的灯光可视，且平台的移动可于视野窗口 410中可视且在实时X-Y-Z (位置)坐标窗口 430中示出。如下文更详细的描述，指令表示331和332为非流模式段表示330的一部分，如图3所示，其之后为流模式段表示340。需理解的是，为了说明起见，非流模式段表示330仅包括两个指令表示，在更详细的实施例中，也可包括更多的指令表示，如视频工具指令表示等，如下文更详细的描述。指令表示341为流模式指令元件，其指定流模式段340的开始。可通过激活流模式部分178而插入指令表示341，例如，在程序菜单360下通过菜单选择而实现。接着，指令表示342、343、344和345分别表明已设置放大倍数、关闭了路径平滑、设置了所允许的运动以及设置了灯。接着，指令表示346指出将打开圆形工具以测量圆形Cl，如相应的指令表示346A-346C所示。更具体地,指令表示346A表示测量(例如,包括平台向所指定的位置的移动以及相应图像的获取)的设置，而指令表示346B则表示使用圆形工具以确定位于所获取的图像中的圆形Cl的边缘点。圆形工具的功能和操作以及其它边缘检测视频工具为现有技术已知的且在前面并入的参考文献中进行了详细描述。如图4所示，圆形工具在视野窗口 410中示出，且覆盖工件415上的圆特征(如，圆形Cl)。接着，可通过指令表示346C使用通过圆形工具确定的边缘点以定义圆形Cl。同样地，指令表示347和348表明将打开圆形工具以分别测量圆形C2和C3，如相应的指令表示347A-347C和348A-348C所示。更具体地，指令表示347A和348A表示测量(例如，包括平台向所指定的位置的移动以及相应图像的获取)的设置，而指令表示347B和348B则表示使用圆形工具以确定位于所获取的图像中的圆形C2和C3的边缘点。参照图4，这表明可移动平台，从而视野窗口 415会显示其分别从圆特征Cl至圆特征C2和C3的移动，以获取其相应图像。接着，通过指令表示347C和348C使用圆形工具确定的边缘点以定义圆形C2和C3。指令表示349为流模式指令元件，其指定流模式段340的结束。指令表示350表示部件程序的结束。关于部件程序320的原始创建，根据用户输入(例如，如通过用户界面提供的用户输入以控制机器视觉检测系统的操作)在学习模式中记录部件程序指令。此后，在编辑模式中，在编辑界面中提供上述部件程序指令表示321-350，如图3的编辑界面300，从而为了方便和易用的目的以简化的形式表示相应的部件程序指令(例如，如以编程语言所编写)。如下文更详细的描述，当在编辑模式中以第一顺序(即，图3所示的顺序)表示流模式段340中的部件程序指令表示341-349的序列时，在运行模式中，根据本发明，可以根据第二顺序执行相应的部件程序指令。更具体地，在一个实施例中，运行模式包括执行的流模式，其适用于被识别的流段，并配置流模式，从而处理与流模式段表示340相应的部件程序指令以识别包括在流段(例如，多个图像获取操作)中的图像获取操作。一旦该处理允许，即可开始多个图像的图像获取过程。此外，处理与流模式段表示340相应的部件程序指令以识别与所获取的图像相应的图像分析操作，一旦获取其相应的图像，即可开始所识别的图像分析指令(例如，视频工具操作)，其条件是这不得中断图像获取操作的序列(例如，可继续进行用于获取图像的连续运动，而无需依赖于图像分析操作)。作为具体的实例，部件程序320的操作顺序按以下方式执行。用于开始结点的指令表示321，以及用于设置灯和移动平台(其为非流模式段表示330的一部分)的指令表示331和332可按所示的顺序执行。如上所述，一旦达到指令表示341，即表示流模式段表示340的开始，这将开始进行流模式处理。在流模式中，第一次通过流模式段340以确定图像获取操作的列表，然后将执行列表，接着，第二次通过流模式段340以开始执行图像分析操作(例如，视频工具操作)。更具体地，第一次通过流模式段340，在一个实施例中，获取图像所需的任何操作都被添加至图像获取例程的列表中，而对于图像获取操作不需要的任何操作则忽略不计。在一个具体的实施例中，作为设置机器视觉检测系统以获取图像的一部分的指令表示342-345也因此被添加至操作的列表中，其将成为图像获取例程的一部分。与此相反，表示需要打开圆形测量工具的部件程序指令表示346未被添加至图像获取例种的列表中，这是因为不需要使用其来获取相应图像。然而，表示测量的设置并包括到达位置并采集图像的指令表示346A则被添加至图像获取例程的列表中。不需要使用涉及圆形工具的运行和圆形的定义的指令表示346B和346C来进行图像获取，因此可忽略指令表示346B和346C而非添加至列表中。指令表示347可以类似的方式忽略不计，指令表示347A被添加至列表中，指令表示347B、347C和3648被忽略不计，指令表示348A被添加至列表中，且指令表示348B和348C被忽略不计。在第一次通过流模式段340后，一旦根据指令表示342-345、346A、347A和348A确定了图像获取例程，即可开始执行图像获取例程。在执行图像获取例程时，第二次通过流模式段340，在此期间还执行了图像分析操作(例如，视频工具操作)。在第二次通过流模式段340时，在一个实施例中，忽略指令表示342-345，其不包括任何图像分析操作。执行指令表示346,其表示需要打开圆形测量。指令表示346A为特殊实例，其表明图像获取和图像分析操作，如下文更详细的描述。简单地说，在第二次通过时，之前表明了图像获取操作的指令表示346A也表明需要加载图像，即为图像分析操作，因此也执行指令表示346A。更具体地，如果如上所述而启动的图像获取例程已获取了指令表示346A所表示的图像，则加载图像。如果还未获取图像，则暂时停止第二次通过的过程，直到图像获取例程获取图像为止。因此，如指令表示346A所示，某些指令表示可表示在第一和第二次通过流模式段340期间所执行的操作。在执行指令表示346A后，第二次通过过程继续指令表示346B和346C，其可根据由圆形工具确定的边缘点进行执行以运行圆形工具并定义圆形Cl。同样地，执行指令表示347，且如果图像获取例程获取了图像，则执行用于加载圆形C2的相应图像的指令表示347A，如果还未获取图像，则继续等待。在执行指令表示347A后，执行指令表示347B、347C和348，如果可得到相应图像，则执行指令表示348A，否则，如果还未获取图像，则继续等待。在执行指令表示348A后，执行指令表示348B和348C，且指令表示349表示流模式段340的结束以及流模式的结束。需理解的是，在一个实施例中，在流模式段340之后的附加指令表示位于流模式外，且将根据非流模式所显示的顺序进行执行，其与非流模式段330的指令元件331和332类似。需理解的是，用于流模式段的上述操作和编辑环境有利于某些现有技术的实现。更具体地，在某些之前的实现中，使用详尽的命令列表进行图像获取，且使用不同且详尽的命令列表分析所获取的图像。为了实现连续运动型图像获取，在编程时，将图像获取指令组织成单独的列表，并位于部件程序中的不同编程表示和语法中。这使相应部件程序的编辑和“排错”变得更加困难。更具体地，当用户返回至已记录操作并使用不同编程表示和语法进行连续运动型图像获取的部件程序时，确定如何编辑或重新编程位于连续运动图像获取例程内部而不是其外部的指令的操作则更加令人费解。此外，部件程序的排错则进一步复杂化，这是因为对原本执行的步骤没有容易可视的表示，这从而使确定是哪些指令产生了哪些结果更加难。根据本发明，如上所述，提供了更令人满意的编辑环境，其中可以按照其原始顺序提供部件程序指令表示。此外，将流模式段(例如，流模式段340)内的指令表示制成具有与流模式段外的指令表示相同的外观。作为特定的实例，如果指令表示346、346A、346B和346C已被记录在流模式段340之外(例如，在非流模式段330内)，它们除了通过指令表示341而“被包含”的表示外，在编辑界面300中具有相同的外观。对比上述现有技术的方法，其中在流模式段内部以不同于外部的编程表示和语法提供此类指令表示。如上所述，在编辑界面300中所示的部件程序320的表示即使在流模式段340中也允许按相继顺序执行部件程序的排错。更具体地，在排错过程中(例如，在编辑模式下)，用户可选择使在流模式段340中的指令表示以第一顺序(即，在编辑表示300中所示的顺序)按逐步的过程进行执行，这个顺序是指令表示最初编程的顺序，以便简化确定哪些指令表示导致哪些结果的过程。图5A和图5B为例程500的一个实施例的流程图500A和500B，例程500用于为包括流模式段的部件程序提供编辑环境。如图5A所示，在框510中，提供了学习模式，其可操作来接收用户输入以控制机器视觉检测系统的操作并记录与受控操作相应的指令，以便创建部件程序。学习模式还可操作来编辑部件程序以及根据执行的编辑模式来执行之前记录的部件程序指令。在框520中，提供了用户界面特征，其包括用户可控制流模式指令元件和部件程序指令的可编辑部件程序表示。用户可控制流模式指令元件可用于指定流模式段，其中，所述流模式段包括指定用于流模式执行的部件程序段。可编辑部件程序表示可包括与图像获取操作相应的图像获取指令表示、与图像分析操作相应的图像分析指令表示以及流模式段表不。在框530中，提供了运行模式，其可操作来执行之前创建的部件程序，运行模式包括用于执行不位于流模式段中的部件程序指令的非流模式，以及用于执行位于流模式段中的部件程序指令的流模式。从框530开始，例程继续至点A，如将参照图5B在下文更详细的描述。如图5B所示，从点A开始，例程继续至框540。在框540中，配置学习模式，从而使可编辑部件程序表示可按第一顺序表示包括图像获取的第一多个部件程序指令及相应图像分析指令，其中，第一顺序与用以创建部件程序而进行的相应受控操作的顺序相对应。可进一步配置学习模式，从而使执行的编辑模式执行部件程序指令，从而按与第一顺序一致的方式进行图像获取操作和相应图像分析操作，且不论第一多个部件程序指令是否包括于流模式段中。在框550中，配置运行模式，从而当第一多个部件程序指令包括在流模式段中，使流模式根据第二顺序执行指令。第二顺序包括执行第一多个部件程序图像获取指令以按相继顺序执行其相应图像获取操作，而无需依赖于执行相应图像分析操作。在一个实施例中，在连续运动序列中，可按相继顺序执行图像获取操作。第二顺序还包括执行第一多个部件程序图像分析指令以在获取其相应图像后进行其相应图像分析操作。虽然已经示出和说明了本发明的各种优选和示例性的实施例，但需理解的是仍可在不脱离本发明的精神和范围的情况下，对其进行各种变化。
权利要求
1.一种精密机器视觉检测系统，其包括成像部分、用于承载在所述成像部分的视野(FOV)中的一个或多个工件的平台、控制部分、显示器以及用户界面，其中，所述机器视觉检测系统还包括: 学习模式，其可操作来接收用户输入以控制所述机器视觉检测系统的操作并记录与受控操作相应的指令，以便创建部件程序；可操作来编辑部件程序；以及可操作来根据执行的编辑模式执行之前记录的部件程序指令，所述学习模式包括用户界面特征，所述用户界面特征包括: 用户可控制流模式指令元件，其可用于指定流模式段，所述流模式段包括被指定用于流模式执行的部件程序段； 部件程序指令的可编辑部件程序表示，其包括与图像获取操作相应的图像获取指令表示、与图像分析操作相应的图像分析指令表示，以及流模式段表示；以及 运行模式，其可操作来执行之前创建的部件程序，所述运行模式包括用于执行不位于流模式段中的部件程序指令的非流模式，以及用于执行位于流模式段中的部件程序指令的流模式，其中， 配置所述学习模式，使得: 所述可编辑部件程序表示按第一顺序表示包括图像获取以及相应图像分析指令的第一多个部件程序指令，所述第一顺序与用以创建所述部件程序而执行的相应受控操作的顺序相对应； 所述执行的编辑模式执行所述第一多个部件程序指令的所述部件程序图像获取指令和相应图像分析指令以按与所述第一顺序一致的方式执行所述图像获取操作和相应图像分析操作，不论所述第一多个部件程序指令是否包括于流模式段中；以及 配置所述运行模式，使得: 当所述第一多个部件程序指令包括在流模式段中时，所述流模式根据第二顺序执行所述第一多个部件程序指令，所述第二顺序包括: 执行所述第一多个部件程序图像获取指令以按相继顺序执行其相应图像获取操作，而无需依赖于执行所述相应图像分析操作，并执行所述第一多个部件程序图像分析指令以在获取其相应图像后执行其相应图像分析操作。
2.根据权利要求1所述的系统，其中，按相继顺序的所述图像获取操作的执行是在连续的运动序列期间完成的，其中所述平台和所述成像部分相对于彼此连续移动以获取图像。
3.根据权利要求1所述的系统，其中，在获取其相应图像后，在图像获取操作的相继顺序期间至少部分地进行所述图像分析操作的执行。
4.根据权利要求1所述的系统，其中，所述执行的非流模式执行所述第一多个部件程序指令的不位于流模式段中的所述图像获取指令和相应图像分析指令，从而按与所述第一顺序一致的方式执行所述图像获取操作和相应图像分析操作。
5.根据权利要求1所述的系统，其中，配置所述学习模式，使得在再调用包括流模式段的部件程序用于编辑时，按所述第一顺序显示所述可编辑部件程序表示，且所述执行的编辑模式按与所述第一顺序一致的方式执行所述图像获取操作和相应图像分析操作。
6.根据权利要求1所述的系统，其中，配置所述学习模式，使得用户可以选择包括于流模式段中的部件程序指令表示，作为发起相应部件程序指令的执行的编辑模式的位置，之后，按与所述第一顺序一致的方式执行随后的部件程序指令。
7.根据权利要求6所述的系统，其中，按与所述第一顺序一致的方式执行所述随后的部件程序指令。
8.根据权 利要求1所述的系统，其中，所述流模式段包括第一组指令和第二组指令，所述第一组指令包括第一图像获取指令和第一图像分析指令，其包括第一视频工具的视频工具指令，且所述第二组指令包括第二图像获取指令和第二图像分析指令，其包括第二视频工具的视频工具指令，其中在所述执行的编辑模式中，在开始执行包括所述第二视频工具的视频工具指令的所述第二图像获取指令和第二图像分析指令前执行所述包括所述第一视频工具的视频工具指令的第一图像获取指令和第一图像分析指令；以及 在所述运行模式中，由于所述流模式指令元件，在所述流模式中执行所述流模式段，且在所述流模式段执行的运行模式中，按相继顺序执行所述第一和第二图像获取指令而无需依赖于执行包括所述第一和第二视频工具的视频工具指令的相应第一和第二图像分析操作。
9.根据权利要求8所述的系统，其中，所述部件程序还包括非流模式段，且在所述学习模式中，由于缺乏用于所述非流模式段的流模式指令元件，将所述非流模式段与所述流模式段进行区分，所述非流模式段包括第三组指令和第四组指令，所述第三组指令包括第三图像获取指令和第三图像分析指令，其包括第三视频工具的视频工具指令，且所述第四组指令包括第四图像获取指令和第四图像分析指令，其包括第四视频工具的视频工具指令，其中在所述执行的编辑模式中，在开始执行包括所述第四视频工具的视频工具指令的所述第四图像获取指令和第四图像分析指令前执行所述包括所述第三视频工具的视频工具指令的第三图像获取指令和第三图像分析指令；以及 在所述运行模式中，由于缺乏用于所述非流模式段的流模式指令元件，在所述非流模式中执行所述非流模式段，且在所述非流模式段执行的运行模式中，按相继顺序执行所述第三和第四图像获取指令而无需依赖于执行包括所述第三和第四视频工具的视频工具指令的相应第三和第四图像分析操作。
10.根据权利要求8所述的系统，其中，所述第一和第二视频工具包括边缘检测视频工具。
11.根据权利要求8所述的系统，其中，在所述学习模式中，按所述第一顺序执行所述第一和第二组指令，其中至少某些所述第一和第二图像获取指令穿插有所述第一视频工具和所述第二视频工具的所述视频工具指令，所述指令以所述第一顺序显示于所述用户界面上；以及 在所述运行模式中，在所述流模式中处理与所述流模式段相应的所述部件程序指令，从而确定包括所述第一和第二组指令的所述图像获取指令但不包括所述视频工具指令的图像获取例程，执行所述图像获取例程以用于获取图像，且在执行所述图像获取例程的同时执行所述视频工具指令。
12.根据权利要求11所述的系统，其中，在所述运行模式中，在所述流模式中在第二次通过所述流模式段时的至少一部分所述视频工具指令的执行与所述图像获取例程的执行并行完成。
13.根据权利要求11所述的系统，其中，在所述运行模式中，在所述图像获取例程的执行中，在所述学习模式中穿插的任何视频工具指令还未执行时，连续执行多个所述图像获取指令，使得按不同于所述第一顺序的所述第二顺序执行所述指令。
14.根据权利要求11所述的系统，其中，在所述运行模式中，在执行所述图像获取例程时，所述平台和所述成像部分相对于彼此连续移动以获取图像。
15.根据权利要求1所述的系统，其中，在所述流模式段的开始和结束处流模式指令表示识别所述部件程序的所述流模式段。
16.根据权利要求1所述的系统，其中，在所述学习模式中，所述流模式段中的所述部件程序指令作为部件程序表示而显示，并被调适为具有与位于所述流模式段外部的相似部件程序指令的表示相同的外观，使得在对位于与所述流模式段外部相对的所述流模式段内部的操作进行编程或编辑时，用户无需使用不同的编程表示或语法。
17.一种用于操作精密机器视觉检测系统的方法，所述系统包括成像部分、用于承载在所述成像部分的视野(FOV)中的一个或多个工件的平台、控制部分、显示器以及用户界面，所述方法包括: 提供学习模式，其可操作来接收用户输入以控制所述机器视觉检测系统的操作并记录与受控操作相应的指令，以便创建部件程序；可操作来编辑部件程序；以及可操作来根据执行的编辑模式执行之前记录的部件程序指令，所述学习模式包括用户界面特征，所述用户界面特征包括: 用户可控制流模式指令元件，其可用于指定流模式段，所述流模式段包括被指定用于流模式执行的部件程序段； 部件程序指令的可编辑部件程序表示，其包括与图像获取操作相应的图像获取指令表示、与图像分析操作相应的图像分析指令表示，以及流模式段表示；以及 提供运行模式，其可操作来执行之前创建的部件程序，所述运行模式包括用于执行不位于流模式段中的部件程序指令的非流模式，以及用于执行位于流模式段中的部件程序指令的流模式，其中， 配置所述学习模式，使得: 所述可编辑部件程序表示按第一顺序表示第一多个部件程序图像获取以及相应图像分析指令，所述第一顺序与用以创建所述部件程序而执行的相应受控操作的顺序相对应； 所述执行的编辑模式执行所述第一多个部件程序指令的所述部件程序图像获取指令和相应图像分析指令以按与所述第一顺序一致的方式执行所述图像获取操作和相应图像分析操作，不论所述第一多个部件程序图像指令是否包括于流模式段中； 配置所述运行模式，使得: 当所述第一多个部件程序指令包括在流模式段中时，所述流模式根据第二顺序执行所述第一多个部件程序指令，所述第二顺序包括: 执行所述第一多个部件程序图像获取指令以按相继顺序执行其相应图像获取操作，而无需依赖于执行所述相应图像分析操作，并执行所述第一多个部件程序图像分析指令以在获取其相应图像后执行其相应图像分析操作。
18.根据权利要求17所述的方法，其中，当再调用包括流模式段的部件程序用于编辑时，按所述第一顺序显示所述可编辑部件程序表示，且所述执行的编辑模式按与所述第一顺序一致的方式执行所述图像获`取操作和相应图像分析操作。
全文摘要
本发明提供了用于部件程序的机器视觉系统编辑环境，其中在运行模式中执行连续的图像获取操作流。根据之前的方法，通过在部件程序中利用不同编程表示以及用于对图像获取操作进行编程和分组的语法来实现连续的图像获取操作流。在一个实施例中，利用新的通用语法和表示，其中，按与常规操作相同的方式记录此类连续的图像获取操作，且以两个阶段进行部件程序的运行。在第一阶段，扫描将具有连续图像获取流的部件程序的部分以寻找图像获取操作，并确定用于获取图像的最有效的顺序，之后开始图像获取过程。然后，在第二阶段，在执行图像获取过程中，再次扫描部件程序的该部分，然后执行图像分析操作。
文档编号G01D11/00GK103105193SQ20121045791
公开日2013年5月15日 申请日期2012年11月15日 优先权日2011年11月15日
发明者M.德拉尼, B.塞勒 申请人:株式会社三丰