本发明涉及一种用于创建测试设置用于自动测试过程自动化网络的拓扑和/或配置的计算机实施的方法以及存储介质。
背景技术：
1、如今，工业网络是通过运行真实应用来测试的。这要求网络硬件和自动化设备都存在于同一位置，进行配置并且能够运行。当端到端测试自动化功能时，隐式地测试自动化网络。关于真实硬件的可用性，这与工厂验收测试(fat)和现场验收测试(sat)有着相同的努力、约束和限制，但导致测试覆盖率和洞察力较低，因为成功或失败只能从应用的角度进行端到端的测量，即，工作或不工作或io状况不佳。在fat和机柜分级期间，一个附加的挑战是并非必须设置整个连接(交叉依赖)系统。在热调试之前，通常在没有过程或过程尚未在最终条件下运行的情况下进行测试。当尝试测试融合网络时，情况也是如此，包括边缘/云数据收集或语音/视频通信等it或电信应用，这些it或电信应用在分级或现场调试期间可能不可用(全面)，或者可能只是具有语音呼叫等动态容量要求。
2、虽然这种测试方法的保真度非常高，但努力也是如此。连接所有摄像机、移动设备、边缘集群和pc在技术上可能是可以的，但在经济上远远不可行。人工业务生成是一种选项，但今天需要大量的手动工作来配置以表示具体的客户项目。
技术实现思路
1、可能期望改进过程网络的测试。
2、该问题由独立权利要求的主题解决。实施例由从属权利要求、以下描述和附图提供。
3、所描述的实施例类似地涉及用于创建测试设置用于自动测试过程自动化网络的拓扑和/或配置的方法以及存储介质。尽管可能没有详细描述，但是协同效果可以由实施例的不同组合产生。
4、进一步地，应该注意的是，关于方法的本发明的所有实施例可以以所描述的步骤的顺序来执行，然而，这并不一定是该方法的步骤的唯一且必要的顺序。除非在下文中相反地明确提及，否则本文提出的方法可以以所公开的步骤的另一顺序来执行，而不脱离相应的方法实施例。
5、根据第一方面，提供了一种用于创建测试设置用于自动测试过程自动化网络的拓扑和/或配置的计算机实施的方法。该方法包括以下步骤。在第一步骤中，通信意图被接收，该通信意图包含通信端点之间的通信连接的定义和通信端点之间的连接规范，并且要被测试的至少一个通信意图被选择。在第二步骤中，要被测试的网络的拓扑信息被接收和分析。在第三步骤中，通过使用所选择的通信意图和拓扑信息生成针对至少一个业务生成器的配置和针对至少一个业务分析器的配置，来生成针对至少一个通信意图中的每个通信意图的测试用例。在第四步骤中，至少一个测试用例使用业务生成器和业务分析器来部署到测试功能要在其上运行的测试设施，并且测试功能被配置。在第五步骤中，过程自动化网络被配置为从业务生成器接收数据并且将数据提供给业务分析器。
6、该方法允许通过使用通信意图来自动化过程自动化网络的测试规范，并且导出网络业务生成器和分析器的配置。这是通过基于通信意图的网络测试以及通过使用基于现有网络工程数据和拓扑信息的通信意图配置业务生成器和分析器来实现的。该方法还可以允许自动化这些测试的执行，或者该方法可以被扩展到测试的执行。
7、选择至少一个通信意图的步骤可以包括选择一个、若干或所有通信意图。测试用例可以覆盖一个或多个通信意图。进一步地，测试用例可以配置多于一个业务生成器和多于一个业务分析器。此外，测试可以包括若干测试用例。测试用例可以按顺序运行，或者可以并行运行。
8、表达“测试网络”是指对形成网络的网络设备的功能性和通信端点之间的业务进行测试。在本公开中，端点可以是i/o设备、过程控制器、服务器、hmi设备等，然而交换机也可以是端点，例如当测试交换机和又一设备之间的连接时。测试可以包括验证定时要求、数据速率和进一步的qos要求、故障转移行为(包括通过仿真真实设备和仿真设备上的设备或链路故障或链路退化来操纵测试下的网络)以及通信端点之间的端到端连接的路径的正确性(即，网络逻辑、连接性、可达性和不可达性)。通信端点和网络设备可以被配置为例如具有ip地址、mac地址和/或端口id，并且路径基于将设备彼此连接的网络拓扑。术语“网络设备”是指通信端点和网络元件，诸如路由设备(诸如路由器、交换机和网关)，它们被概括为“交换机”。
9、通信意图在抽象级别上定义了通信端点与过程的输入和输出之间的预期通信。它们可以进一步定义预计来自网络的什么行为或状态，而不定义应该如何实施。进一步地，它们还可以指定定时和服务质量(qos)信息。通信意图可能意味着将通过网络传输的某些业务，例如控制器和io之间的opc ua发布订阅，或交换机和radius服务器之间的eap-tls通信。因此，必须实现和指定业务的要求或规范。预期通信可能会影响需要带宽或其他特点的数据流，这些特点可以通过定义连接要求或至少连接规范(包括网络的行为)来考虑。例如，网络的行为是动态行为(诸如两个端点之间要保证的时延)或静态状态(诸如启用网络分段上基于端口的访问控制)。连接可以是一个接一个的连接或者一个通信端点和若干通信端点之间的连接，诸如多播连接。
10、由这种通信意图定义的通信也被称为基于意图的网络，并且我们在本公开中相应地将网络测试或网络配置测试称为基于目的的网络测试，其中测试也基于通信意图。通信意图是在工程过程期间创建的，或者可以由包含工程数据的工程工件自动创建。通信意图也可以在测试期间创建，例如如果测试的端到端连接必须被分区以标识无法支持期望意图的实施的设备。例如，工程工件是描述网络元件的io分配或控制应用的io映射的io列表。工程工件是在测试之前执行的io工程的产品。即，工程工件是现成的已存在信息，并且被用作方法的输入。在实施例中，连接要求或规范可以包括用户定义的规则，诸如指定例如网络中的哪些设备或路径必须是冗余的冗余策略。用户定义的规则可以例如被存储在易失性存储器中或作为文件，处理设备访问这些文件作为用于创建通信意图的输入。即，测试还覆盖了用户定义的要求，诸如冗余。
11、因此，基于意图的网络可能意味着基于通信意图来操作网络或网络的部分。在本公开中，通信意图被用于自动网络测试。即，用于使用通信意图作为基本输入来自动配置测试用例。基于测试用例，可以配置测试设施和网络。
12、测试用例与测试的配置相关。测试用例可以定义一个或多个参数，这些参数的值将被检查。此处，具体地，测试用例可以包括告诉测试内容的两个方面：首先，报头数据的静态部分，诸如具有mac地址或ip地址的通信端点、协议相关数据(诸如以太类型、ip协议号和tcp/udp端口)或者vlan id。其次，有效载荷和通信模式的特点，诸如数据速率、时延、可靠性/冗余要求或具体的等时定时行为。关于要验证的参数的值，预计值必须是一个不同的值，位于一个范围内，示出一段时间内的行为等，这取决于参数的类型。通信意图可以被映射到一个或多个测试用例。反过来，测试用例可以被映射到一个或多个通信意图。
13、测试配置包括基于网络测试中要使用的通信意图和拓扑信息的针对至少一个业务生成器的配置和针对至少一个业务分析器的配置。测试用例可以定义其他参数(例如测试持续时间、输出文件等)、测试失败或通过时的条件等以及例如测试后的动作。测试后的动作可以是例如重复测试或开始又一测试，修改测试或网络配置，部署成功的网络配置，向操作员发送通知，转储测试结果等。
14、测试配置是执行测试的测试功能的输入。测试功能可以在网络或测试设施中的一个或各种位置或处理器处实施或执行。因此，必须部署测试配置，使得执行测试功能的一个或各种处理器、业务分析器和业务生成器能够访问这些配置，并且可以用测试配置来配置测试功能。
15、因此，该方法允许通过使用诸如通信意图和拓扑信息邓现有网络工程数据配置业务生成器和分析器来自动化网络测试。
16、在实施例中，不仅自动配置测试用例和测试功能，而且自动配置测试下的网络，即，支持通信意图的网络设备。由此，网络的配置要么从与测试用例相同的输入(即，通信意图和网络拓扑)导出，要么从测试用例导出，该测试用例也包括通信意图和网络拓扑信息。即，测试用例要么已经包括网络配置，要么从测试用例中可用的信息中提取网络配置，例如端点之间的路由元件的地址、定时规范或qos要求，诸如时延、带宽等。即，通信意图和拓扑信息可以被用于定义网络配置。
17、根据实施例，该方法还包括：在第六步骤中，针对自动测试过程自动化网络的拓扑和/或配置，启动至少一个业务生成器和至少一个业务分析器，并且运行测试功能；以及从业务分析器接收数据，并且通过将预期通信与来自业务分析器的数据进行比较来验证过程自动化网络的拓扑和/或配置。
18、该步骤涉及测试的执行，包括运行测试和获得测试结果，即，接收原始意图的实施的反馈以验证意图实施。业务生成器可以例如通过生成随机数据来生成业务，该随机数据具有诸如帧长度、数据速率、定时等配置规范，并且因此至少在网络业务方面模拟通信端点以及过程。代替数据包的有效载荷中的随机内容，还可以生成预定义的内容，还允许测试应用的行为。业务分析器是监测业务的设备、模块或功能。
19、取决于实施方式，业务分析器评估结果，或者将业务分析提供给处理器、功能或模块，该处理器、功能或模块评估业务分析器提供的数据。评估数据的处理器、功能或模块必须知道测试通过或失败的标准。因此，业务分析器和/或评估处理器、功能或模块必须被配置有测试用例的至少一部分配置。网络中可以有一个或多个业务生成器和一个或多个业务分析器。业务生成器和业务分析器可以按顺序启动或并行启动。
20、根据实施例，将过程自动化网络配置为从业务生成器接收数据并且将数据提供给业务分析器的步骤还包括：在网络中配置插入点和提取点。
21、该网络被配置为将插入点和提取点连接至测试设施，即，在网络仿真、模拟中或在真实网络中使用具有本地或远程端口镜像能力的交换机将各个远程端口镜像到托管网络分组生成器或分析器的机器中。这样做的优点是，不仅测试用例是自动生成的，而且测试执行也是完全自动化的，而不必将至少一个业务生成器和分析器物理连接至接收或供应业务的每个端口，并且可以并行运行多个测试，即使手动移动网络测试仪也是不可能的。
22、根据实施例，在网络中配置插入点和提取点包括：在交换机端口处配置本地和/或远程插入或提取点。
23、例如，本地交换机端口分析器可以在交换机上实施或配置。交换机端口分析器可以复制进入业务，同时交换机继续正常转发业务。附加地或备选地，远程交换机端口分析器可以被用于集中监测来自分布在多个交换机上的源端口的业务。针对配置远程插入点和/或提取点，可以在将承载远程端口镜像业务的所有交换机上定义vlan。
24、根据实施例，接收通信意图并且选择要被测试的至少一个通信意图的步骤还包括：关于应用组或者通过引用潜在屏蔽的报头数据的组合来接收业务分隔的粒度，指定业务分隔并且将业务分隔添加到连接和测试规范。
25、业务分隔可以通过vlan来实现。例如，可以为一个应用指定vlan，使得只测试该应用的网络设备。
26、然而，由于如果只使用用于业务分离的vlan，则可能会测试仅从预期i/o设备接收多播业务，但事实上，许多设备应该接收该多播业务(即使它们不会对此进行任何操作)。这些设备对多播业务的这种接收可以通过也在连接其他设备的端口上运行更多业务分析器来进行测试。作为又一方面，针对低保真度测试，那么测试vlan(https)中的一些意图而不是全部(https、opc ua、ssh)可能仍然足够，因为逻辑连接性不会有什么不同。
27、业务分隔的所选粒度可以从工程数据或配置中提取，该工程数据或配置可以例如由算法或用户定义并且输入到该方法。例如，粒度定义了vlan的大小或连接端点之间的交换机数量。
28、业务分隔可以由要传输的数据帧的报头信息来定义。
29、业务分隔(例如vlan)可以由帧的报头信息来定义，该报头信息还包含源和/或目的地设备的mac或ip地址或者通信的协议或服务的tcp/udp端口。即，可以通过添加适当的报头信息来定义业务分隔。因此，网络设备知道将要转发的数据保持在vlan内的允许或禁止的路径和设备。
30、根据实施例，过程自动化网络是过程自动化系统的模拟网络、仿真网络或者真实目标网络或者这些网络的组合。
31、这允许在不同的开发阶段测试过程网络。
32、在表达“过程的真实目标网络”下被理解为操作中的过程的数据将通过其传输的实际物理网络。在该表达下，仿真网络被理解为与过程的目标网络不同的网络，然而，其行为方式与目标网络相同。在这两种情况下，都可以涉及真实设备和虚拟设备。模拟网络例如通过软件模拟网络功能，其中若干功能可以在同一物理设备上实施。更复杂的是，仿真和模拟被认为是基于软件的系统虚拟模型的两个变型，即，在线或离线算法接收输入并且递送输出：仿真是模仿外部可观察行为以匹配现有目标的过程。仿真机制的内部状态不必准确地反映它正在仿真的目标的内部状态。然而，仿真旨在能够替代它正在仿真的真实系统，包括潜在的限制，诸如例如定时行为、带宽或远程物理设备的物理可达性。例如，交换机可以被用作虚拟网络功能(vnf)。取决于实施方式，它的行为可能与真实的交换机一样具有确定性-或者不具有确定性。在这种情况下，逻辑连接性也可以工作，并且透明地进行配置。
33、仿真通过对底层机制建模来仿效系统的内部工作。它不必表现出允许替代真实系统的外部可观察行为，但它可以以这种方式实施仿真。然而，它应该允许预测或验证真实系统是否会以具体方式表现。替代和预测方面非常重要。例如，pc仿真器可以在主机上运行原始代码来替换原始硬件，但它可以在不模拟电子电路的情况下这样做。相比之下，可以不可能地使用电力电子电路的spice模拟来代替实际电路，并且飞行模拟器也无法用于实际运输人员或货物，但每个模拟器都可以分别判断电路是否工作，或者展示的驾驶是否会导致安全飞行。
34、根据实施例，业务生成器和业务分析器是真实的设备或软件功能。
35、不仅网络设备而且业务生成器和业务分析器都可以是真实的设备或软件功能。软件功能可以在任何处理设备(例如计算机)上实施，并且也被称为虚拟设备。
36、根据实施例，通信端点能够由mac地址、ip地址或端口号来标识，并且mac地址、ip地址或端口号对应于真实设备或功能，并且地址分配出于测试的目的而被临时生成。
37、针对测试网络，地址不必是物理或虚拟设备的实际地址，而是任何地址。针对模拟设备或纯合成业务，可以使用临时mac或ip地址，因为最终设备的真实地址尚未已知。如果端点是一个功能，即，不是一个设备，那么可能还需要端口。唯一的要求是这些地址可以被唯一地映射到最终的实际地址上。
38、关于业务，也可以使用与设备标识无关的以太类型、协议号等来标识业务。
39、根据实施例，如果通信端点的子集覆盖地址范围，则业务被分析用于验证通信端点之间允许的业务转发和通信端点之间不允许的业务转发。
40、进一步地，针对由例如通配符源或目的地指定的地址范围，可以定义一个策略，即，要启动多少端点模拟，与业务分隔的目标粒度级别相匹配。
41、根据实施例，系统中的具体设备的单独通信意图基于使用通配符定义的策略意图来创建。
42、通配符定义可以被用作策略意图，并且为系统中或系统中预计的具体设备创建单独意图。这意味着，意图可以以紧凑的方式定义，即，作为策略，并且仍然可以自动创建真实的通信意图。
43、例如，意图可以规定ip网络中的所有设备可以与设备管理系统通信，反之亦然。在意图级别上，即使所有具体设备和ip地址都是已知的，这也是一种良好的做法。这可能意味着，针对每个可能的ip地址，都会启动业务生成器或分析器，这可能不可行，这也取决于网络类别。备选地，可以选择适当选择的地址子集进行测试。
44、根据实施例，自动化测试包括设计测试以探测禁止状态或行为，并且分析禁止状态或行为是否被过程自动化网络错误支持。
45、根据实施例，验证过程自动化网络的拓扑和/或配置的步骤包括：测试网络逻辑、可达性、网络行为和/或qos要求，该qos要求包括定时、带宽和故障转移要求等。
46、换言之，测试可以相对于测试保真度进行缩放。在基本级别上，执行逻辑网络测试，只关注静态报头数据。例如，逻辑网络测试验证从源设备发送的分组是否到达目的地设备。进一步地，源和目的地设备可以在开环模式下运行，即，针对测试特定类型的业务是否到达、被阻止或满足特定的qos需求，并发地启动两个端点仿真就足够了。分组本身不需要分析，也不需要验证已发送的特定分组是否已到达。又一步骤可以是验证分组号的数量或业务量。
47、在高级级别上，在这种意义上测试网络行为，例如添加协议序列、应用和/或通信状态，诸如启动、发现、认证等。
48、在高级别上，诸如带宽或数据速率和/或定时行为邓qos参数被包括在测试中。这对分组生成和分析过程要求高性能和定时精度。仅仅使用网络仿真可能是不够的，相反，需要高保真度的网络模拟。
49、根据实施例，该方法还包括：设计测试以探测禁止状态或行为，并且分析禁止状态或行为是否被过程自动化网络错误支持。
50、可以执行测试以检查网络是否允许禁止状态或行为。这些测试确保网络不支持这些测试。
51、根据实施例，测试用例包括用于测试由通信意图定义的通信端点之间的网络通信或者从跳开始的通信、到跳的通信或者在跳之间的通信的配置，其中这些跳位于由通信意图定义的通信端点之间。
52、换言之，测试用例定义的测试可以覆盖通信端点之间的通信，或者通信端点与一个跳之间的通信或例如相邻跳之间的通信，这也可以被称为“逐跳”。测试用例可以被配置为使得覆盖所有意图以获得完全覆盖。进一步地，可以分层地组织测试用例。例如，低级别测试用例覆盖跳之间的测试，更高级别的测试用例覆盖单个通信意图的通信端点之间的所有跳到跳测试，而高级别测试用例则覆盖所有通信意图。通过这种方式，可以进行全面测试，其中可以随后同时执行测试。运行全面测试(即，在整个网络上并发地运行所有意图)并不一定可行。同时，所提出的方法允许在单个网络设备上运行测试(在虚拟模型中或使用例如远程端口镜像)。通过分解单个网络设备的测试用例，将例如时延要求适应为一跳而不是多跳。通过稍后再次将各个测试放在一起，可以实现与端到端测试相同的结果，但具有全覆盖和高保真度。
53、在整个过程自动化网络或过程自动化网络拓扑的中间部分上并发地运行多个测试用例。
54、这允许通过将测试用例分解为在网络拓扑的中间部分上运行，因此并发地运行更多或所有测试，从而获得针对覆盖率的灵活规模测试保真度。当测试真实的网络硬件时，例如在融合网络上下文中，灵活的缩放使其可以只放置单独机柜，并且仍然运行来自it或电信设备(如相机)的所有测试业务，即使机柜中实际上可能只有控制器或io设备可用，甚至这些设备可能由于缺乏真实过程的附件配置而无法根据操作模式传输或接收数据。换言之，这允许通用的测试缩放性，但也允许设计测试，特别是只有物理网络的具体部分可访问的机柜分级。代替将例如物理机柜交换机与虚拟主干环组合，可以设计出具有真实网络硬件的保真度的本地化机柜内部测试。
55、根据实施例，该方法还包括自动评估测试结果以标识失败测试的根本原因的步骤，其中该自动评估包括以下步骤，该步骤可以被重复执行，直到标识出由于未按要求实施网络配置而导致测试失败的跳或设备：如果在其间具有多个跳的通信端点之间的端到端测试失败，则在作为新通信端点的通信端点和/或跳的子集之间执行端到端的测试。
56、可以在运行时或在后处理步骤中对测试进行评估。例如，在后处理中，测试会被自动记录到例如文件，并且将文件中的值与预计值进行比较。这些值可以是诸如qos等测量值、诸如报头数据等分组数据、分组的数量、时间戳等。运行时评估可以立即检测缺陷。例如，根本原因可以标识出负责的组件或配置。
57、当标识出根本原因时，可以改变网络拓扑或要求以克服缺陷，并且可以重启测试。
58、根据又一方面，一种包括程序元件的存储介质，该程序元件被配置为当在处理器上运行时执行根据先前权利要求中任一项的方法的步骤。
59、存储介质是计算机可读介质，诸如例如usb记忆棒、cd、dvd、数据存储设备、硬盘或可以存储上述程序元件的任何其他介质。程序元件是计算机程序，它可以是计算机程序的一部分，但它本身也可以是整个程序。例如，计算机程序元件可以被用于更新已存在的计算机程序以达到本发明。
60、本发明允许客户在自动化系统现场投入使用之前选择是否支付当前耗时类型的测试费用或接受合成业务。通过加快测试，客户将获得更快的改变更新周期。此外，如果与仿真网络组合，则可以尝试进行配置改变，而不会对真实操作网络造成风险。客户可以预计更好的测试覆盖率，特别是在网络安全和零信任网络方面。总体而言，可以设计、测试和优化网络，大大减少对hw存在的需求和对真实系统的副作用。
61、本发明的这些和其他特征、方面和优点将参照附图和以下描述而变得更好理解。通过研究附图、公开内容和所附权利要求，在实践要求保护的本发明时，所公开的实施例的其他变化可以被本领域技术人员理解和实现。在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中记载的若干项目的功能。某些措施被列举在相互不同的从属权利要求中这一事实并不指示这些措施的组合无法被有利地使用。权利要求中的任何附图标记都不应该被解释为限制权利要求的范围。
1.一种用于创建测试设置用于自动测试过程自动化网络的拓扑和/或配置的计算机实施的方法，包括以下步骤：
2.根据权利要求1所述的方法，其中所述方法还包括：
3.根据权利要求1或2所述的方法，其中将所述过程自动化网络配置为从所述业务生成器接收数据并且将数据提供给所述业务分析器的步骤还包括：在所述网络中配置插入点和提取点。
4.根据权利要求3所述的方法，其中在所述网络中配置插入点和提取点包括：在交换机端口处配置本地和/或远程插入或提取点。
5.根据前述权利要求中任一项所述的方法，其中接收通信意图并且选择要被测试的至少一个通信意图的步骤还包括：关于应用组或者通过引用潜在屏蔽的报头数据的组合来接收业务分隔的粒度，指定所述业务分隔并且将所述业务分隔添加到所述连接和测试规范。
6.根据前述权利要求中任一项所述的方法，其中所述过程自动化网络是过程自动化系统的模拟网络、仿真网络或者真实目标网络或者这些网络的组合。
7.根据前述权利要求中任一项所述的方法，其中所述业务生成器和业务分析器是真实设备或软件功能。
8.根据前述权利要求中任一项所述的方法，其中所述通信端点能够由mac地址、ip地址或端口号来标识，并且其中所述mac地址、ip地址或端口号对应于所述真实设备或功能，并且地址分配出于测试的目的而被临时生成。
9.根据前述权利要求中任一项所述的方法，其中如果通信端点的子集覆盖地址范围，则所述业务被分析用于验证通信端点之间允许的业务转发和所述通信端点之间不允许的业务转发。
10.根据前述权利要求中任一项所述的方法，其中所述系统中的针对所述具体设备的单独通信意图基于使用通配符定义的策略意图来创建。
11.根据前述权利要求中任一项所述的方法，其中所述方法还包括：设计测试，以探测禁止状态或行为并且分析所述禁止状态或行为是否被所述过程自动化网络错误地支持。
12.根据权利要求2至11中任一项所述的方法，其中验证所述过程自动化网络的所述拓扑和/或所述配置包括：测试网络逻辑、可达性、网络行为和/或qos要求，所述qos要求包括定时、带宽和故障转移要求。
13.根据前述权利要求中任一项所述的方法，其中测试用例包括用于测试由所述通信意图定义的通信端点之间的网络通信或者从跳开始的通信、到跳的通信或者在跳之间的通信的配置，其中所述跳位于由所述通信意图定义的所述通信端点之间。
14.根据前述权利要求中任一项所述的方法，其中所述方法还包括自动评估测试结果以标识失败测试的根本原因的步骤，其中所述自动评估包括：
15.一种存储介质，包括程序元件，所述程序元件被配置为当在处理器上运行时执行根据前述权利要求中任一项所述的方法的步骤。
