本发明涉及图像识别系统，尤其涉及对更新后的图像识别算法进行验证的技术。
背景技术：
1、作为使用机器学习的图像识别处理的手段之一，有深度神经网络(deep neuralnetwork：dnn)等神经网络。在这样的图像处理中，已知与以往的基于规则的算法相比，识别精度飞跃性地提高，正在进行各种领域中的实用化。
2、例如，在汽车产业领域中，考虑将dnn应用于驾驶辅助、面向自动驾驶的周边识别，有助于防止重大事故。作为处理dnn的设备的要件，要求对以数十毫秒级的周期从照相机发送来的图像进行高速处理。因此，需要搭载有昂贵的gpu(graphics processing unit，图形处理单元)的设备。但是，由于近来的算法的轻量化、压缩模型的安装技术的进步，能够选择低成本的设备，即使面向大众车辆，车载有dnn的ecu(electronic control unit：电子控制单元)的实用化也在发展。
3、另一方面，dnn的识别性能依赖于用于学习的数据而产生变化，因此相对于以往的基于规则的算法，大多无法掌握更新时的性能变化。即，对于某个图像，在当前的dnn(以下，称为“旧dnn”)中能够识别的图像在新dnn中会无法识别，也可能存在相反的情况。作为其主要原因，可举出设计者难以有意地定量掌握算法、学习数据、学习时的参数(学习率、反复次数等)等的差异的影响程度。在驾驶辅助、面向自动驾驶的周边识别中，误检测、漏检成为大问题，但至少需要避免新dnn相对于更新前的旧dnn发生性能劣化。
4、为了证明没有性能劣化，通常在将新dnn应用于ecu之前，在对新dnn进行了使用多个测试图像的验证之后，确认在实车行驶中没有问题。在实车行驶环境下的验证中，由于识别难易度简单，所以如果是在测试图像中没有设想到的实际环境，则输入难易度高的图像，因此认为是用于填补测试图像中的验证遗漏的重要定位。然而，充分的实车行驶环境下的验证需要覆盖庞大的验证场景，因此要求超长距离的公共道路行驶、数百种场景下的验证。因此，存在每当dnn更新时产生庞大的验证时间和人力成本的问题。
5、这样，作为用于抑制新dnn的验证所花费的成本的技术之一，可举出专利文献1所记载的技术。在该专利文献1中公开了如下结构：为了抑制新版本的学习模型(相当于新dnn)的验证成本，在安装有新版本的学习模型的边缘服务器中，将输入了现场环境的数据时的推论结果与旧版本的学习模型(相当于旧dnn)进行比较。
6、现有技术文献
7、专利文献
8、专利文献1：日本特开2019-139734号公报
技术实现思路
1、发明所要解决的课题
2、但是，在比较新dnn和旧dnn的推理结果时，为了判断哪个结果正确，需要知道针对输入数据的正解。在专利文献1所记载的技术中，由于前提条件是预先对测试数据确立推论结果应该是这样的逻辑，所以在实机环境中也能够评价新旧dnn的推论结果的妥当性。另一方面，在专利文献1所记载的技术中，存在无法判断如自动驾驶中的公路行驶那样输入了未知的现场数据时的推论结果的妥当性的课题。
3、在这种情况下，可以仅提取新dnn和旧dnn的推论结果之间的差异，但是不能判定该差异是由新dnn的性能改善引起的还是由性能劣化引起的。因此，针对产生差异的原因，最终需要人工进行判别、判断，新dnn的验证的人工成本增加。
4、另外，在要求驾驶辅助、自动驾驶的高功能化的最近，使使用了dnn等的机器学习模型解答高难度的任务的情况也较多，无法掌握更新前后的差异的情况变得显著。因此，存在想要频繁地推动验证、修正、更新的循环的需求，另一方面，如上所述，存在验证本身花费成本的问题。
5、本发明是为了解决这样的课题而完成的，其目的在于提供一种图像识别系统，通过自动地实现新机器学习模型的验证，能够削减用于验证的人力成本。
6、用于解决课题的手段
7、为了解决上述课题，本发明的一个方式的图像识别系统具备不一致信息提取部、有无物体判定部以及性能劣化判定部。
8、上述不一致信息提取部构成为，分别被输入针对从图像传感器输入的同一输入图像的、当前的机器学习模型和更新版的机器学习模型的推论结果，在两个推论结果存在不一致的不一致区域的情况下，输出输入图像中的不一致区域的图像信息和表示更新版的机器学习模型有无检测到不一致区域内的关注点的信息。
9、上述有无物体判定部构成为，判定输入图像中的不一致区域的图像信息中是否包含关注点并输出判定结果。
10、上述性能劣化判定部构成为，根据表示更新版的机器学习模型有无检测到不一致区域内的关注点的信息和输入图像中的不一致区域的图像信息中有无关注点的判定结果，判定与当前的机器学习模型进行了比较的更新版的机器学习模型的性能劣化。
11、发明效果
12、根据本发明的至少一个方式，在使用了机器学习模型的图像识别系统中，能够自动地执行更新版的机器学习模型的验证。因此，能够削减用于验证的人力成本。
13、上述以外的课题、结构及效果通过以下的实施方式的说明而明确。
1.一种图像识别系统，其特征在于，
2.根据权利要求1所述的图像识别系统，其特征在于，
3.根据权利要求2所述的图像识别系统，其特征在于，
4.根据权利要求3所述的图像识别系统，其特征在于，
5.根据权利要求3所述的图像识别系统，其特征在于，
6.根据权利要求5所述的图像识别系统，其特征在于，
7.根据权利要求6所述的图像识别系统，其特征在于，
8.根据权利要求7所述的图像识别系统，其特征在于，
9.根据权利要求6所述的图像识别系统，其特征在于，
10.根据权利要求3所述的图像识别系统，其特征在于，
11.根据权利要求6所述的图像识别系统，其特征在于，
12.根据权利要求1所述的图像识别系统，其特征在于，
