实时、精确、可靠的列车定位是保障城市轨道交通（简称“城轨”）列车安全运行、提高运输效率的基础。 传统城轨列车定位采用车载相对位置计算结合轨旁绝对位置校正的方式，其中位置校正依赖应答器等轨旁设备实现，存在建设维护成本高、列车初始位置未知、信号故障降级后恢复效率低等问题。国内外学者开始研究新一代列车自主定位技术。近年来，随着人工智能、大数据、图像识别等使能技术的快速发展，基于深度学习的列车智能视觉定位技术受到广泛关注，并已形成商业化系统。此类系统的核心思想是通过识别轨旁“视觉信标”（如公里标、二维码、环境标志物等），获得列车当前绝对位置信息，以取代应答器实现列车位置校正。
由于深度学习存在不可解释性以及图像本身具有复杂特性等问题，图像中出现无关甚至不可见干扰均可能导致模型出现难以预计的问题，从而以高置信度给出错误的结果。事实上， 在汽车自动驾驶领域，由视觉感知错误导致的交通事故时有发生。 可见，基于深度学习的智能视觉定位技术目前尚未成熟，而列车定位是典型的安全苛求功能，如果发生定位错误可能导致严重的人员伤亡或财产损失，因此非常有必要在正式投入使用前对列车智能视觉定位系统的安全性进行验证。
测试是一种有效的软件安全性验证方法。 与传统软件不同，基于深度学习的列车智能视觉定位系统具有以下复杂特征，为安全测试带来困难。
(资料图)
1）决策逻辑由数据驱动。
深度学习模型的决策逻辑通过训练数据产生，因此智能视觉定位系统的逻辑会随着数据的变化而变化。传统软件的行为虽然也会受到数据的影响，但其底层逻辑由功能驱动产生，不会发生改变。同时，视觉定位系统的测试输入图片不具有数值上的单调、线性等特征。因此，传统的基于软件决策逻辑特征或输入数值特征的测试用例设计方法难以满足基于深度学习的智能视觉定位系统的完备性要求。
2）系统输出具有概率特征。
与传统软件具有明确的输入输出关系不同，基于深度学习的图像识别系统的输出本质上是概率正确的，即模型对于图像的判定结果带有一个置信值，如果该值高于预设的阈值，则模型输出识别结果。因此，针对智能视觉定位系统的测试用例必然比传统软件测试用例多一个维度（置信度），该特征为测试用例的定义、测试结果的判定、测试安全验证能力的评价等造成困难。
综上， 传统软件的测试方法难以适用于基于深度学习的列车智能视觉定位系统 。目前自动驾驶汽车的测试普遍采用搭建专用试车场的方式，在真实环境中组织实施测试。然而，搭建专用的城轨试验场成本过高，而在运营线路中试验受到城轨运营组织、安全保密等约束，自动驾驶汽车的测试方法难以应用于列车智能视觉定位测试中。
针对上述难题，本研究面向城轨列车智能视觉定位的安全性问题，提出一种针对列车智能视觉定位系统的测试方法。
基于深度学习的列车智能视觉定位技术
01 基于视觉信标识别的列车智能视觉定位
基于视觉信标识别的列车智能视觉定位系统的核心思想是通过识别轨旁“视觉信标”（如公里标、二维码、环境标志物等），获得列车的当前绝对位置信息，从而代替应答器实现列车位置校正。如图1所示，通过将铁路沿线公里标作为视觉信标，在列车行驶过程中采集视觉信标的图像信息，首先利用目标检测模型对图像中的视觉信标进行检测与定位，然后构建字符识别神经网络模型对检测到的视觉信标内容进行信息识别，结合电子地图当中预存的视觉信标自身位置信息精确校正列车定位累积误差，从而实现列车定位。
图1 基于视觉信标识别的列车智能视觉定位方法架构
02 列车智能视觉定位的优势
近年来汽车自动驾驶技术发展迅猛，各类新型传感器、图像识别、人工智能等技术得到了广泛应用。通过借鉴这些新型技术在汽车自动驾驶领域的应用经验，下一代列车控制系统正向着自主化列车控制和自主化运营方向不断发展，旨在通过实现更高的安全性、更高的效率和成本优化来不断提高运营质量。作为新兴技术之一，列车智能视觉定位为列车提供了基于传感器和人工智能技术的“视觉”，增强了列车的感知能力，相较于传统定位方式具有多方面的优势。
减少轨旁设备及对轨旁设备室的需求、降低维护成本。 在铁路沿线存在许多具有固定位置的标志，如公里标、百米标等，列车智能视觉定位系统通过前期的精确测量，准确获知这些标志在线路中的绝对位置，并将其保存在列车运行控制系统电子地图当中，进而将线路既有的标志物定义为视觉信标进行利用，既取代了传统的应答器，减少了轨旁设备、降低了维护成本，也省去了重新设计、生产、安装及维护视觉信标的工作。
解决卫星信号“盲区”问题，提高列车定位的地形适应能力。 列车智能视觉定位系统通过与列车运行控制系统车载子系统进行信息交互，实时获取列车位置、卫星信号强度、电子地图等信息，预知列车即将进入卫星信号“盲区”或是发现当前卫星信号不佳时，控制图像采集设备在接近视觉信标时开始工作，首先对视觉信标进行定位和识别，获取其中包含的位置信息，再通过电子地图预存的位置信息生成列车定位误差校正信息，将其提供给车载子系统，完成基于视觉的列车定位过程。该方式能够在卫星定位精度受限的情况下保证列车定位的准确性，一定程度上提高了列车的地形适应能力。
提升列车“故障-运行”能力。 当列车与地面通信系统突发故障时，列车智能视觉定位系统能够凭借对视觉信标的识别保持一定程度的自主定位能力，从而协助司机继续对列车进行控制，使列车能够更安全迅速地处理紧急状况，满足“故障-运行”的新型列车运行需求。
面向列车智能视觉定位的安全测试方法
首先研究提升测试完备性和测试效率的测试用例生成方法，为安全测试提供基础；随后研究测试用例的量化评价方法；最后在上述两项研究内容的基础上，研究针对城轨运输组织特征的“虚拟半实-真实”融合的平行测试平台构建方法，研究城轨列车智能视觉定位安全测试的落地实现。整体方法架构如图2所示。
图2 面向列车智能视觉定位技术的安全测试框架
01 测试用例生成方法
针对城轨自然场景中测试图像获取成本高、数据分布不均匀等问题，提出基于数据增强思想的人工生成测试图像方法。 首先采用基于特征提取的场景分析方法，确定易发生图像识别错误的典型干扰场景用以指导测试用例的生成；其次针对典型干扰场景图像获取困难问题，引入风格迁移（image-to-image translation）的图像生成思想，提出基于生成式对抗网络GAN的测试用例生成网络，在保证图像真实性的前提下实现由正常场景到特定干扰场景的可控转换。风格迁移思想是指将图像解构为内容空间和风格空间，对2类不同风格的图像分别解构后进行交叉重构，即可得到融合了两类图像内容和风格的新图像，其实现过程如图3所示。
图3 基于图像风格迁移的图像重构过程
本研究提出的测试用例生成网络在图像风格迁移思想的基础上，使用成对的图像作为训练集，训练生成式对抗网络GAN模型学习从输入图像到输出图像的映射，使其能够将输入的内容图像转换输出为具有内容图像内容和参考图像样式的图像，其核心网络架构如图4所示。该网络主要由测试用例生成网络和判别网络构成，其中测试用例生成网络由映射网络、干扰类型编码器、生成器、选择器4个模块组成。
图4 基于GAN的测试用例生成网络
首先由生成网络和判别网络进行对抗训练，生成网络不断生成假的图像并输入判别器，其训练目标是尽可能使判别器将生成的图像分类为真实图像；判别器不断读取真实图像和生成网络生成的图像并判别图像的真假，其训练目标是尽可能将所有真实图像分类为真实图像，将所有生成图像分类为假图像；生成器和判别器不断进行对抗博弈，通过迭代训练更新各自的网络参数，在训练结束时确定相对最优的参数，从而获得生成图像效果较好的测试用例生成网络。在训练结束后，即可调用该网络模型生成测试用例。生成网络支持2种形式的输入：可指定想要生成的目标干扰类型（如强光干扰、运动模糊干扰等），由映射网络将随机噪声转换为指定的干扰类型编码，或者给定参考图像作为输入，由干扰类型编码器提取得到参考图像的干扰类型编码；随后生成器将输入的原始图像和干扰类型编码转换为具有对应场景特定干扰类型编码的输出图像；由选择器依据图像质量评价等准则对生成器生成的图像进行筛选，最终得到符合条件的图像作为测试用例并输出。
02 测试用例评价方法
变异测试是传统软件测试中衡量错误检测能力的一个重要方法，借鉴变异测试思想，提出基于深度变异的测试用例评价方法（图5）。
图5 基于深度变异的测试用例评价方法架构
针对深度学习模型变异算子定义困难问题，研究基于多层级变异算子的构建方法。针对深度学习模型的训练过程，分别从训练样本、神经元、整体网络架构3方面提出源级变异算子（增删样本、修改标签等）、元级变异算子（权重混洗、神经元阻塞等）和层级变异算子（增删网络层、激活函数去除等），通过将变异算子注入被测模型，对模型进行修改后得到变异模型。
结合城轨列车视觉定位特点，研究视觉定位变异得分定义和计算准则，依据变异得分评价测试用例的质量。对于测试用例图像t∈T，若图像中存在的视觉标签正确内容为N，输入原始被测模型 得到识别结果a的数值为 ，输入变异模型 得到识别结果b为 ，若其满足条件： =N且 ≠N，则认为测试用例“t杀死”了变异模型 。
使用不同变异算子对被测模型进行变异得到多个变异模型后，将同样的测试用例分别输入原始模型和变异模型中。 对每个变异模型统计所有能够“杀死”该变异模型的测试用例总数，计算其与测试用例总数的比值作为测试用例集对该变异模型的变异得分；计算测试用例集对各变异模型得分的平均值作为该测试用例集的最终变异得分。根据变异得分即可对测试案例进行评价。若变异得分越高，表明原始被测模型和变异模型在测试用例集上得到的测试结果差异越大，说明测试用例集的质量就越高。
03 测试平台的构建
针对城轨测试中测试成本高、运输组织严格、安全保密限制等问题，设计并搭建了针对列车智能视觉定位系统的“虚拟-半实-真实”平行测试平台。平台总体架构如图6所示。其中，“虚拟”子平台通过纯计算机仿真实现，负责测试图像的生成和仿真测试的执行；“半实”子平台通过沙盘模型实现，负责复现纯软件仿真难以模拟的干扰（例如信号机的灯光特征等），同时也为测试用例生成模型的训练提供样本“；真实”子平台为真实的铁路运行线路，负责实现真车测试，并提供真实的图像数据作为测试用例生成模型的输入。
图6 “虚拟-半实-真实”平行测试平台架构
训练测试用例生成模型需要大量图像数据，尤其是需要大量正常和干扰场景的AB对照图像数据。由于城轨运营组织和安全保密等要求，通过真实列车运行直接采集数据存在诸多困难和限制，且成本较高。而纯软件仿真产生的图像又无法模拟城轨环境中多种复杂的环境特征。针对上述问题，研究并构建“虚拟-半实-真实”的平行测试平台，其中“虚拟”子平台首先确定列车运行中的典型场景作为指导，通过构建GAN图像生成网络生成测试用例，在此基础上结合虚拟列车运行仿真系统构成虚拟仿真平台对被测试对象进行测试，“半实”测试子平台根据虚拟子平台测试的反馈结果筛选出重难点定位场景，基于沙盘完成设计和复现，图7为基于沙盘仿真的“半实”平台模拟的部分场景。
图7 基于沙盘仿真的“半实”平台场景
“半实”平台一方面通过相机采集数据为虚拟子平台的GAN网络提供训练样本，另一方面对虚拟子平台的测试用例生成和评价算法进行验证，并依据测试结果进一步选出相对复杂和重要程度较高的场景在真实环境中进行测试“；真实”子平台基于真实地铁线路构建，负责收集真实的图像数据用于生成测试用例以及进行最终的真车测试。3个子平台平行进行测试，始终保持动态数据交互，并依据数据反馈不断对平台进行完善，共同协作实现城轨列车智能视觉定位系统的安全测试。
04 实验结果
为了验证本文所提出测试方法的有效性，选取一段城轨列车行驶第一视角视频，从中截取含有视觉信标的关键帧共计3000张图像作为自然样本测试集（尺寸统一处理为1920×1080），设定4类场景并统计该测试集中各场景测试用例数量分布如图8（a）所示。其中，“强光”和“暗光”场景的划分过程是对测试用例图像灰度化后计算其灰度直方图，计算图片在灰度图上的均值，若均值高于阈值（设为128）的幅度超过10%，则将其归类为“强光”场景；若低于阈值幅度超过10%则将其归类为“弱光”场景“；运动模糊”场景的判定过程是对测试用例图像进行拉普拉斯变换，然后计算其均方差，若其值低于给定阈值（设为30）则将其归类为“运动模糊”场景；将其余测试用例图像中无明显干扰的测试用例归类为“正常”场景。使用提出的测试用例生成方法生成4类场景下图像各750张（尺寸统一处理为1920×1080），共计3000张图像，同样绘制其中各场景测试用例数量分布如图8（b）所示。
图8 自然样本测试用例和本文方法生成的测试用例场景分布对比结果
分析图8对比结果可以看出，直接从自然界中采集得到的测试用例图像场景分布较为不均匀，由于列车运行的线路和周边环境较为固定，通过在列车上架设图像采集设备连续拍摄得到的自然场景图像绝大多数为正常情况无明显干扰的图像（占比达到79.90%），若直接采用这些图像作为测试用例则缺乏针对性，难以使得被测模型暴露出特定异常场景下容易出现的问题，无法达到安全测试的目的。而由于本文提出的测试用例生成方法可以通过指定参考图像的方式控制生成图像所属的场景，因此能够做到测试用例的可控生成，将原本不存在明显干扰的图像转换为其他干扰场景图像，生成的测试用例场景种类分布更为均匀多样，构建的测试用例中场景分布较为均匀，能够较为全面地测试模型在不同场景下的安全性。
从该段城轨列车行驶第一视角视频截取不同于测试集的3000张含有视觉信标的图像进行标注构建训练集，使用通过搭建“半实”平台仿真模拟采集得到的各类场景图像作为补充，基于训练集将1.1节中介绍的列车智能视觉定位模型训练至损失收敛后作为被测对象，图9为基于沙盘仿真的“半实”平台部分数据采集过程示例。
图9 基于沙盘仿真的“半实”平台进行数据采集
将自然获取的测试用例集和本文方法生成的测试用例集输入列车智能视觉定位模型进行对比测试，实验结果如图10所示。错误发现率代表了测试用例集对模型的错误发现能力，其值通过计算使得模型识别结果出现错误的测试用例数量占总测试用例数量的比例得出。错误发现率越高，表明被测模型在该测试用例集上的识别正确率越低，也说明该测试用例越能够有效暴露模型潜在的缺陷和错误。
图10 自然样本测试用例和本文方法生成的测试用例对比分析结果
由实验结果可知：一方面，本文方法生成的测试用例在各类场景中的错误发现率与自然样本较为接近，证明本文方法生成的测试用例图像真实性较好，能有效地模拟自然样本的图像特点；另一方面，在测试用例总数相等的情况下，由于自然样本中各类场景的分布较为不均匀，绝大部分图像中不存在明显干扰，因此自然样本的整体错误发现率较低（15.83%）；而本文方法生成的测试用例场景种类分布较均匀，整体的错误发现率相对自然样本有较大提升（50.77%）。实验结果表明，本文方法生成的测试用例场景种类分布更为均匀多样，能够较为全面地测试模型在不同场景下的安全性，有效提升列车智能视觉定位的测试效率。
结论
以深度学习为核心的智能视觉定位是新一代城轨列车定位的重要发展方向。 提出了一种面向城轨列车智能视觉定位的安全测试方法，从测试用例生成、测试用例评价和测试组织实施展开研究。结合列车运行典型图像干扰特征，提出一种基于GAN的人工生成图像方法，实现了由真实环境图像生成不同场景下的测试用例；基于变异思想实现了对测试用例质量的量化评价；提出基于沙盘仿真的“虚拟-半实-真实”平行测试平台，实现了对列车智能视觉定位系统的高效测试。大量的仿真实验表明，本文方法能够有效地提升测试的效率，以尽可能少的测试用例暴露尽可能多的列车视觉定位系统错误问题，为提升系统安全性和信心提供指导，为该技术在城轨中的广泛应用奠定基础。此外，目前中国城市轨道交通处于高速建设与智能化的阶段，各类深度学习技术正逐渐引入城市轨道交通的各个领域。本文深度学习测试理论和方法可扩展应用于其他各类深度学习模型，实现正确性和安全性验证，为模型的开发、改进和应用提供新方法和新技术。本文方法为论证城轨列车智能视觉定位的安全性提供一系列新的理论与方法，为进一步将深度学习技术引入城市轨道交通提供新的依据和保障。
原文发表于《科技导报》2023年第10期，欢迎订阅查看。