基于关键点识别的空中加油视觉定位技术研究

0 引言

空中加油技术可增强飞机远程作战、快速反应和持续作战等能力，减少飞机起落次数，增强攻击强度和打击力度，已成为现代空军力量远程机动与作战行动的必须装备[1]。有人机进行空中加油存在对接效率低、飞行员压力大等问题，无人机想要完成空中加油任务，则技术难度更大，自主空中加油技术成为解决该问题的关键。2004 年至今，美国利用GPS 导航系统和光学跟踪系统等技术[3]，多次完成无人机自主空中加油技术的试飞验证，具备无人机自主空中加油能力。我国自主空中加油技术研究时间较短，一些高校和科研院所均有相关研究[4-5]，但距离工程应用仍有差距。

高精度的相对导航信息是保障无人机自主空中加油对接成功的关键因素之一，视觉通过对加油锥套图像进行检测跟踪和相对位置解算，可实现引导受油机与加油锥套安全平稳对接。多数研究采用在加油锥套上增加合作标志的方式[6-7]，实现基于视觉的空中自主加油相对定位，该方法算法简单，但可靠性低，当合作标识受损后算法失效。随着人工智能技术发展，越来越多的研究人员采用智能识别算法对接加油锥套进行识别，后再采用视觉相对测量的方法进行相对位置计算[8]。通过人工智能目标识别方法可准确识别到加油锥套，但仍然无法实现基于视觉的高精度相对位置测量。

本文提出一种基于关键点识别的空中加油视觉定位技术，采用HRNet 网络实现加油锥套的关键点智能检测，利用关键点检测结果，进一步精确提取加油锥套轮廓，选取轮廓上相对位置测量点，通过EPnP 算法，进而实现相机与加油锥套的高精度相对位置测量。

1 加油锥套关键点智能检测

传统单目视觉测量加油锥套相对位置，是通过对加油锥套特征点或轮廓提取来实现，但提取的阈值参数无法根据不同光照场景自适应调节，导致干扰特征点和轮廓数量多，从而无法精确提取出所需目标特征点和轮廓，导致视觉相对位姿测量精度较低。

对于上述问题，本文为了提高空中加油过程中视觉测量锥套目标相对位置的准确性和稳定性，设计关键点智能检测方法，无需在锥套上额外加装合作标识，在锥套智能识别跟踪的基础上，通过神经网络识别锥套特定关键点后再进行特征提取，极大减少了干扰。根据加油锥套自身的伞状结构和位于外轮廓的伞衣形态，在锥套伞衣处设置锥套特征关键点，将复杂的加油锥套模型简化为关键点模型，充分利用锥套自身伞衣特性。如下图所示，本文在加油锥套上选取8 个点作为关键点，关键点的 ID 从 1～8. 。

图 1 加油锥套 8 个关键点标注图

关键点检测算法有 OpenPose、SimpleBaseline、HRNet 等，OpenPose 作为自下而上的方法，在实际环境中关键点的检测中稳定性上较差，存在误检情况较多；SimpleBaseline 虽然是一个简单轻量级的手势指令检测网络在工程应用上处理速度较快，但相较HRNet 在准确度上低。HRNet 不仅在检测的准确性和稳定性较高，而且处理速度快，满足实际工程应用。因此，本文采用HRNet 作为关键点实现方法。

2 锥套轮廓提取与相对测量

受油视觉引导过程中，由于锥套处于摆动状态，圆形锥套在相机成像投影为椭圆形，且空中加油过程中存在锥套被遮挡、部分锥套在视场内等情况，为提高相对位置解算的准确性和可靠性，本文设计高精度锥套轮廓提取与椭圆拟合方法，在识别跟踪锥套目标和关键点检测的基础上，进一步精细化提取锥套椭圆形轮廓，为相机与锥套相对位置测量提供精确的像素坐标。

2.1 锥套特征点提取

根据锥套识别输出的锥套图像信息，从整幅图像中裁剪出锥套目标图像，为了保证将锥套图像完整的裁剪出来，裁剪时在识别输出的 [w ^h] 基础上，上下左右 4 个方向在分别扩展 N 个像素，N 的计算公式如下式所示。N 与锥套大小相关，因此可根据不同距离自适应调整。

N=max（w，h）/10

加油锥套识别测量，主要受环境光照变化影响，因此特征点提取方法应选择对光照适应性强的方法，由于锥套的伞装结构，其骨架角点较多，并考虑计算复杂度和实时性，本文选择 Harris 方法提取锥套目标角点特征。

2.2 锥套特征点筛选

Harris 方法不仅将锥套轮廓的特征点提取出来，也将锥套内部伞骨的轮廓特征全部提取出来，要实现锥套稳定伞外轮廓的精确提取，需将锥套稳定伞外轮廓的特征点筛选出来，方法如下：

步骤 1：确定锥套稳定伞外轮廓范围。首先根据智能识别的 8 个关键点，拟合出锥套稳定伞内轮廓椭圆 e₁ ，然后将椭圆 e₁ 分别扩大 N₁ 倍和 N₂ 倍，得到椭圆 e₂ 和椭圆e₃ ，使得锥套稳定伞外轮廓的特征点落在椭圆 e₂ 和椭圆 e_i 之间。取 N₁=1.1 ，N₂=1.4 生成椭圆，如图 2（a）所示，其中红色、黑色和蓝色椭圆分别为为 e₁ 、 e₂ 和e₃ ；黄色标记为智能识别出的8 个关键点。

步骤 2：进一步剔除干扰特征点。由于 和 椭圆之间有一定范围，在横向和纵向上仍有较多的特征点，距离锥套稳定伞外轮廓有一定的距离。因此筛选出最左、最右特征点和最上、最下特征点，即为离锥套稳定伞外轮廓最近的特征点。结果如图 2（b）

所示，可以看到几乎所有点都在锥套稳定伞外轮廓上。

图2 特征点筛选和椭圆拟合

2.3 锥套椭圆轮廓拟合

将最终筛选出来的特征点采用最小二乘法进行椭圆拟合，进一步降低个别不再轮廓边缘点的干扰，该算法能够在保证精度的同时，提高计算速度，且基于自适应的方法能够适用于各种场景变化，符合受油视觉引导需求。得到椭圆所有参数后，即可拟合出椭圆，最小二乘法拟合椭圆的结果如图 2（c）所示。可以看到针对正对和有航向姿态的锥套，均能很好的拟合出锥套稳定伞外轮廓的椭圆。

2.4 相对位置测量

精确提取出加油锥套轮廓后，选取轮廓上的上下左右 4 个点，以及智能识别的 8个关键点，共 12 个点作为 EPnP 算法计算相对位置测量的输入点。其中，像素坐标可根据拟合的椭圆参数和关键点输出结果获得，其对应的世界坐标，以加油锥套稳定伞外轮廓中心作为原点，可根据锥套稳定伞外轮廓R1 和内轮廓 R2，以及内外伞轮廓平面高度差 h 得到。得到 12 个点像素坐标和世界坐标后，采用 EPnP 算法进行相对位置计算。

3 实验验证

为了验证本文提出的算法，在实验室构建的空中加油测试系统下对加油锥套关键点智能检测和相对位置测量进行算法验证。算法在将图像进行加油锥套识别和关键点检测前，先对图像进行畸变校正处理，以保证采用模型识别输出关键点像素坐标无畸变，然后再通过 EPnP 算法计算相机与锥套的相对位置，以提高测量精度。在试验室环境下，进行加油锥套关键点识别，结果如图 3 所示。

图3 加油锥套关键点检测和分布结果

对识别的 271 组图像关键点检测结果进行相对位置测量，相对定位误差结果如图 4所示。相机相对与加油锥套在空间三轴的定位精度分别为 4.89mm 、 4.58mm 和 28.38mm （RMS），因此本文提出的方法具有较高的位置测量精度。

图 4 试验室环境下加油锥套相对定位误差

4 结束语

本文提出的基于关键点识别的空中加油视觉定位技术，利用关键点智能检测模型，可实现加油锥套的关键点准确检测。利用关键点检测结果，进一步精确提取加油锥套轮廓，选取轮廓上相对位置测量点，通过 EPnP 算法计算相机与加油锥套的相对位置。结果表明，本文提出的方法具有较高的相对位置测量精度，可满足无人机自主空中加油场景下的相对定位要求。

参考文献

[1]程龙，唐斐，王同旭.无人战机自主空中受油能力的作战运用需求及影响[J].科技导报，2017，35（7）：58-63.

[2] Hansen J，Murray J，Campos N. The Nasa Dryden Aar Project： a Flight Test Approachto an Aerial Refueling System[C]. Aiaa Atmospheric Flight Mechanics Conference andExhibit， 2004： 4939.

[3] Khanafseh SM，Pervan B. Autonomous Airborne Refueling of Unmanned AirVehicles Using the Global Positioning System[J]. Journal of Aircraft， 2007， 44（5）：1670-1682.

[4]赵敏琨，刘小雄，徐新龙，等.基于视觉的空中加油定位技术研究[J].计算机测量与控制，2023，31（6）：267-279.

[5]冯杨，张云皓，赖劲雪，等. 面向空中加油的视觉相对定位算法研究[J].仪表技术，2023，1：38-41.

[6] Xin L， Luo D， Li H. A monocular visual measurement system for UAVprobe-and-drogue autonomous aerial refueling[J]. International Journal of IntelligentComputing and Cybernetics， 2018.

[7]周清，许悦雷，加尔肯别克.无人机软管式自主空中加油视觉导航技术[J]. 导航定位与授时，2020，7（1）：41-47.

[8]汪刚志，王新华，陈冠宇，等.基于视觉的无人机空中加油目标识别技术研究[J].电子测量技术，2020，43（13）：89-94.