¹中国人民解放军75842部队，广东 韶关

²国防科技大学信息通信学院，湖北 武汉

³中国人民解放军31121部队，上海

收稿日期：2020年11月9日；录用日期：2020年11月20日；发布日期：2020年12月2日

摘要

无人机通信是实现无人机功能的关键环节，且往往以中继通信方式存在。中继选择是提升中继通信效能的一种重要方法。本文研究无人机中继通信在无信息情况下通过自主学习进行中继选择的问题，提出基于自动重传请求(ARQ)反馈的1 bit成功与否信息构建效用函数(即信息成功传输概率)，并利用多臂老虎机(MAB)中的汤普森采样算法进行中继选择。实验表明，基于ARQ反馈的1 bit信息进行选择，无论信道差异大小，都能以较大的概率最终收敛到最优中继，并且信道差异大时，收敛速度更快更稳定，收敛到最优中继的概率更大。

关键词

无人机，中继选择，ARQ反馈，多臂老虎机

Research on Autonomous Relay Selection in Unmanned Aerial Vehicle Communication Based on ARQ Feedback

Feifan Wen^1,2, Wenxin Wang², Tao Liang³, Kun Xu², Zhenhan Wei²

¹Unit 75842 of PLA, Shaoguan Guangdong

²College of Information and Communication, National University of Defense Technology, Wuhan Hubei

³Unit 31121 of PLA, Shanghai

Received: Nov. 9^th, 2020; accepted: Nov. 20^th, 2020; published: Dec. 2^nd, 2020

ABSTRACT

UAV communication is the key link to realize the function of UAV, and it often exists in the way of relay communication. Relay selection is an important method to improve the efficiency of relay communication. This paper studies the problem of relay selection for UAV relay communication through autonomous learning in the absence of information, and proposes a utility function (that is, the probability of successful information transmission) based on the 1-bit success information feedback from the automatic repeat request (ARQ). And use the Thompson sampling algorithm in the multi-armed slot machine (MAB) for relay selection. Experiments show that the selection based on the 1-bit information of ARQ feedback can converge to the optimal relay with greater probability regardless of the channel difference, and when the channel difference is large, the convergence speed is faster and more stable, and the probability of convergence to the optimal relay is greater.

Keywords:UAV, Relay Selection, ARQ Feedback, Multi-Armed Bandit

Copyright © 2020 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

随着低成本小型化无人机技术的不断发展，得益于其机动灵活和按需即时部署等优点，无人机将在军民领域发挥越来越重要的作用 [1] [2]。建立和维持无人机间的无线通信链路是实现无人机应用的关键环节。无人机通信往往以中继通信的方式存在 [3]，而中继选择是实现无人机中继通信效能提升的关键技术 [4]。

由于无人机大规模等特点导致其决策交互信息过多等问题 [5]，与传统无线中继通信相比，无人机通信往往难以获得中继选择决策所需要的信息。本文研究无人机中继通信在无信息条件下，通过自主学习获取中继选择所需信息，从而进行中继选择。

在传统基于自主学习进行中继选择的研究中，存在多种多样的效能函数设计方法进行中继选择，实现不同的性能函数优化 [6] - [14]。这些方法在各自的应用场景和模型中都能完成最优中继选择。然而，现有研究中效用函数采用的具体性能指标各异，如容量、误码性能、延时、用户满意度等，且效用函数多是连续值。不同研究采用不同的效用函数形式，难以形成统一机制和在不同通信系统中相互兼容。本文提出利用自动重传请求(Automatic Repeat reQuest, ARQ)的1bit成功与否反馈信息设计效用函数(即信息成功传输概率)进行中继选择，以期实现统一的效用函数设计和在不同系统中的兼容。

ARQ是通信系统链路层的基本功能、基础协议，广泛存在于移动通信、无线局域网和短波通信等无线通信领域 [15]。ARQ通过重传保证通信质量，利用1比特信息(0和1)指示传输成功与否，具有协议基础广泛和反馈信息少等优点。通过ARQ信息，可间接获得系统的信道质量、误码和容量等信息。本文提出通过ARQ获得信息传输成功概率，并将其作为效用函数，利用多臂老虎机(Multi-Armed Bandit, MAB) [16] 进行中继选择。在给定无人机中继通信两跳信道条件下，基于ARQ反馈设计效用函数进行中继选择的实验表明：无论是在信道差异大还是信道差异小，使用汤普森采样算法均有较大的概率能够选择到最优中继；信道差异大时，选择到最优中继的收敛速度更快，收敛更稳定且收敛到最优中继的概率更大。

2. 基于自主学习的无人机中继选择模型

2.1. 无人机中继通信模型

无人机通常以集群的方式执行通信任务。在充当中继时，发送方先在无人机集群中选择一个无人机作为中继发送信息，无人机接收到信息后将信息放大并转发至接收方。本文研究的是收发双方及收发双方和中继无人机均处于相对固定位置且信道质量不发生变化的情况下的中继选择。图1为无人机群进行中继通信选择的模型。

图1. 无人机通信中继选择模型

2.2. 基于ARQ反馈信息进行中继选择方法

在上图所示通信过程中，发射方向无人机发送信息，无人机接收发送方信息并作为中继转发至接收方。接收方如译码成功，它反馈一个成功指示信息(本文中设定反馈为1)，表示此次信息发送成功，反馈信息通过无人机中继传输后到达发送方。发送方收到反馈信息1后，将继续发送新的信息。如果接收方译码失败，它发送消极的反馈(本文中设定反馈为0)，则表示接收信息发生错误，发送方将重传发送的信息。

在上述过程中不同的无人机作为中继传输信息会产生不同的传输效果。因此，发送方可以根据收到的反馈信息确定哪个无人机具有最好的通信效果。上述模型中，假设反馈信息(1或0)可以通过专用控制信道无差错传输，且不同无人机之间反馈的信息互相不干扰。本文基于ARQ的反馈信息，设计无人机中继通信效用函数，来反映无人机作为中继时转发信息的成功概率，并采取MAB中的汤普森采样算法进行中继选择。这种算法是在无外界信息情况下，通过自主学习获得中继选择所需信息，然后进行中继选择，即通过自主学习获得不同无人机转发信息成功概率，并以此作为效用函数进行中继选择。一些事先并不知道成功概率的问题，通过做若干次试验以及统计成功的次数，可以很直观地计算出成功概率，但是由于成功概率是未知的，计算出来的概率只能是成功概率的最优估计。因此，不能确定概率的具体数值，但是它也是一个随机变量，符合beta分布。这样其先验分布是Beta分布，且每个选择的收益的分布是Bernoulli分布，在这种情况下的后验分布仍然是Beta分布。

汤普森采样算法要先记录每个选择成功和失败的次数 $\alpha$ 和 $\beta$，生成每个选择的beta分布，用每个选择现有的beta分布产生一个随机数，比较选择所有臂产生的随机数中最大的那个选择。假定进行1000次中继选择，选择的过程如图2。

图2. 汤普森采样算法中继选择流程图

2.3. 最优中继选择理论分析

考虑自由空间的传播损耗，当天线具有单位增益时，其路径损耗为： $PL\left(\text{db}\right)=-10\lg \left[\frac{{\lambda }^2}{{\left(4\pi \right)}^2{d}^2}\right]$，则可得到自由空间传播损耗因子为： $\alpha =\frac{\lambda }{4\pi d}$。令发送端与无人机中继间的自由空间传播损耗为 ${\alpha }_1$，无人机中继与接收端间的自由空间传播损耗为 ${\alpha }_2$。首先由发射端发送信号给无人机中继，则可得到无人机中继接收的信号为：

$y_W={\alpha }_1\sqrt{P_F}{h}_1{x}_F+n_1$ (1)

其中 $P_F$ 表示发射端信号发射功率， $h_1$ 表示发射端与中继无人机之间的信道系数， $X_F$ 表示发射端发射的信号， $n_1$ 表示中继无人机接收到的噪音信号。

然后由无人机中继将接收到的信号放大并转发给接收节点，接收端接收到的信号为：

$y_J={\alpha }_2{h}_{2}B{y}_W+n_2={\alpha }_2{h}_{2}B{\alpha }_1\sqrt{P_F}{h}_1{x}_F+{\alpha }_2{h}_{2}B{n}_1+n_2$ (2)

其中B是中继的放大因子， $B=\sqrt{\frac{P_W}{{\alpha }_1^2{P}_F{\left|h_1\right|}^2+N_1}}$，$h_2$ 表示中继无人机和接收端之间的信道系数， $n_2$ 表示接收端接收到的噪音信号， $N_1$ 表示中继无人机接收到噪音功率， $P_W$ 表示中继无人机的发送功率。

计算接收节点接收的信号功率为：

$S_J={\alpha }_2^2{\left|h_2\right|}^2{B}^2{\alpha }_1^2{P}_F{\left|h_1\right|}^2，$

接收节点接收的信号的噪声功率为：

$N_J={\alpha }_2^2{\left|h_2\right|}^2{B}^2{N}_1+N_2，$

其中 $N_2$ 表示接收节点接收到的噪音功率。

接收节点接收信号的信噪比为：

$SNR=\frac{S_J}{N_J}=\frac{{\alpha }_2^2{\left|h_2\right|}^2{B}^2{\alpha }_1^2{P}_F{\left|h_1\right|}^2}{{\alpha }_2^2{\left|h_2\right|}^2{B}^2{N}_1+N_2}$ (3)

理论上的中继选择的成功概率 $P_c$ ：

$P_c=P\left(SNR\ge SN{R}_m\right)=p\left(\frac{{\alpha }_2^2{\left|h_2\right|}^2{B}^2{\alpha }_1^2{P}_F{\left|h_1\right|}^2}{{\alpha }_2^2{\left|h_2\right|}^2{B}^2{N}_1+N_2}\ge SN{R}_m\right)$ (4)

$P_c=P\left({\alpha }_2^2{\left|h_2\right|}^2{B}^2{\alpha }_1^2{P}_F{\left|h_1\right|}^2\ge SN{R}_m{\alpha }_2^2{\left|h_2\right|}^2{B}^2{N}_1+SN{R}_m{N}_2\right)，$

$P_c=P\left({\alpha }_2^2{\left|h_2\right|}^2{P}_W\left({\alpha }_1^2{P}_F{\left|h_1\right|}^2-SN{R}_m{N}_1\right)\ge SN{R}_m{N}_2\left({\alpha }_1^2{P}_F{h}_1^2+N_1\right)\right)$

由于 $\left|h_1\right|$ 和 $\left|h_2\right|$ 符合瑞利分布，所以 $\left|h_1\right|$ 和 $\left|h_2\right|$ 的概率密度函数分别为：

$f_1\left(\left|h_1\right|\right)=\frac{\left|h_1\right|}{{\sigma }_1^2}{\text{e}}^{-\frac{{\left|h_1\right|}^2}{2{\sigma }_1^2}}$ ； $f_2\left(\left|h_2\right|\right)=\frac{\left|h_2\right|}{{\sigma }_2^2}{\text{e}}^{-\frac{{\left|h_2\right|}^2}{2{\sigma }_2^2}}$。又 $\left|h_1\right|$ 和 $\left|h_2\right|$ 相互独立，则可得 $\left|h_1\right|$ 和 $\left|h_2\right|$ 的联合概率密度函数为：

$f\left(\left|h_1\right|,\left|h_2\right|\right)=f_1\left(\left|h_1\right|\right)f_2\left(\left|h_2\right|\right)=\frac{\left|h_1\right|\left|h_2\right|}{{\sigma }_1^2{\sigma }_2^2}{\text{e}}^{-\frac{{\left|h_1\right|}^2}{2{\sigma }_1^2}-\frac{{\left|h_2\right|}^2}{2{\sigma }_2^2}}$ (5)

要求成功概率 $P_c$，可将上式化为一个关于 $\left|h_1\right|$ 和 $\left|h_2\right|$ 的双重积分。分两步积分，当 $0<\left|h_1\right|\le \sqrt{\frac{SN{R}_m{N}_1}{{\alpha }_1^2{P}_F}}$ 时和 $\left|h_1\right|>\sqrt{\frac{SN{R}_m{N}_1}{{\alpha }_1^2{P}_F}}$ 时，得：

$P_c=1-{\displaystyle {\int }_0^{Q_1}\left({\displaystyle {\int }_0^{+\infty }f\left(\left|h_1\right|,\left|h_2\right|\right)\text{d}\left(\left|h_2\right|\right)}\right)\text{d}\left(\left|h_1\right|\right)}-{\displaystyle {\int }_{Q_1}^{+\infty }\left({\displaystyle {\int }_0^{Q_2}f\left(\left|h_1\right|,\left|h_2\right|\right)\text{d}\left(\left|h_2\right|\right)}\right)\text{d}\left(\left|h_1\right|\right)}$ (6)

其中： $Q_1=\sqrt{\frac{SN{R}_m{N}_1}{{\alpha }_1^2{P}_F}}$，$Q_2=\sqrt{\frac{SN{R}_m{N}_2\left({\alpha }_1^2{P}_F{h}_1^2+N_1\right)}{P_W{\alpha }_2^2\left({\alpha }_1^2{P}_F{\left|h_1\right|}^2-SN{R}_m{N}_1\right)}}$。

3. 仿真

为了验证本文算法的性能，使用MATLAB平台，结合两跳链路的中继选择模型分析分别在信道差异大和信道差异小的情况下汤普森采样算法进行中继选择的情况。

仿真的通信场景如图1所示。仿真参数设置如下：无人机中继的个数 $nB=20$，本模型随机设定每个无人机与发送方及接收方的 $\left|h_1\right|$ 和 $\left|h_2\right|$ 的瑞利分布的参数， $\left|h_1\right|$ 和 $\left|h_2\right|$ 的值将由对应的分布随机产生，具体的瑞利分布参数将按信道差异大和信道差异小两种情况随机产生。设定每个无人机和发送节点及接收节点间的距离 $d_1$ 和 $d_2$ 的值为4000 m。设定发送端的发送功率 $P_F=10\text{W}$，发射波的波长 $\lambda$ = 1米，无人机的发送功率 $P_W=10\text{W}$，无人机中继和接收端接收的噪声功率分别为 $N_1=N_2=2e^{-11}\text{W}$，门限信噪比 $SN{R}_m=30\text{dB}$。设定选择的次数 $nP=1000$ 次。无人机与接收方及发信方的距离均设置为4000 m，两种类型信道设置分别如下。

信道差异大的情况：使 $\left|h_1\right|$ 和 $\left|h_2\right|$ 瑞利分布的参数σ₁和σ₂均匀分布在0.3到1的区间内；具体如表1。

信道差异小的情况：使 $\left|h_1\right|$ 和 $\left|h_2\right|$ 瑞利分布的参数σ₁和σ₂均匀分布在0.9到1的区间内。具体如表2。

表1. 信道差异大时信道的瑞利分布的参数σ₁和σ₂的设置

表2. 信道差异小时信道的瑞利分布的参数σ₁和σ₂的设置

图3. 信道差异大时汤普森采样算法选择成功概率与理论最优中继成功概率比较

图4. 信道差异小时汤普森采样算法选择成功概率与理论最优中继成功概率比较

如图3为在信道差异大的情况下总的成功概率随着选择的变化情况，图4为在信道差异小的情况下的总的成功概率随着选择的变化情况。

从仿真结果可以看出，在信道差异大和信道差异小两种情况下最终都收敛于最优的中继，但明显在信道差异大时收敛速度较快且比较稳定。为了使结果更加可靠，随机设定信道参数并进行1000次实验，每次实验选择1000次直到收敛到最优中继为止，统计1000次实验中收敛到最优中继的次数，并生成柱形图图5。

图5. 1000次实验中信道差异大和信道差异小两种情况下收敛到最优中继的概率

当信道差异大时，可看到收敛到最优中继的概率达到了95%，当信道差异小时收敛到最优中继的概率也达到了50%。可见汤普森采样算法能够较准确的选择出最优的中继。

4. 结论

本文提出利用ARQ反馈的1bit成功与否信息构建效用函数(即信息传输成功概率)，基于MAB方法进行自主学习获取无人机中继通信中的信息，进行中继选择。所提的基于ARQ反馈进行中继选择方法能以大概率选出最优中继。同时，基于ARQ反馈进行效用函数设计可不改变现有通信协议，容易与现有系统兼容。

基金项目

本文研究受到国家自然科学基金项目(项目编号：61801492)和国防科技大学校内科研计划项目(合同编号：ZK18-03-20)资助。为第一作者文非凡在国防科技大学信息通信学院学习期间，在导师徐坤指导下所完成的本科毕业设计课题。

文章引用

文非凡,王文新,梁 涛,徐 坤,魏镇韩. 基于ARQ反馈的无人机通信中继自主选择研究
Research on Autonomous Relay Selection in Unmanned Aerial Vehicle Communication Based on ARQ Feedback[J]. 无线通信, 2020, 10(06): 71-78. https://doi.org/10.12677/HJWC.2020.106010

参考文献