无人驾驶飞机协助联邦边缘学习通信系统安全隐私能效研究

无人驾驶飞机协助联邦边缘学习通信系统安全隐私能效研究

原文：卢为党 , 冯凯 , 丁雨 , 李博 , 赵楠 . 安全隐私能效研究基于无人机协助联邦边缘学习通信系统。 [ J ] . 电子和信息学报纸 , 预出版 . doi: 11999/JEIT240847

作者团队：

卢为党：男，教授，博士生导师，研究方向为智能通信，无人机通信，安全通信等。 .

冯凯：男，硕士，研究方向是无人机安全通信、联邦学习等。 .

丁雨：女，博士，研究方向是无人机安全通信等。 .

李博：男，教授，博士生导师，研究方向是空天地海一体化互联网，6G 移动通信等 .

赵楠：男，教授，博士生导师，研究方向是无人机通信与网络、安全与隐蔽通信等。 .

第一单位：浙江工业大学 资讯工程学院

1 引言

随着移动智能设备的大规模普及和新兴智能应用的快速发展，网络边缘产生的智能家居、车载设备、传感器等物联网设备数据呈爆炸式增长，给目前的通信基础设施带来了巨大的压力。其中，网络拥堵、可靠性和可扩展性成为亟待解决的问题。然而，传统的数据传输和集中处理面临着隐私泄露和高延迟的多重问题，为了保证数据隐私和提高计算效率，迫切需要新的方法。

结合移动边缘计算 ( Mobile Edge Computing, MEC ) 联邦边缘学习具有联邦学习的优势，是一种解决方案：移动边缘计算可以通过将资源分配到边缘节点周围来缓解骨干网络的压力，有效地减少通信延迟，缩短任务响应，有利于充分释放边缘数据的潜力；联邦学习作为一种分布式机器学习方法，在不共享原始数据的情况下，允许参与者共同训练模型，既能保护数据隐私，又能有效利用零散的数据，打破“数据孤岛”。联邦边缘学习将两者互补，支持边缘设备在当地训练机器学习模型，不仅可以保护数据的隐私和安全，还可以减轻数据传输的通信压力，只需向边缘服务器提供模型参数而不上传其原始数据即可。联邦边缘学习将两者互补，支持边缘设备在当地训练机器学习模型，不仅可以保护数据的隐私和安全，还可以减轻数据传输的通信压力，只需向边缘服务器提供模型参数而不是上传其原始数据。但在偏远山区或其他路面网络基础设施薄弱、通信条件有限的地区，通常会严重制约联邦边缘学习任务的执行。

无人驾驶飞机具有灵活性高、机动性高、响应能力快等优点，能很好地填补路面通信中存在的问题。根据联邦边缘学习任务的实际需要，无人机可以快速部署到目标环境的任何位置，充分利用空地通信的优势，与地面边缘设备建立视距通信链接。 ( Line of Sight, LOS ) ，减少信号的衰减和干扰，提供优质的通信服务。到目前为止，许多学者已经研究了无人机协助联邦边缘学习系统的不同方面。其中，有的旨在最大限度地减少通信延迟和能耗，有的旨在最大限度地提高通信安全性能。但是，对系统成本和安全系数的衡量研究较少。在资源有限的无人机辅助联邦边缘学习系统中，通信安全性能与成本支出之间通常存在矛盾关系，即要求更高的安全系数往往会导致更多的成本支出。这样可能会使联邦边缘学习系统在追求高安全性的同时，自身能耗急剧增加，从而降低整个系统的能效。有鉴于此，如何在无人机协助联邦边缘学习系统中合理分配有限的系统资源，在降低成本的同时提高安全性能，成为本文需要解决的关键问题。

针对上述问题，本文提出了基于无人机协助联邦边缘学习的安全聚集和资源改进方案，通过联合优化系统有限资源，最大限度地发挥系统的安全隐私和能效，在降低系统成本的同时提高系统隐私和安全性。具体而言，在运算通信资源的约束下，联合优化智能终端的传输带宽，CPU 无人驾驶飞机的频率、发射功率和 CPU 频率。由于动态环境复杂，连续运动空间大，传统优化算法很难解决这一优化问题。所以，本文设计了一个深层次的确定策略梯度。 ( Deep Deterministic Policy Gradient, DDPG ) 通过与环境的交互，算法可以实现联合优化变量的生成，获得系统隐私安全隐私能效的提升解。

2 系统模型

如图 1 本文所考虑的无人机协助联邦边缘学习通信系统由本文所考虑。 N 个智能终端

，M 一个恶意窃听者

和 1 架式边缘服务器的无人机组成。其中，智能终端 TDn 利用本地数据对参数进行局部训练，从无人机处接收初始全局模型参数，并将其发送回无人机。在飞行过程中，无人机对智能终端上传的局部模型参数进行了迭代收集，从而聚集了全新的联邦学习模型。恶意窃听地面的人 Em 试图通过窃听智能终端向无人机发送的模型参数来恢复其原始数据，这对智能终端的隐私和安全构成了极大的威胁。

图 1 无人机协助联邦边缘学习通信系统

如图所示，智能终端和无人机的全局迭代过程 2 可概括为三个步骤：

( 1 ) 每个智能终端使用本地数据训练本地模型；利用损失函数找到最佳的本地模型参数，然后通过梯度下降进行本地迭代更新；

( 2 ) 每一个智能终端向无人机发送更新的模型参数；

( 3 ) 无人驾驶飞机根据收集到的模型参数，对整个模型进行汇集、更新，并将其广播为每一个智能终端。

图 2 联邦学习模式

本文将通信过程中产生的延迟和能耗的加权记录为系统成本，并记录智能终端与无人机之间的数据速度和智能终端与窃听者之间的数据速度差，记录为终端设备的安全传输速度，记录安全传输速度与系统成本的比值作为系统的安全隐私能效。本文旨在提高智能终端的带宽资源，以保证基本延迟和能源消耗的约束，CPU 无人驾驶飞机的频率、发射功率和 CPU 频率，最大化无人机协助联邦边缘学习通信系统的安全隐私能效。

3 基于 DDPG 的解决方案

非线性目标函数和非突出约束使得优化问题难以解决，复杂的时变环境和高维连续运动空间也使得传统的强化学习方法面临泛化能力差、收敛速度慢等问题。

这篇文章设计了一个基础 DDPG 通过设置状态空间、动作空间、奖励函数等关键因素，算法的解决方案，以实现系统安全隐私能效最大化为目标，共同优化智能终端的传输带宽。CPU 无人驾驶飞机的频率、发射功率和 CPU 频率，引导智能体与环境进行动态交互，在实际环境过程中不断独立学习和优化策略，最后得到最好的安全聚集和资源配置方案。

图 3 DDPG 模型

DDPG 选用演员−点评家 ( actor-critic, AC ) 构造，由 actor 网络和 critic 网络构成。第一 t 次全局迭代时，actor 网络处于当前状态st 为了输入，结合噪声输出探索的确定性战略

，其中 θ u 表示 actor 在环境中执行网络参数值的动作at 之后，领取奖励 rt 以及下一种状态st 将状态转换序列 ( st, at, rt, st 1 ) 存储在经验重放缓冲区，帮助进一步训练。每隔一定的步骤从经验重放缓冲区随机抽取。 Y 一个状态转换序列组成一个小批量的样品进行训练和更新。

4 模拟结果和分析

为了验证提出的方案，本文通过代码对其进行模拟，并对其性能进行分析。

图 4 展示了智能终端总数对联邦边缘学习系统无人机协助的关键性能指标的影响。

图 4 关键性能指标在不同智能终端数量下的

由图 4 ( a ) 可以看出，智能终端的数量越多，系统的能耗就越大，因为更多的智能终端代表着更多的计算和通信交流，从而消耗更多的能量。

由图 4 ( b ) 因为所有的智能终端都是并行计算的，所以智能终端数量的增加对系统延迟影响不大。

因此在图 4 ( c ) 其中，随着智能终端数量的增加，成本支出作为系统能耗和延迟的加权和加权。

在图 4 ( d ) 由于系统的安全传输速度是所有智能终端安全传输速度的总和，因此，智能终端的数量越多，系统的安全传输速度就越大。

图 4 ( e ) 说明随着智能终端的增加，系统的安全隐私能效增加，说明本文提出的方案也可以保证多设备场景下系统的安全，提高系统的能效。

图 5 该系统的性能参数在不同权重下随着整体迭代次数的变化而变化。实验设计 3 一个不同权重大小的实验， ( 1 ) λ 1=0.2, λ 2=0.8; ( 2 ) λ 1=0.5, λ 2=0.5; ( 3 ) λ 1=0.8, λ 2=0.2。

图 5 关键性能指标 VS 全局迭代次数

由图 5 ( a ) - 图 5 ( b ) 可以看出，λ 1=0.2, λ 2=0.8 需要更多的延迟和更少的能源消耗， λ 1=0.8, λ 2=0.2 需要更多的能源消耗和更少的延迟。这是因为系统会根据时间延迟和能源消耗的重点，选择延长时间来节约能源消耗或增加能源消耗来减少时间。

图 5 ( a ) - 图 5 ( c ) 体现了整体迭代次数越多，系统的能耗和延迟就越大。这是因为随着整体迭代次数的增加，智能终端在当地进行模型训练的计算量也在增加，智能终端和无人机会更频繁地交换模型参数，从而导致更高的能耗和延迟。

在图 5 ( d ) 在这种情况下，系统的安全传输速度随着整体迭代次数的增加而增加，因为更少的整体迭代代表着系统允许更多的能耗和延迟来完成整体迭代，从而选择降低智能终端的发射功率来满足系统的约束。

图 5 ( e ) 说明系统的安全隐私能效随着整体迭代次数的增加而增加，说明在执行长期任务后，提出的方案可以保证系统的安全，降低成本。

图 6 显示了系统安全隐私能效在不同智能终端数量的无人机飞行过程中随着全局的变化而变化。由此可以看出 x=40 在此基础上，最大限度地测量系统的安全隐私能效。因为此时某智能终端与无人机相距甚近，通信环境也很好。提取 x=40 作为智能终端和无人机通信过程中最大的安全隐私能效值，时间安全隐私能效值如图所示 6 ( b ) 所示。

图 6 系统在不同智能终端数量下的最大安全隐私能效

图 7 在不同的方案下，系统的关键性能指标随着整体迭代次数的变化而变化。本文将提出的方案与两个标准方案进行比较，其中方案 1 最大限度地减少系统延迟 [ 19 ] ；方案 2 最大限度地降低系统能耗 [ 20 ] 。

图 7 对比不同战略的关键性能指标

由图 7 ( a ) 、图 7 ( b ) 可知，方案 1 所需时间延迟远低于另外两种方案，代价是产生较高的能耗，而方案 2 能源消耗很小，成本需要很大的延迟。

从图 7 ( c ) 可以看出，提出的方案的成本远远低于其它两种方案。

在图 7 ( d ) 中，方案 1 由于方案的安全传输速度略大于提出的方案， 1 为能最大限度地减少系统延迟，忽视能量消耗；而且方案 2 由于方案的安全传输速度远远小于提出的方案， 2 选择较小的发射功率，以最大限度地降低能耗，从而降低安全传输速度。

最终，图 7 ( e ) 说明策略的安全隐私能效远远大于其它方案，证明了提出的方案的有效性。

5 总结与展望

本文提出了一种基于无人机协助联邦边缘学习的安全聚集和资源改进方案，以提高数据安全传输性能，降低系统成本。在设备运算通信有限资源的约束下，联合优化智能终端的传输带宽。CPU 无人驾驶飞机的频率、发射功率和 CPU 频率，并且使用 DDPG 解决优化问题的算法，最后通过 DDPG 互联网与环境互动，自主演变，学习生成策略，获得系统安全隐私能效提升解。

在本文中，联邦边缘学习系统的通信安全可以通过功率控制来提高。下一步将考虑加密算法、差异隐私技术和区块链技术等其他隐私保护技术，加密或屏蔽联邦学习任务过程中的交流模型参数，进一步提高其隐私安全性。此外，本文还关注无人机的飞行轨迹和智能终端的固定位置，未来将考虑智能终端移动条件下的无人机轨迹与系统资源配置的联合优化设计。

▌本文来源:电子与信息学报微信微信官方账号（ID: dzyxxxb）

编辑 / 马秀强

校对 / 融媒 审批 / 陈倩

这个号码发布的消息是为了传播和交流。如果涉及到文字、照片、版权等问题，请 20 日内联系本号，我们会尽快处理。

由于平台的不同，涉及到论文内容，不可避免地会出现参数、公式格式不够准确，具体以论文原文为准。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com