简介针对无人机辅助移动边缘计算中的计算卸载优化问题包内代码提供了基于深度确定性策略梯度DDPG的完整Python实现覆盖从Actor-Critic网络构建到训练与评估的整个流程代码采用参数化编程注释清晰便于调整学习率、折扣因子等超参数也可在此基础上接入自定义网络结构。包内共17个文件压缩包仅45KB包括16个Python脚本和1个README说明文档除DDPG主程序外还额外实现了Edge_only、DQN、Local_only等对比策略模块方便研究不同卸载方案的效果差异。资源同时附有可直接运行的案例数据支持在Matlab 2014/2019a/2024a环境中调用验证适合计算机、电子信息工程、数学等专业学生用于课程设计、期末大作业或毕业设计。对于希望快速入门深度强化学习在移动边缘计算应用的研究者也可以借助该代码熟悉算法实现与实验对比方法。已有147人学习下载是兼顾学习与实战的实用工具。1. 无人机辅助移动边缘计算的计算卸载为什么默认优先试深度确定性策略梯度无人机把边缘计算节点带上天地面设备把任务卸载给它这类系统的关键决策是三个连续量卸载多少、发射功率多大、无人机算力怎么分。计算卸载优化写到这一步离散动作的 Q-learning 已经装不下连续状态深度确定性策略梯度DDPG能直接输出连续动作所以在移动边缘计算研究里几乎是默认起点的强化学习算法。这篇笔记按一套可复现的 Python 代码包来拆解从 MDP 建模、Actor-Critic 实现到训练主循环和调参避坑再到基线对比方法。正在复现论文、做毕设或者在仿真里做卸载方案验证的从业者可以直接照着改。2. 把计算卸载问题写成 MDP状态、动作、奖励三层建模顺序开写训练代码之前先想清楚一件事DDPG 只负责“给定状态输出动作”它不替你决定什么是状态也不替你定义奖励。无人机辅助移动边缘计算的卸载优化建模成马尔可夫决策过程MDP后核心就是状态空间、动作空间、奖励函数三件事。很多人一上来把十几个维度的量塞进状态向量结果训练几百个 episode 不收敛问题往往不在 DDPG而在建模这一步就已经埋了雷。另一个常见的选型疑问是为什么不用 PPO 或 DQNDQN 处理不了连续动作卸载比例、发射功率这类决策要么离散化要么就丢掉精度PPO 能处理连续动作但训练方差大、数据利用率低。在单无人机单设备的仿真场景里DDPG 的确定性策略让评估和部署都更省事这也是大量计算卸载论文拿它当基线的直接原因。下面按状态、动作、奖励的顺序说落地细节。2.1 状态空间的三条线信道、任务队列、能量状态设计我习惯按三条线组织。第一条线是信道状况地面设备到无人机的链路质量直接决定卸载划不划算。常见做法是把路径损耗换算成信道增益放进状态而不是放原始距离。城市环境里无人机与地面设备可能是视距也可能是非视距严格做法用仰角算视距概率工程上先用带附加损耗的经验公式import numpy as np def channel_gain(distance, height_uav60.0, height_dev2.0, fc2e9): 地面设备到无人机的信道增益 distance : 水平距离, 单位 m height_uav : 无人机高度, 单位 m height_dev : 设备高度, 单位 m fc : 载频, 单位 Hz 返回: 归一化信道增益, 取值 (0, 1] d3 np.sqrt(distance ** 2 (height_uav - height_dev) ** 2) # 自由空间损耗 5dB 城市环境附加损耗(工程近似) pl_db 20 * np.log10(d3) 20 * np.log10(fc) - 147.55 5.0 return 10 ** (-pl_db / 10.0)这个函数返回的增益直接作为一个状态维度。注意三点三维距离 d3 和载频 fc 的单位必须统一fc 用 Hz 而不是 kHz否则损耗差 60dB训练必翻车附加损耗 5dB 只是城市环境的近似如果你的场景是郊区或山区这个值要下调返回值本身已经是 0 到 1 之间的小数适合直接喂给网络不需要再做归一化。第二条线是任务队列任务数据量大小、每比特需要的 CPU 周期数、以及任务允许的时延上限。第三条线是能量设备剩余电量、无人机剩余电量。无人机位置坐标也可以进状态但如果你把无人机移动轨迹也交给 DDPG 输出状态里就必须带设备相对无人机的坐标否则轨迹策略学不到空间信息。整体上状态向量控制在 8 到 12 维比较合适超过 15 维又没有专门的特征工程收敛速度会明显变慢。2.2 动作空间连续动作如何映射到卸载比例和发射功率DDPG 的优势在动作连续。卸载优化里动作一般是三个卸载比例、发射功率、无人机分配给该设备的算力比例。Actor 网络最后一层用 tanh输出范围天然在 [-1, 1]所以要加一次线性映射。动态计算卸载层的接口通常就是下面这个纯函数# raw_action: actor 输出, 形状 (batch, 3), 取值 [-1, 1] def action_to_decision(raw_action, p_max1.0, f_max10e9): # 卸载比例映射到 [0, 1]: 0 表示全本地, 1 表示全卸载 offload_ratio (raw_action[:, 0] 1) / 2.0 # 发射功率映射到 [0, p_max], 单位 W tx_power (raw_action[:, 1] 1) / 2.0 * p_max # 无人机算力分配映射到 [0, f_max], 单位 Hz cpu_alloc (raw_action[:, 2] 1) / 2.0 * f_max return offload_ratio, tx_power, cpu_alloc这里有个细节值得单独说卸载比例和算力分配是百分比发射功率是绝对物理量。三者尺度不同如果直接让 Actor 输出绝对值功率维度会在梯度里占主导。常见做法是让 Actor 统一输出归一化动作在环境侧再乘物理上限也就是上面代码的写法这样 Critic 的输入尺度统一Q 值估计更稳。如果你的论文场景是“任务只能全本地或全卸载”的二元决策连续动作不能直接当离散用。常见做法是让 Actor 输出卸载倾向值再用阈值采样得到 0/1 判断但这样训练时梯度是断的。工程上的折中是把它当作 0-1 之间的软决策仿真里按比例拆分任务量既保住梯度又近似二元场景。2.3 奖励函数时延与能耗的加权不要拍脑袋奖励函数最常见的写法是负的加权和时延和能耗都要考虑def compute_reward(t_total, e_total, alpha0.7, beta0.3, deadline1.0, penalty5.0): t_total: 任务完成时延(本地与卸载按比例的加权和), 单位 s e_total: 设备与无人机总能耗, 单位 J alpha, beta: 时延与能耗权重, alpha beta 1 penalty: 超过截止时延的额外惩罚 r -(alpha * t_total beta * e_total) if t_total deadline: r - penalty return ralpha 和 beta 不要拍脑袋设。我的做法是先跑一版全本地计算策略统计时延和能耗的数量级再调整 alpha 和 beta 让两个加权项在数值上相当。小的那个权重项如果比大的小两个数量级它会被完全淹没策略最后只优化时延或只优化能耗。这个调权重的过程有点玄学但前提是量纲对齐否则 alpha0.7 根本不是“时延占七成”的意思。提示奖励里的时延和能耗都要各自除以典型最大值归一化之后 alpha 和 beta 才是真正的权衡系数。这个细节在计算卸载论文复现里极其常见属于血泪经验。3. DDPG 的 Python 代码骨架Actor-Critic、经验回放与软更新拿到一份标注 DDPG 的源码包解压后通常就是四块仿真环境、Actor-Critic 网络、回放缓冲区和训练主循环。MDP 定完之后DDPG 部分其实是一套可以复用的模板。下面给的是 PyTorch 最小实现网络宽度、深度、学习率都按无人机卸载场景的常见配置给照着跑完再接训练循环就可以出曲线。3.1 Actor 和 Critic 网络的最小定义Actor 输入状态输出动作Critic 输入状态与动作的拼接输出 Q 值。两套网络各有一份 target 副本这是 DDPG 能稳定的关键结构。import torch import torch.nn as nn class Actor(nn.Module): def __init__(self, s_dim, a_dim, hidden256): super(Actor, self).__init__() self.net nn.Sequential( nn.Linear(s_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, a_dim), nn.Tanh(), # 输出限幅到 [-1, 1] ) def forward(self, s): return self.net(s) class Critic(nn.Module): def __init__(self, s_dim, a_dim, hidden256): super(Critic, self).__init__() self.net nn.Sequential( nn.Linear(s_dim a_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, 1), ) def forward(self, s, a): return self.net(torch.cat([s, a], dim-1))参数说明hidden 取 256 在多数卸载场景够用加宽到 512 对结果提升有限但训练时间翻倍s_dim 对应状态维度a_dim 通常取 3。Actor 输出层必须接 Tanh否则动作越界后靠 clip 处理会破坏梯度Critic 是状态和动作拼接后进全连接拼接顺序没有硬性要求但训练和评估必须保持一致。容易翻车的地方在张量形状。Critic 拼接要求 s 和 a 都是二维的 (batch, dim)如果动作经过了噪声扰动噪声后的动作也要走同样的归一化再喂给 Critic否则训练时的 Q 值分布和预测时不一致评估曲线会突然劣化。这个坑在单步调试时看不出来往往要等训练几百个 episode 才暴露。3.2 经验回放与软更新两个最常被抄错的参数经验回放的作用是打断时序相关性。卸载场景里相邻两步的状态高度相关直接按顺序训练会让网络在局部反复震荡。缓冲区和软更新的实现如下from collections import deque import random class ReplayBuffer: def __init__(self, capacity100000): self.buf deque(maxlencapacity) def push(self, s, a, r, s2, done): self.buf.append((s, a, r, s2, done)) def sample(self, batch_size): batch random.sample(self.buf, batch_size) s, a, r, s2, d map(torch.stack, zip(*batch)) return s, a, r, s2, d def __len__(self): return len(self.buf) def soft_update(target, source, tau): 软更新: target tau * source (1 - tau) * target tau 太小更新慢, 太大训练不稳 for tp, sp in zip(target.parameters(), source.parameters()): tp.data.copy_(tau * sp.data (1.0 - tau) * tp.data)capacity 取 10 万单 episode 200 步时能覆盖最近几百个 episode够用。tau 常见区间是 0.001 到 0.01我一般取 0.005。抄代码时最容易错的是两处一是把 target 网络直接赋给 source二是计算 target Q 时忘了 detach。target Q 的梯度必须切断否则梯度穿过 target 网络传回训练会变成一团浆糊现象就是 Q 值震荡不收敛。3.3 探索噪声OU 噪声和高斯噪声怎么选DDPG 是确定性策略探索全靠给动作加噪声。经典论文用的是 OU 噪声带时间相关性适合惯性系统但计算卸载仿真里信道和任务每步都在随机变化时间相关性未必是优点。我的经验是信道快变时用高斯噪声方差从 0.1 起步信道慢变或还要同时学无人机轨迹的场景用 OU 噪声theta0.15、sigma0.2 是常用起点。class GaussianNoise: def __init__(self, sigma0.1, bound1.0, dim3): self.sigma sigma self.bound bound self.dim dim def sample(self): # 噪声裁剪到 [-bound, bound], 避免动作长时间贴在tanh饱和区 return np.clip(self.sigma * np.random.randn(self.dim), -self.bound, self.bound)噪声方差不是越大越好。sigma 太大动作一直在 [-1, 1] 边缘弹跳看起来在探索实际上策略权重被噪声主导学不到环境结构sigma 太小策略很快收敛到局部解后面加多少 episode 都没用。我习惯在训练后三分之一把 sigma 线性衰减到 0.02 左右兼顾探索和利用。4. 训练主循环把 DDPG 和无人机仿真环境接起来的完整流程网络和环境都齐了之后训练主循环看起来只有几十行训练稳定性却全在这几十行里。下面的代码把 Actor、Critic、target 网络、回放缓冲区串起来是无人机辅助移动边缘计算里最标准的单智能体训练流。4.1 训练主循环代码def train_ddpg(env, actor, critic, target_actor, target_critic, replay, episodes2000, max_steps200, batch_size128, gamma0.99, tau0.005, actor_lr1e-4, critic_lr1e-3): opt_a torch.optim.Adam(actor.parameters(), lractor_lr) opt_c torch.optim.Adam(critic.parameters(), lrcritic_lr) noise GaussianNoise(sigma0.1) for ep in range(episodes): state env.reset() ep_cost 0.0 for step in range(max_steps): # 确定性动作 探索噪声 action actor(state).detach().numpy() action np.clip(action noise.sample(), -1.0, 1.0) next_state, reward, done env.step(action) replay.push(state, action, reward, next_state, float(done)) ep_cost reward state next_state if len(replay) batch_size: s, a, r, s2, d replay.sample(batch_size) # 1) 更新 Critic: 拟合 TD 目标 with torch.no_grad(): a_next target_actor(s2) q_target r gamma * (1 - d) * target_critic(s2, a_next) q_pred critic(s, a) loss_c nn.MSELoss()(q_pred, q_target) opt_c.zero_grad(); loss_c.backward(); opt_c.step() # 2) 更新 Actor: 最大化 Critic 对当前动作的估值 loss_a -critic(s, actor(s)).mean() opt_a.zero_grad(); loss_a.backward(); opt_a.step() # 3) 软更新两套 target 网络 soft_update(target_actor, actor, tau) soft_update(target_critic, critic, tau) if done: break if ep % 100 0: print(fepisode {ep}, avg cost {ep_cost / (step 1):.4f})逻辑说明每步先取确定性动作加噪声环境步进得到奖励和下一状态存入回放缓冲区攒够一个 batch 后先更新 Critic 再更新 Actor最后软更新两套 target 网络。更新顺序不能反过来Actor 的梯度依赖当前 Critic 的估值先更 Actor 后更 Critic当轮梯度用的是旧 Q 值训练方差会变大。参数说明actor 学习率取 1e-4critic 学习率取 1e-3这个一低一高是刻意为之。Critic 要快速逼近 Q 值的量级Actor 要慢一点防止被不稳定的 Q 值带偏。两个学习率相等常见结果是 Critic 还没稳住Actor 已经在乱走。gamma 取 0.99 适用于步数不长的任务如果单 episode 超过 500 步可以降到 0.95 减少累计误差。4.2 仿真场景参数表环境部分按单无人机单地面设备的经典场景给一组能直接用的参数参数取值说明无人机高度60 m固定高度简化信道模型设备发射功率上限1 W动作映射的上界载频2 GHz与信道增益函数保持一致任务数据量100~500 KB每步随机采样计算密度1000 cycle/bit每比特需要的 CPU 周期无人机算力10 GHz等效 CPU 频率设备本地算力1 GHz决定卸载收益空间时延权重 alpha0.7与能耗权重 beta0.3单 episode 步数200任务到达次数训练 episode 数2000视收敛情况调整这组参数的关键在于本地算力和无人机算力拉开差距。如果两者接近卸载的收益空间很小DDPG 学出来的最优策略就是全本地训练曲线看起来“收敛”实际上白训。任务数据量范围也不宜过大100 到 500 KB 的随机采样能覆盖信道变化带来的决策差异范围再拉大单次任务的最优卸载比例分布会失衡。4.3 训练曲线怎么判读训练结束后画两条曲线episode 平均 cost即负奖励和 Critic 的 Q 值均值。cost 曲线平缓下降是好事但平缓不等于收敛。我的判断标准是用去掉噪声的 Actor 在环境里跑 100 个 episode如果评估平均 cost 和训练末期 cost 相差在 5% 以内才算真正收敛。训练曲线的锯齿状是正常的确定性策略加回放抽样天然带来波动锯齿突然消失反而要警惕那可能是动作被夹在边界上策略失去了探索能力。5. 计算卸载调参避坑五个翻车现场与排查步骤DDPG 是出了名的难调。这一章把计算卸载场景里最常见的五个坑按“现象 - 原因 - 解决”写清楚每个我都亲自踩过按顺序排查能省下大量训练时间。5.1 Q 值爆炸式增长cost 曲线直接飞天现象训练几十个 episode 后 Critic 输出几千上万的 Q 值cost 曲线不但没降反而震荡放大最后出现 NaN。原因奖励尺度太大。TD 目标里 r gamma * Q 反复累加Q 值被一层层推到天上去。计算卸载里时延是秒级、能耗是焦耳级加权和经常到几十甚至上百Critic 直接回归这个量级很容易发散。解决把奖励归一化到 [-1, 1] 附近。先统计前 200 个 episode 的原始奖励最大值再用 reward / max_abs 缩放或者按上一章的量纲对齐方法时延和能耗各自除以典型最大值。改完奖励重新训练Q 值落在个位数级别才算正常。5.2 动作长期贴在边界上tanh 饱和现象训练中打印 Actor 原始输出发现卸载比例恒等于 0 或 1发射功率恒等于上限策略完全失去区分能力。原因tanh 在 |x| 大于 2 之后梯度几乎为零。如果输出层权重初始化太大或者奖励对边界动作有利网络会“懒惰”地停在饱和区梯度消失后再也推不回来。解决把 Actor 输出层的权重初始化设成小数值比如均值为 0、标准差 0.003 的正态分布或者在奖励里给接近边界的动作加轻微惩罚比如 -0.05 * |action|逼策略回到中间区域探索。治本的办法是训练前期加大探索噪声让动作经常落到中间区域而不是只在边界附近试。5.3 奖励里加了能耗惩罚就发散现象只用时延项能收敛把能耗项加上之后训练直接发散或者策略收敛到全本地。原因能耗的数值量级和时延不匹配。时延是毫秒到秒能耗是毫焦到焦耳能耗数值大时 beta * e_total 会瞬间压过 alpha * t_total奖励被能耗主导策略全部倾向于最小能耗也就是全本地。解决统计两个量的典型范围各自除以最大值做归一化再配权重。奖励写成 -(alpha * t_norm beta * e_norm)alpha 和 beta 才真正代表时延和能耗的权衡。做完这一步加能耗惩罚项才不会反噬训练。5.4 同一份代码换随机种子结果差异巨大现象代码一行没改换一个 random seed一条收敛一条不收敛最终性能差 30% 以上。原因DDPG 对初始化和抽样随机性极度敏感计算卸载环境里信道和任务又是随机生成的种子的影响被放大。不同种子等于不同的初始策略起点这不是 bug是算法特性。解决不要只跑一个种子就下结论。至少跑 5 个种子汇报平均值和标准差。如果某个种子必炸检查环境是否用了全局随机数而没有独立 seed多进程训练时随机状态会悄悄串扰。固定 seed 的通用做法是在脚本开头一次设定 torch、numpy、random 三个库的种子。5.5 卸载率在小数点后抖策略退化成全本地现象训练后期 Actor 输出的卸载比例在 0.4 到 0.6 之间抖动评估时任务却几乎全部本地执行卸载率形同虚设。原因卸载比例接近 0.5说明 Actor 没学会区分“卸载划算”和“本地划算”的边界输出是噪声驱动的。更隐蔽的原因是 Critic 对两种决策的 Q 值区分度不够梯度信号太弱推不动策略往两端走。解决先做简化验证。固定其他变量只改信道增益看最优卸载比例的理论值是否单调变化。如果是说明状态和奖励没问题那就在 Critic 输入里加一个手工特征“当前信道下卸载与本地执行的时延差”。这个特征相当于给网络一个强先验比加宽网络有效得多在动态计算卸载层里属于性价比最高的修复手段。6. 验证技巧DDPG 和基线算法对比时先看这两个数训练完被问得最多的问题是“你的 DDPG 到底比基线好多少”我的验证习惯是评估时去掉噪声只算两个数平均加权成本以及任务超时率。def evaluate(env, actor, episodes100): costs, timeouts [], 0 for _ in range(episodes): state env.reset() ep_cost 0.0 for step in range(env.max_steps): action actor(state).detach().numpy() # 评估不加噪声 state, reward, done env.step(action) ep_cost reward if env.last_timeout: timeouts 1 costs.append(ep_cost) return np.mean(costs), timeouts / (episodes * env.max_steps)对比表至少放四行全本地计算、随机卸载、贪心卸载信道好就近全卸载、DDPG。示例结果大致是策略平均加权成本超时率全本地0.8212%随机卸载0.9118%贪心卸载0.557%DDPG0.433%很多实现只写平均成本但超时率才是无人机边缘计算里真正影响体验的指标。DDPG 如果只降平均成本而超时率不降说明奖励权重里时延的约束被能耗稀释了。我个人的习惯是每次调参只改一个变量改完先看超时率再看平均成本超时率降、平均成本升说明权重需要调整两个都降才是真正有效的改动。这个习惯帮我少踩了很多“曲线收敛、实际不可用”的坑希望帮到你。本文还有配套的精品资源点击获取