简介这是一份聚焦极地科研场景的技术文档主题是冰层厚度Transformer在冰川融化预测中的迁移学习方法面向极地科研人员、气候变化研究者以及关注Transformer落地的算法工程师。文档为1个PDF文件共28页压缩包大小约1.97MB配有完整目录和大纲支持按章节快速跳转定位。正文从极地重要性、冰川融化现状与预测挑战入手逐一阐述Transformer核心架构、冰层厚度数据清洗与插值预处理、迁移学习预训练微调策略、模型搭建与优化并包含回归与分类实验评估、北极预警系统、南极科考路线规划等实际案例。已有49人学习下载能帮助读者建立从遥感数据到预测模型的技术链路也可为气候变化跨学科研究提供参考。1. 冰层厚度 Transformer 迁移学习解决的不是“跑通模型”而是“数据不够怎么用上 Transformer”极地实测冰厚数据往往来自几百个钻孔和几条雷达测线单条序列长度不过三四十年。直接端到端训练一个高容量 Transformer即便换成 LSTM也会被样本量拖入过拟合。问题本质是观测手段在个别站点上越来越密集时间跨度和空间覆盖却远不如大气再分析数据。这就给迁移学习留出了入口——用模拟冰厚或邻近区域的高密度测线训练一个通用编码器再把注意力权重迁移到目标冰川上微调。本文尝试从工程角度把这条路打通从序列构造、最小模型实现、自监督预训练到目标域微调的完整流程以及一套可复现的评估方法。适合已经掌握 PyTorch 基础、想将时序 Transformer 模型落地到遥感产品或极地工程研究中的工程师和算法同学。2. 冰厚序列的数据改造从稀疏测点构造 Transformer 可读的监督样本2.1 原始观测为什么不能直接喂给 Transformer在极地科研支持场景里冰层厚度数据有很强的“非均衡”特征探地雷达沿测线给出密集厚度点但季节采样不均匀冰钻能给出年分辨率但只有单个点卫星高度计或重力反演产品给出格网但近岸和冰裂隙区域无效值多。更麻烦的是不同来源的厚度存在系统性偏差比如雷达雪厚与钻探密度换算不一致。我一般会在进入建模前先做两项处理统一到月粒度用线性插值补齐小于 3 个月的缺口再按测区做分位数标准化把不同量级的厚度序列归到同一分布。这一步不是为了展示技巧而是因为 Transformer 的注意力计算对特征尺度非常敏感数值大的通道会主导注意力权重。极地序列还有一个容易忽略的问题时间点并不等距。夏季融化期和冬季积累期的观测密度差异很大如果不重采样注意力机制会错误地把相邻观测当作相同时间间隔。常见做法是先按自然月聚合成厚度均值缺失月份用前后一个月线性插值。对于连续缺失超过 3 个月的部分我倾向于截断而不是强行插值因为冰厚在夏季强消融阶段可能发生非线性变化插值会抹掉融化事件本身。2.2 用滑动窗口切出 (输入窗口, 预测目标) 样本Transformer 处理的是离散序列输入应当是形状为(batch, seq_len, feature_dim)的张量。这里seq_len是回看窗口长度feature_dim是厚度、温度、消融量等特征数。下面这个函数把一个站点的时间序列切成有监督样本import numpy as np def make_windows(features: np.ndarray, seq_len: int, pred_len: int, step: int 1): 把多维时间序列切成 (输入窗口, 输出窗口) 的监督样本。 features: 形状 (T, D)T 为时间长度D 为特征维度 seq_len: 输入回看窗口长度 pred_len: 预测未来长度 step: 滑动步长 X, y [], [] for i in range(0, len(features) - seq_len - pred_len 1, step): X.append(features[i:i seq_len]) y.append(features[i seq_len:i seq_len pred_len, 0]) # 0 号特征是冰厚 return np.stack(X), np.stack(y)这里三个参数直接决定训练样本量seq_len24表示输入两年月度数据pred_len3表示预测未来三个月厚度step1会让样本之间高度重叠序列间有强相关容易放大过拟合。目标站点只有 30 年数据时step1能产生三百多条样本勉强够一个小型 Transformerstep6则降到几十条基本无法训练。因此当样本量不足时模型容量需要同步减小后面迁移学习部分会换成“源域样本够多、目标域样本少”的范式。训练集和验证集必须按时间顺序切分不能随机打乱否则模型会提前看到未来年份的厚度变化。我通常按 8:2 切分最近两年作为验证集这一原则在后续所有实验里保持不变。2.3 时间特征与协变量让注意力看到“季节”和“年际信号”Transformer 本身没有循环结构对序列顺序不敏感位置编码是必需的。冰厚序列里同时存在强季节周期和多年尺度趋势单单加一个正弦位置编码并不能完整表达“这是 6 月还是 1 月”的信息。更有效的做法是把时间特征作为显式协变量和厚度一起送入模型。下表是常用的输入特征组合特征组示例字段预处理厚度月均冰层厚度线性插值、log1p 压缩动态范围温度地表平均温度z-score 标准化消融正积温或冰雪融水量累计取对数时间年序与年内日序sin/cos 周期编码或可学习嵌入我一般在入模前把“年内日序”拆成sin(2π*doy/365.25)和cos(2π*doy/365.25)这样 12 月与 1 月的连续性不会因数值跳跃而被切断。年际变化则用“相对年份”作为另一个协变量帮助模型区分长期趋势和年际异常。时间戳协变量不一定要很多但必须有否则注意力很难区分冬季和夏季的相似厚度形态。3. 一版能跑通的冰厚预测 Transformer编码器加线性预测头3.1 注意力机制为什么适合年际尺度的厚度变化冰厚变化中存在典型的“长程依赖”和“点状影响”。比如某一年夏季极端高温可能导致接下来两三个融化季的厚度持续减少这种影响不是平滑地滑动到未来而是由一个离散事件触发。LSTM 需要将冲击逐步写入隐状态时间跨度过长时早期信号会衰减Transformer 的注意力可以在一层之内建立任意时间步之间的连接直接关注三年前的那个高温事件。另一个实际原因是训练效率。预训练阶段会用到区域模拟输出数据量可以到几万个窗口。Transformer 可以在 GPU 上高并行地处理这些窗口训练速度远快于循环网络。但代价是参数量更大因此数据量不足时表现反而不如线性模型这也正是引入迁移学习的核心动机。3.2 最小实现IceThicknessTransformer先给出一个能直接跑通的 PyTorch 实现。它由输入投影、位置编码、TransformerEncoder 和线性预测头组成没有引入 decoder适合小样本场景import torch import torch.nn as nn class IceThicknessTransformer(nn.Module): def __init__(self, feature_dim: int 4, d_model: int 64, nhead: int 4, num_layers: int 3, dim_feedforward: int 128, dropout: float 0.1, pred_len: int 3): super().__init__() self.input_proj nn.Linear(feature_dim, d_model) # 可学习位置编码最大支持 1000 步 self.pos_encoder nn.Parameter(torch.randn(1, 1000, d_model) * 0.02) encoder_layer nn.TransformerEncoderLayer( d_modeld_model, nheadnhead, dim_feedforwarddim_feedforward, dropoutdropout, batch_firstTrue, activationgelu ) self.encoder nn.TransformerEncoder(encoder_layer, num_layersnum_layers) self.decoder_head nn.Sequential( nn.Linear(d_model, 16), nn.GELU(), nn.Linear(16, pred_len) ) def forward(self, x): # x: (B, L, D) x self.input_proj(x) x x self.pos_encoder[:, :x.size(1)] x self.encoder(x) # 取最后一个时间步的编码向量作为序列表示 pooled x[:, -1] return self.decoder_head(pooled)注意batch_firstTrue让输入输出都是(batch, seq_len, feature_dim)这样和数据集张量的形状更一致。当前位置编码是可学习参数随机初始化幅度为 0.02比默认小标准差初始化对预训练更友好。前面输入投影把原特征映射到 d_model 维空间后面的 TransformerEncoder 在内部做多头自注意力与前馈计算。关于“取最后一个时间步”而不是对所有时间步做平均从物理含义看我们要预测未来最新的一个状态承载了最近的融化或积累状态平均池化会把早期信息拉进来反而稀释了当前状态的信号。测试中最后一个时间步的预测误差通常更小。预测头是一个两层 MLP因为冰厚未来趋势在短期内接近线性简单头部更容易迁移不容易记住源域特有噪声。以下是参数选择的经验值参数建议值说明d_model32~128隐藏维度目标域样本少时选 32 或 64nhead2~8注意力头数必须能整除 d_modelnum_layers2~4编码器层数样本少于 1000 时选 2dim_feedforward4×d_model前馈网络中间维度dropout0.1~0.3目标域数据小则提高 dropout3.3 训练时容易被忽略的三个参数优化器建议用 AdamW 而不是 Adam权重衰减设为 1e-2 到 5e-2。地学序列里有些极端事件会造成损失尖峰时我习惯在梯度裁剪里设max_norm1.0避免单条样本把整个表征空间带偏。batch size 不需要太大16 到 64 比较合适。太大时一个 batch 里不同站点的厚度分布差异反而会让注意力权重不稳定。学习率从 1e-3 起步验证损失连续 5 个 epoch 不下降就乘以 0.5这是最省心的调度方式。4. 迁移学习两步走区域模拟冰厚预训练目标冰川微调4.1 源域和目标域怎么选数据分布差异是核心迁移学习的第一个问题不是模型结构而是“预训练数据从哪里来”。常见做法是用区域气候模式输出的冰厚模拟数据作为源域比如极地地区常用的区域大气模式输出再叠加邻近区域多条雷达测线的实测序列。源域样本数可能达到数万条足够支撑一个 3 层 Transformer。选择源域时不能只看数据量还要看特征字段是否对齐。如果目标域只有厚度和温度两个特征预训练输入就不能用消融量否则微调时输入维度对不上。我一般的做法是先在目标域上确定最终特征组合再用同一套特征构造源域数据。源域模拟数据与实测数据之间通常存在系统偏差因此预训练阶段不要直接预测绝对厚度而是把目标函数设计为“重建标准化后的厚度相对变化”。4.2 自监督预训练掩码重建替代有监督预训练直接让模型在源域上预测未来厚度再迁移到目标域效果往往不稳定因为源域的融化趋势和目标域不同模型会把对未来数值的偏移偏见带过来。更稳妥的是借鉴 BERT 的掩码语言建模思路随机遮住部分时间步的厚度输入让模型重建这些位置的值。这样学到的是“厚度序列内部的时间相关性”而不是某种特定外部强迫下的绝对预测。def pretrain_one_epoch(model, loader, optimizer, mask_ratio0.15): criterion nn.MSELoss() for x, _ in loader: # x: (B, L, D)D 中第 0 列是厚度 mask torch.rand_like(x[:, :, 0]) mask_ratio x_masked x.clone() x_masked[:, :, 0][mask] 0 # 遮掉厚度通道 target x[:, :, 0].clone() # 预训练时把输出头替换为重建头 seq_len pred model.decoder_head(x_masked) # 输出 (B, L) loss criterion(pred[mask], target[mask]) optimizer.zero_grad() loss.backward() optimizer.step()这段代码里有个关键点预训练时要把decoder_head的输出维度临时替换为seq_len因为它现在需要输出输入序列每个位置的重建值。微调时再换回pred_len维度的预测头。计算损失时只统计被 mask 的位置未遮挡位置不产生梯度强迫模型结合相邻月份和协变量推断缺失的厚度。由于冰厚时间序列具有极强的季节自相关模型必须区分真正的季节振荡和异常融化事件这种重建任务比简单的下一点预测更有信息量。4.3 微调策略冻结底层、小学习率、选择性解冻预训练完成后就要把模型迁移到目标冰川站点。最直接的方式是加载权重后用目标数据全量微调但目标站点只有几百条样本时全量微调很快会把预训练学到的通用表示破坏掉。较为可靠的策略是冻结输入投影层和前两层编码器只微调最后两个编码器层和输出头。# 替换预测头 model.decoder_head nn.Linear(d_model, pred_len) for name, p in model.named_parameters(): if input_proj in name or encoder.layers.0 in name or encoder.layers.1 in name: p.requires_grad False optimizer torch.optim.AdamW( filter(lambda p: p.requires_grad, model.parameters()), lr1e-4, weight_decay1e-2 )这里的逻辑是底层编码器负责将原始特征投影到通用表示空间它与物理变量单位、数值范围的关系更强跨区域变化不大高层编码器则更多编码站点特有的融化节奏需要重新适应。学习率从预训练的 1e-3 降到 1e-4是避免微调早期把注意力权重扯离原结构。如果目标站点完全没有实测标签可以退一步做直推式迁移学习用预训练模型预测目标站点所有时间点的厚度选高置信度样本当作伪标签再进入微调流程。这个做法在极地任务里比较少见因为大多数冰川至少有几个钻孔标记但如果你面对的是无站点覆盖的航线数据它是唯一可行方案。下表给出几种迁移策略的选择逻辑策略适用场景主要风险从头训练样本量足够大训练慢、预训练收益为零预训练后全量微调中等样本破坏预训练表示预训练后冻结底层极小样本高层欠拟合直推式伪标签微调目标域无标注误差随迭代传播5. 用 CRPS 和滚动回测评估迁移效果再谈一个容易忽略的冻结技巧5.1 CRPS 用于概率预测而不是只看平均值RMSE 只能衡量预测均值与观测值的偏差但冰川融化预测更关心极端年份的分布尾部和不确定性。CRPS 比较预测累积分布函数与真实观测之间的面积同时惩罚偏差与过度自信。实现时可以用 ensemble 预测样本来近似import numpy as np def crps(y_true: float, samples: np.ndarray) - float: samples 是模型多次 MC Dropout 或 ensemble 预测样本 qs np.linspace(0.05, 0.95, 91) cdf_hat np.quantile(samples, qs) cdf_true (y_true cdf_hat).astype(np.float32) return np.trapezoid((cdf_hat - cdf_true) ** 2, qs)cdf_hat是预测样本分布的分位数向量cdf_true看起来不太标准但在实现中可以用逐步比较近似出真实观测在预测分布中的位置。这个指标对总和预测分布的形状和位置更敏感比 RMSE 更能区分两种迁移模型的差异。5.2 冻结层的选择先冻结输入投影别急着冻结浅层很多迁移学习教程会建议冻结前若干层但在冰厚序列模型里第一层input_proj是原始特征进入高维空间的唯一入口。它记忆了源域数据的数值范围与协变量关系直接在线微调很容易让整个模型在少数目标样本上发生偏移。我的做法是两阶段解冻先把input_proj和底层编码器冻结以 1e-4 学习率训练输出头 5 个 epoch让新替换的decoder_head先适应目标域表示然后解冻input_proj用 1e-5 学习率对整个模型做 10 个 epoch 的缓慢适应。这种“先调头、再调映射”的顺序比一次性冻结底层稳定得多。验证方式上把目标站点最后三年留作测试对从头训练模型、预训练加微调模型、两阶段解冻模型分别计算验证 CRPS。两个模型用完全相同的窗口划分与超参数唯一变量是迁移策略。如果迁移有效预训练模型的验证集 CRPS 应当明显低于从头训练且两阶段解冻优于单阶段冻结。你可以把验证集 CRPS 最低的 checkpoint 作为线上预测模型并在下一年观测数据到达后重新执行几行微调而不是每次从零训练。本文还有配套的精品资源点击获取