化学AI 的进阶路上Transformer 是绕不开的一层地基。从 SMILES 序列到分子图从性质预测到逆合成分析几乎所有基于深度学习的分子建模大模型底层都依赖自注意力机制对原子、化学键和分子上下文进行表示学习。很多初学者看完《Attention Is All You Need》后仍然无法动手原因是学习路径没有按工程落地去设计先读原理再写最小代码然后设计分子表示最后复现论文并排查问题。这篇文章就按照这条主线把 Transformer 在分子建模中的完整学习路径拆开讲透。读完可以独立完成一个分子性质预测的最小训练闭环也知道复现论文时最容易在哪个环节出问题。1. 为什么化学AI研究者必须把 Transformer 原理吃透1.1 从语言模型到分子序列Transformer 迁移到化学领域的底层逻辑Transformer 最初是为机器翻译设计的序列到序列模型。它把句子中的每个词映射成一个向量通过自注意力机制计算任意两个词之间的关系。分子建模领域发现很多分子表示也可以看成序列或图结构SMILES 字符串、SELFIES 字符串、IUPAC 名称本质上都是字符序列分子图则是原子和化学键组成的图结构。这种相似性让 Transformer 可以直接迁移到化学任务。SMILES 字符串中的每个字符或每个原子 token 可以被当成“分子中的词”自注意力可以建模分子中相距很远的原子之间的长程依赖。比如一个苯环上的取代基可能影响几十个原子之外的活性位点传统 GNN 需要堆叠多层才能把信息传播到远处而 Transformer 的一层注意力就可以让任意两个原子直接交互。迁移的核心逻辑是化学任务需要捕捉原子之间的上下文关系自注意力恰好提供了一个基于输入内容的动态关系建模机制。这也是为什么当前主流分子大模型如 MolT5、ChemBERTa、Uni-Mol 都采用了 Transformer 家族结构。1.2 分子建模任务里 Transformer 到底在拟合什么要理解 Transformer 的作用不能只停留在“多头注意力很强”这个模糊印象上。分子建模任务里Transformer 在学习三类信息第一是原子的局部语义。每个原子 token 经过嵌入层得到向量这个向量要能区分碳、氮、氧、氯等不同元素的化学属性。第二是原子之间的全局关系。自注意力权重会告诉模型当前原子在决定最终性质时应该重点参考哪些原子。例如预测 LogP 时模型可能学习关注疏水基团预测毒性时模型可能学习关注容易发生反应的官能团。第三是分子级特征聚合。Transformer 最后一层输出的序列表示通过池化或 CLS token 聚合成一个固定长度的分子向量这个向量被下游的回归头或分类头用来预测性质。可以这样理解Transformer 在分子建模中替代了传统分子指纹的功能。传统 ECFP 指纹是预定义的、离散的、不可学习的Transformer 学习到的分子表示是数据驱动的、连续的、可以针对目标任务调整的。1.3 容易误解的三个关键点第一注意力不是一种固定的全连接层。全连接层的权重在训练后固定而注意力权重是根据当前输入动态计算的。分子中两个原子是否产生强关联取决于它们当前的特征和上下文不是每个分子都使用同一套依赖关系。第二位置编码在分子里不一定表示绝对位置。序列模型需要位置编码来区分字符顺序但 SMILES 中的位置只是字符串中的偏移并不等于化学上的空间位置。所以在分子 Transformer 中位置编码可以理解成一种 token 顺序提示模型不一定非要在语义上把它当成真实的 3D 坐标。第三Transformer 不是一个单一模型而是一个架构家族。分子建模中的 Transformer 包括 encoder-only、decoder-only、encoder-decoder、graph Transformer、geometry Transformer 等多种变体。复现论文之前必须先确认目标论文用的是哪一种结构否则代码会和论文对不上。2. 学习路径第一阶段把 Transformer 核心机制拆开再看代码2.1 多头注意力机制的最小实现学习 Transformer 不建议直接跳到 Hugging Face 的封装代码。先自己实现 scaled dot-product attention搞清楚 Q、K、V 三个矩阵从哪里来缩放因子为什么存在然后再看多头封装。单头注意力的核心计算分四步输入 X 分别乘上权重矩阵 W_Q、W_K、W_V得到 Query、Key、Value。计算 Query 和 Key 的点积得到注意力分数。除以 sqrt(d_k) 进行缩放防止点积值过大导致 softmax 进入饱和区。softmax 归一化后乘以 Value得到加权后的输出。最小实现如下这段代码可以直接在 Jupyter 或命令行中运行import torch import torch.nn as nn import torch.nn.functional as F def scaled_dot_product_attention(query, key, value, maskNone): d_k query.size(-1) scores torch.matmul(query, key.transpose(-2, -1)) / torch.sqrt(torch.tensor(d_k, dtypetorch.float32)) if mask is not None: scores scores.masked_fill(mask 0, float(-inf)) attention_weights F.softmax(scores, dim-1) output torch.matmul(attention_weights, value) return output, attention_weights # 测试batch_size2, num_heads1, seq_len4, d_k8 q torch.randn(2, 1, 4, 8) k torch.randn(2, 1, 4, 8) v torch.randn(2, 1, 4, 8) out, attn scaled_dot_product_attention(q, k, v) print(out.shape) # torch.Size([2, 1, 4, 8]) print(attn.shape) # torch.Size([2, 1, 4, 8])mask 参数是关键。在分子建模中padding 位置必须被 mask 掉否则模型会把无效 token 也当成真实原子参与注意力计算。后面排查部分还会专门讲这个问题。多头注意力就是把上述操作拆成多个头并行计算。每个头有独立的 W_Q、W_K、W_V输出后再拼接起来过一层线性变换。多个头的价值在于每个头可以关注不同维度的化学关系一个头关注原子近邻一个头关注杂原子一个头关注环结构。这种并行分工是单头注意力无法做到的。2.2 位置编码和残差结构在分子特征上的作用Transformer 自注意力本身没有顺序概念。如果输入只是原子向量集合模型无法知道 token 的先后顺序。位置编码的作用是在 token 向量中加入顺序信息。标准 Transformer 使用正弦位置编码def sinusoidal_position_encoding(seq_len, d_model): pe torch.zeros(seq_len, d_model) position torch.arange(0, seq_len, dtypetorch.float32).unsqueeze(1) div_term torch.exp(torch.arange(0, d_model, 2).float() * (-torch.log(torch.tensor(10000.0)) / d_model)) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) return pe pe sinusoidal_position_encoding(50, 64) print(pe.shape) # torch.Size([50, 64])在分子任务中位置编码不一定要使用正弦编码。可以使用可学习位置编码也可以在复现论文时使用相对位置编码。如果复现的是 ChemBERTa可以直接用 Hugging Face 默认的绝对位置编码如果复现的是 Graph Transformer位置信息来自图的邻接结构和拉普拉斯特征不是序列位置。残差结构和 LayerNorm 的作用是让深层模型可控地训练。每层 Transformer 块都包含两个子层每个子层后面都做 Add Normclass TransformerBlock(nn.Module): def __init__(self, d_model, nhead, dim_feedforward, dropout0.1): super().__init__() self.self_attn nn.MultiheadAttention(d_model, nhead, dropoutdropout, batch_firstTrue) self.linear1 nn.Linear(d_model, dim_feedforward) self.linear2 nn.Linear(dim_feedforward, d_model) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.dropout1 nn.Dropout(dropout) self.dropout2 nn.Dropout(dropout) def forward(self, src, src_maskNone, src_key_padding_maskNone): x src x x self.dropout1(self.self_attn(x, x, x, attn_masksrc_mask, key_padding_masksrc_key_padding_mask)[0]) x self.norm1(x) x x self.dropout2(self.linear2(F.relu(self.linear1(x)))) x self.norm2(x) return x第一行x x ...是残差连接保证梯度可以从顶层直接传导到底层。normalization 放在残差之后的是 Post-LN 结构放在子层之前的是 Pre-LN 结构很多现代分子模型使用 Pre-LN训练更加稳定。复现论文时要注意这个细节它会影响训练收敛速度。2.3 先用 PyTorch 自带 Transformer 跑通再手写版本手写一遍注意力之后日常开发可以用 PyTorch 自带模块。这样既理解原理又不会在工程上重复造轮子。建议的学习顺序是先手动实现单头注意力再手动实现一个 TransformerBlock然后用nn.TransformerEncoderLayer跑通一个序列分类任务最后再回来研究源码中 mask 的类型和语义。以下是用 PyTorch 内置层构造一个简单分子序列编码器的示例import torch.nn as nn class SimpleSequenceEncoder(nn.Module): def __init__(self, vocab_size, d_model64, nhead4, num_layers2, max_len128): super().__init__() self.embedding nn.Embedding(vocab_size, d_model) self.pos_embedding nn.Embedding(max_len, d_model) encoder_layer nn.TransformerEncoderLayer( d_modeld_model, nheadnhead, dim_feedforward128, dropout0.1, batch_firstTrue, activationrelu ) self.encoder nn.TransformerEncoder(encoder_layer, num_layersnum_layers) def forward(self, token_ids, padding_maskNone): seq_len token_ids.size(1) positions torch.arange(seq_len, devicetoken_ids.device).unsqueeze(0) x self.embedding(token_ids) self.pos_embedding(positions) return self.encoder(x, src_key_padding_maskpadding_mask)这里用nn.Embedding做可学习位置编码比正弦编码更简单也足够应付中小规模分子数据。跑通之后再尝试替换成相对位置编码或空间注意力就能自然过渡到分子建模模型。3. 学习路径第二阶段从标准 Transformer 过渡到分子建模3.1 分子表示方法决定模型结构分子建模的第一步不是写代码而是选分子表示方式。表示方式直接决定模型用序列 Transformer、图 Transformer 还是几何 Transformer。表示方式数据结构代表性模型思路优点缺点SMILES 字符串字符序列ChemBERTa、MolT5可直接复用 NLP 技术字符串顺序存在不唯一性需要规范化和增强SELFIES字符序列分子生成模型保证语法合法词典构造与应用不如 SMILES 直观分子图图结构Graph Transformer、GPS表达天然符合分子的拓扑结构需要额外构造图特征与邻接信息3D 坐标点云/几何图Uni-Mol、SE(3)-Transformer能利用空间构象信息需要高质量 3D 构象计算成本高初学阶段建议从 SMILES 入手。SMILES 表示简单、数据量大、预处理工具成熟而且是复现 ChemBERTa 等论文的主力表示。等理解了自注意力如何作用于序列再过渡到图结构和 3D 结构。3.2 分子 tokenizer 与嵌入层改造SMILES 不能像英文一样按空格分词。需要基于化学语义构建 tokenizer。最简单的方式是按字符切分每个字符成为一个 token例如CC(O)O会被切分为[C, C, (, , O, ), O]。更合理的方式是使用基于 BPE 的分子 tokenizer把常见原子组合如Cl、Br、[nH]合并成一个 token。构造 tokenizer 的最小流程如下from collections import Counter def build_vocab(smiles_list, special_tokensNone): counter Counter() for smi in smiles_list: counter.update(list(smi)) vocab {pad: 0, unk: 1, s: 2, /s: 3} if special_tokens: for token in special_tokens: vocab[token] len(vocab) for char, _ in counter.most_common(): if char not in vocab: vocab[char] len(vocab) return vocab # 示例 smiles_pool [CC(O)O, c1ccccc1, CCO] vocab build_vocab(smiles_pool, special_tokens[Cl, Br]) print(vocab)这里把Cl和Br加入特殊 token 是为了处理双字符元素。如果不处理模型会把Cl拆成C和l导致l作为低频 token 出现分词语义就会被破坏。嵌入层改造时除了常规的 token embedding 和 position embedding很多分子模型还会加入额外的化学特征 embedding比如原子在分子中的度数、是否是芳香原子、是否在环上。这些特征可以作为 embedding 向量直接加到 token embedding 上也可以用单独编码送入后续层。3.3 为什么自注意力可以替代分子指纹传统分子指纹如 ECFP、MACCS是分子相似性搜索和性质预测的经典工具。ECFP 的每个 bit 对应一个圆形子结构片段是否存在。但指纹是固定规则无法针对具体任务调整而且维度大、稀疏、包含大量冗余信息。Transformer 学习的分子表示可以看作一种可学习的连续分子指纹。自注意力层的输出经过池化后得到一个固定维度的向量这个向量不仅编码了原子类型也编码了原子之间的关系。更重要的是这个表示可以通过反向传播针对下游任务优化。预测 LogP 和预测毒性时模型会形成不同偏好的分子表示。这里要纠正一个常见误区并不是说 Transformer 一定在所有分子任务上都超过 ECFP XGBoost。在数据量很小、任务简单时传统指纹加上树模型可能更稳定。Transformer 的优势在数据量大、任务复杂、需要泛化到新分子骨架的场景比如分子生成、性质预测、反应预测等。4. 学习路径第三阶段论文复现的完整流程4.1 选论文和数据集初学阶段复现什么最合适不建议一上来就复现动辄几十亿参数的 MolT5 或 Uni-Mol。初学复现的目标是打通流程建议选择符合以下条件的模型基于 encoder-only 结构适合分子性质预测。参数量在 1 亿以内单卡可以训练。有公开数据集和基准可以对比结果。论文中开源了代码或足够详细的超参数设置。典型选择是 ChemBERTa。它基于 RoBERTa 架构把 SMILES 作为输入训练一个分子级表示模型然后在下游性质预测任务上微调。下文示例不保证复现 ChemBERTa 的原始全部细节而是提供一个可运行的轻量级分子 Transformer 实现用于理解论文中的核心模块。正式复现前需要去论文或官方仓库核对版本、数据集划分和超参数。数据集方面可以用 ESOL 或 FreeSolv。ESOL 是水溶性数据集包含约 1100 多个分子适合快速迭代FreeSolv 约 640 个分子预测水合自由能。如果只是学习流程用小数据集能更快看到损失下降和指标变化。4.2 环境准备与依赖版本推荐使用 Linux 环境或 Windows WSL2。PyTorch 版本不要追求最新要匹配 CUDA 驱动。以下是一组常见可用组合实际安装前先运行nvidia-smi确认 CUDA 版本依赖版本建议用途Python3.9 或 3.10运行环境PyTorch2.x 配合 CUDA 11.8/12.1深度学习框架RDKit2023.9 或更新分子读取与标准化pandas2.x数据表处理numpy1.24 或更新数值计算scikit-learn1.3 或更新数据划分与指标tqdm4.66训练进度显示安装示例conda create -n chem-transformer python3.10 -y conda activate chem-transformer pip install torch --index-url https://download.pytorch.org/whl/cu121 pip install rdkit pandas numpy scikit-learn tqdmRDKit 也可以用 conda 安装conda install -c conda-forge rdkit安装完成后用一段简单代码验证环境import torch from rdkit import Chem from rdkit.Chem import Draw print(PyTorch:, torch.__version__) print(CUDA available:, torch.cuda.is_available()) mol Chem.MolFromSmiles(CC(O)O) print(SMILES parsed:, mol is not None)4.3 从零实现一个轻量级分子 Transformer这个示例实现一个用于分子性质预测的 encoder-only Transformer输入 SMILES输出一个浮点数值回归任务。结构包括 tokenizer、embedding、多头注意力编码器、池化层和回归头。import torch import torch.nn as nn import torch.nn.functional as F import math class MoleculeTransformer(nn.Module): def __init__(self, vocab_size, d_model64, nhead4, num_layers3, dim_feedforward128, max_len128, dropout0.1): super().__init__() self.token_embedding nn.Embedding(vocab_size, d_model, padding_idx0) self.pos_embedding nn.Embedding(max_len, d_model) encoder_layer nn.TransformerEncoderLayer( d_modeld_model, nheadnhead, dim_feedforwarddim_feedforward, dropoutdropout, activationgelu, batch_firstTrue, norm_firstTrue ) self.encoder nn.TransformerEncoder(encoder_layer, num_layersnum_layers) self.regression_head nn.Sequential( nn.Linear(d_model, d_model), nn.GELU(), nn.Dropout(dropout), nn.Linear(d_model, 1) ) def forward(self, token_ids, padding_maskNone): # token_ids: (batch, seq_len) seq_len token_ids.size(1) positions torch.arange(seq_len, devicetoken_ids.device).unsqueeze(0) x self.token_embedding(token_ids) self.pos_embedding(positions) x self.encoder(x, src_key_padding_maskpadding_mask) # 对非 padding 位置做 mean pooling if padding_mask is not None: mask (~padding_mask).unsqueeze(-1).float() x (x * mask).sum(dim1) / mask.sum(dim1).clamp(min1e-9) else: x x.mean(dim1) return self.regression_head(x).squeeze(-1)padding_idx0让 embedding 层在所有 padding 位置输出零向量。norm_firstTrue采用 Pre-LN 结构训练更稳定。池化方式使用 mean pooling并配合 padding mask避免被占位符拖低分子表示。预训练模型一般会用 CLS token 或 attention pooling但初学阶段 mean pooling 已经足够。4.4 训练、验证、测试的闭环训练需要完成数据加载、mask 构造、优化器设置、早停和模型保存。下面给出一个可缩小规模的训练函数框架from torch.utils.data import Dataset, DataLoader from rdkit import Chem class SMILESDataset(Dataset): def __init__(self, smiles_list, targets, vocab, max_len128): self.smiles_list smiles_list self.targets targets self.vocab vocab self.max_len max_len def encode(self, smi): tokens list(smi)[:self.max_len] ids [self.vocab.get(t, self.vocab[unk]) for t in tokens] ids ids [0] * (self.max_len - len(ids)) return torch.tensor(ids, dtypetorch.long) def __len__(self): return len(self.smiles_list) def __getitem__(self, idx): smi self.smiles_list[idx] target torch.tensor(self.targets[idx], dtypetorch.float32) token_ids self.encode(smi) padding_mask token_ids 0 return token_ids, padding_mask, target训练循环如下def collate_fn(batch): token_ids torch.stack([item[0] for item in batch]) padding_masks torch.stack([item[1] for item in batch]) targets torch.stack([item[2] for item in batch]) return token_ids, padding_masks, targets # 假设 trainset 是构造好的 Dataset train_loader DataLoader(trainset, batch_size64, shuffleTrue, collate_fncollate_fn) model MoleculeTransformer(vocab_sizelen(vocab)) optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-5) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max50) criterion nn.MSELoss() for epoch in range(50): model.train() total_loss 0.0 for token_ids, padding_masks, targets in train_loader: optimizer.zero_grad() preds model(token_ids, padding_masks) loss criterion(preds, targets) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() total_loss loss.item() scheduler.step() print(fEpoch {epoch1}, Loss: {total_loss / len(train_loader):.4f})训练时加上梯度裁剪是为了防止深层 Transformer 梯度爆炸。即便有 LayerNorm分子序列长度差距大时偶尔也会出现梯度异常。5. 运行验证与结果分析5.1 训练过程需要观察哪些指标分子性质预测是回归任务时核心指标是 RMSE、MAE、R²。但训练过程中不能只看测试集指标要同时观察训练集和验证集的变化判断是否过拟合。观察对象指标判断方法训练损失MSE应随 epoch 稳定下降波动过大说明学习率偏高验证损失MSE若 epoch 后期持续上升说明过拟合测试集指标RMSE / MAE / R²只在训练结束后评估避免信息泄漏参数梯度范数grad norm若出现 nan 或极端值说明梯度爆炸或学习率过大训练完成后的评估代码from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score model.eval() all_preds [] all_targets [] with torch.no_grad(): for token_ids, padding_masks, targets in test_loader: preds model(token_ids, padding_masks) all_preds.extend(preds.tolist()) all_targets.extend(targets.tolist()) rmse mean_squared_error(all_targets, all_preds, squaredFalse) mae mean_absolute_error(all_targets, all_preds) r2 r2_score(all_targets, all_preds) print(fRMSE: {rmse:.3f}, MAE: {mae:.3f}, R2: {r2:.3f})小数据集上 RMSE 波动很大这是正常的。如果指标和论文差很多优先检查数据划分方式而不是模型结构。论文通常使用 scaffold split而随机划分会让简单模型表现比论文更好。5.2 为什么分子任务的注意力可视化是必要的注意力可视化不是花哨的装饰而是验证模型是否学到化学语义的重要手段。提取模型某一层的注意力权重可以观察模型在预测某种性质时重点关注的原子attention_weights [] def hook_fn(module, input, output): # 对于 nn.MultiheadAttentionoutput 是 (attn_output, attn_weights) attention_weights.append(output[1].detach()) # 在某个 TransformerBlock 的 self_attn 上注册 hook encoder_block model.encoder.layers[0] encoder_block.self_attn.register_forward_hook(hook_fn)对于输入CC(O)O如果模型预测酸性和 pKa 相关性质可视化后应当看到羧基的 O 原子和 H 原子获得较高注意力权重。如果模型完全随机关注所有原子说明模型没有学到有效模式可能是数据量不足或任务设计不合理。注意不要只验证模型能启动还要验证模型真正关注了化学上合理的原子。这是分子建模与普通 NLP 任务在验证阶段最大的区别。5.3 基线对比不能只看准确率复现论文时需要建立基线才能判断模型改进是否真实。分子性质预测的常见基线包括基线方法优点局限分子描述符 随机森林简单、稳定、适合小数据依赖特征工程ECFP SVM/XGBoost能处理中等规模数据无法端到端学习GCN / GIN利用图结构信息长程依赖建模需要多层Transformer 分子模型端到端学习、长程依赖强数据需求高、训练成本高对比时除了看 RMSE还要记录参数量、训练时间和显存占用。如果 Transformer 比基线提升很小但训练成本是 10 倍实际项目可能需要重新评估。6. 常见问题排查分子 Transformer 最典型的七类报错6.1 padding mask 和 attention mask 用错现象损失不下降或模型收敛后对 padding 位置输出异常。原因没有把 padding 位置传入src_key_padding_mask导致模型把pad也当成有效原子。检查方式打印一次 forward 的 attention weights查看 padding 位置的注意力分数是否为-inf或接近 0。解决方式确认padding_idx、padding_mask的布尔语义和nn.TransformerEncoderLayer的src_key_padding_mask参数对齐。注意src_key_padding_maskTrue表示该位置被屏蔽。6.2 SMILES 长度和 batch 对齐现象同一 batch 内分子长度差异过大短分子被 pad 到 128造成严重计算浪费。原因没有按长度排序或没有使用动态 padding。解决方式训练前按 SMILES 长度排序构造 batch 时使用batch_sampler让相近长度的分子放在同一 batch推理时直接逐条处理。6.3 位置编码在 batch 维度上广播错误现象报错 shape mismatch或所有 batch 共享同一套位置却不报错但效果差。原因位置编码的 shape 没有包含 batch 维度或者使用了self.pos_embedding(positions).unsqueeze(0)时维度搞混。解决方式先打印x.shape和pos_embedding.shape确保 token embedding 与位置编码能在最后一维相加。推荐写法是先创建positions torch.arange(seq_len, devicedevice).unsqueeze(0)得到的 shape 是(1, seq_len)embedding 后是(1, seq_len, d_model)可以自动广播到 batch。6.4 数据泄漏现象测试集指标异常高但换新数据后性能很差。原因数据划分时没有按分子骨架划分或重复分子同时出现在训练集和测试集。检查方式查看训练集和测试集是否有相同的 canonical SMILES 或相同的 Murcko scaffold。解决方式使用rdkit.Chem.Scaffolds.MurckoScaffold做 scaffold split并在论文复现时保持和原文一致。6.5 梯度不稳定或 loss 为 nan现象训练几轮之后 loss 变为 nan或梯度范数爆炸。可能原因学习率过高、数据未标准化、样本中有极端值、SMILES 中有特殊字符导致 embedding 不稳定。解决方式对回归目标做标准化让 target 均值接近 0、方差接近 1。使用torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)。降低学习率到 1e-4 量级重试。检查 SMILES 是否被 RDKit 正确解析删除无法解析的样本。6.6 显存溢出OOM现象训练一段时间后报CUDA out of memory。原因batch size 过大或没有使用文本场景下的动态 padding导致大量 padding 占用了 transformer 的二次复杂度。解决方式按长度分桶减少 padding。降低max_len。使用梯度累积模拟更大 batch。如果 GPU 显存很小把序列长度限制在 64 或 96。6.7 复现结果与论文不一致现象用自己的数据跑出了不同的指标或与论文报告值相差很大。原因复现时没有确认数据预处理、tokenizer 词典、超参数、随机种子、预训练权重加载方式。解决方式建立一张复现对照表逐项核对配置项论文设置复现代码设置是否一致数据划分方式scaffold split随机划分否最大序列长度512128是学习率1e-41e-3否优化器AdamWAdamW是Dropout0.10.1是tokenizerBPE字符级否一旦某一行不一致优先修正这里。排查顺序建议先检查输入数据能否被正确编码再检查 padding mask 是否生效然后检查数据划分最后才排查模型结构和超参数。7. 最佳实践与扩展方向7.1 新手学习建议按什么顺序刷代码和论文建议初学者不要从复现大型分子大模型开始而是按下面这个顺序推进阅读《Attention Is All You Need》重点理解缩放点积注意力、多头机制和位置编码。手动实现单头注意力和一个 TransformerBlock运行前向传播。阅读 PyTorch 官方实现nn.TransformerEncoderLayer的源码弄清 mask 类型。用分子数据集完成一个简单性质预测任务熟悉 SMILES tokenizer 和 padding mask。阅读 ChemBERTA 论文并对照官方代码复现记录每个超参数。尝试改进替换位置编码、修改池化方式、切换预训练目标。再挑战图 Transformer 或几何 Transformer如 GPS 或 Uni-Mol 的小规模版本。每一步都要有输出第一步输出一篇笔记第二步输出代码第三步输出与官方实现对拍结果第四步输出训练曲线第五步输出复现报告。7.2 生产环境落地时的必要改造学习环境里能跑通的代码进入生产环境前还需要做以下改造配置外置化。所有路径、学习率、batch size、模型参数不硬编码进代码使用 YAML 或环境变量。模型检查点管理。每次保存权重时记录 epoch、loss、优化器状态、随机种子便于回滚。日志和监控。记录每个 epoch 的 loss、梯度范数、学习率以及每个 batch 的处理耗时。推理加速。训练模型在推理时关闭 dropout使用torch.no_grad()可以考虑 ONNX 导出或 TensorRT 优化。数据校验。生产环境输入的 SMILES 无法保证规范先用 RDKit 标准化并过滤无法解析的样本。权限和异常处理。模型服务接口要处理超时、异常输入和并发控制避免一个坏请求拖垮服务。7.3 三个值得继续深入的方向第一个方向是分子预训练模型。ChemBERTa 这样的模型先用大规模无标签 SMILES 做 MLM 预训练再在少量标注数据上微调。核心是用好无标签数据这对数据稀少的药物研发场景非常重要。第二个方向是几何 Transformer。把原子的 3D 坐标和空间距离融入注意力计算核心是保证模型对平移、旋转具有等变性。这类模型适合分子对接、构象生成和结合亲和力预测但实现复杂度明显高于序列 Transformer。第三个方向是化学大模型的微调与对齐。以 MolT5、GPT 类模型为基础的分子描述、分子生成任务需要把文本 token 和分子 token 统一处理。理解 Transformer 后续微调技术如 LoRA、RLHF 的概念是进阶到分子大模型的基础。总体上Transformer 学习路径的关键突破口在于“最小闭环”。不要只读论文不要只刷视频也不要只跑别人的代码。建议从今天开始用一张 ESOL 数据集把本文中的代码跑通一次记录训练曲线和注意力图。跑通后你会发现分子建模大模型不再是一个黑盒而是一系列可以控制、可以调试、可以改进的工程模块。