trRNA2 (2026)：将 Secondary Structure 引入 Attention 并驱动 RNA 构象建模

trRosettaRNA2 利用二级结构 (SS) 做了两件很有意思的工作

1. 让SS加权于attention
2. 通过多 SS 条件输入实现 RNA 构象分布

SS加权于attention

trRosettaRNA2 除了将ss作为一层feature，还在 structure module 中引入 SS-aware attention，其核心是对 attention softmax 的重加权：

• 标准 attention

  $$a_{ij} = \frac{\exp\left(\frac{q_i k_j}{\sqrt{d}}\right)}{\sum_{l=1}^{L} \exp\left(\frac{q_i k_l}{\sqrt{d}}\right)}$$

• SS-aware attention

  $$a_{ij} = \frac{\left(\exp\left(\frac{p_{ij}}{T}\right) - 0.99\right)\exp\left(\frac{q_i k_j}{\sqrt{d}}\right)}{\sum_{l=1}^{L} \left(\exp\left(\frac{p_{il}}{T}\right) - 0.99\right)\exp\left(\frac{q_i k_l}{\sqrt{d}}\right)}$$

其中，

• $p_{ij}$ 表示由二级结构预测模型给出的第 $i,j$ 个核苷酸形成碱基配对的概率

• $T$ 是 SS temperature，用于控制二级结构先验对 attention 的影响强度。

  • 当 $T$ 较小时，$\exp(p_{ij}/T)$ 对 $p_{ij}$ 更敏感，SS 对 attention 的影响更强；
  • 当 $T$ 较大时，权重差异变小，模型更多依赖自身学习到的几何和 pair 表征。
  • 在代码中，StructureModule 默认使用逐层递增的温度，在结构生成早期强烈注入二级结构约束，在后期逐渐放松。

我的理解

• 传统的方法是把ss作为pair representation的一层feature，这种方式也许学习效果不佳
• 加权attention从而让模型不容易忽略长程相互作用

多 SS → 构象分布

核心思路

RNA 往往具有显著的构象灵活性

trRosettaRNA2 的做法是：

• 构造多个 SS（来自不同预测器或模型）
• 对每个 SS 独立进行 3D 预测
• 聚合得到结构集合（ensemble）

实现细节

• 使用 11 种不同 SS 来源（如 trRNA2-SS、SPOT-RNA、RNAfold 等）
• 每个 SS 输入下：
  • 运行模型多个 recycling（4 次）
• 最终得到：
  • 共 44 个结构（11 SS × 4 次）

对比：AlphaFold3 的做法

作为对照，AlphaFold3 并不显式使用 SS 作为条件变量，而是：

• 固定输入（sequence + MSA）
• 通过 不同随机种子（random seeds） 进行多次推理
• 共生成约 100 个结构

结果

• trRosettaRNA2 能生成与实验接近的构象分布

• AlphaFold3 更接近单一结构预测器