dotan1111/MSA-nuc-9-seq

---
tags:
- sequence-to-sequence
- bioinformatics
- biology
---
# Multiple Sequence Alignment as a Sequence-to-Sequence Learning Problem
## Abstract:
The sequence alignment problem is one of the most fundamental problems in bioinformatics and a plethora of methods were devised to tackle it. Here we introduce BetaAlign, a methodology for aligning sequences using an NLP approach. BetaAlign accounts for the possible variability of the evolutionary process among different datasets by using an ensemble of transformers, each trained on millions of samples generated from a different evolutionary model. Our approach leads to alignment accuracy that is similar and often better than commonly used methods, such as MAFFT, DIALIGN, ClustalW, T-Coffee, PRANK, and MUSCLE.

An illustration of aligning sequences with sequence-to-sequence learning. (a) Consider two input sequences "AAG" and "ACGG". (b) The result of encoding the unaligned sequences into the source language (*Concat* representation). (c) The sentence from the source language is translated to the target language via a transformer model. (d) The translated sentence in the target language (*Spaces* representation). (e) The resulting alignment, decoded from the translated sentence, in which "AA-G" is aligned to "ACGG". The transformer architecture illustration is adapted from (Vaswani et al., 2017).

## Data:

We used SpartaABC (Loewenthal et al., 2021) to generate millions of true alignments. SpartaABC requires the following input: (1) a rooted phylogenetic tree, which includes a topology and branch lengths; (2) a substitution model (amino acids or nucleotides); (3) root sequence length; (4) the indel model parameters, which include: insertion rate (*R_I*), deletion rate (*R_D*), a parameter for the insertion Zipfian distribution (*A_I*), and a parameter for the deletion Zipfian distribution (*A_D*). MSAs were simulated along random phylogenetic tree topologies generated using the program ETE version 3.0 (Huerta-Cepas et al., 2016) with default parameters.

We generated 1,495,000, 2,000 and 3,000, protein MSAs with ten sequences that were used as training validation and testing data, respectively. We generated the same number of DNA MSAs. For each random tree, branch lengths were drawn from a uniform distribution in the range *(0.5,1.0)*. Next, the sequences were generated using SpartaABC with the following parameters: *R_I,R_D \in (0.0,0.05)*, *A_I, A_D \in (1.01,2.0)*. The alignment lengths as well as the sequence lengths of the tree leaves vary within and among datasets as they depend on the indel dynamics and the root length. The root length was sampled uniformly in the range *[32,44]*. Unless stated otherwise, all protein datasets were generated with the WAG+G model, and all DNA datasets were generated with the GTR+G model, with the following parameters: (1) frequencies for the different nucleotides *(0.37, 0.166, 0.307, 0.158)*, in the order "T", "C", "A" and "G"; (2) with the substitutions rate *(0.444, 0.0843, 0.116, 0.107, 0.00027)*, in the order "a", "b", "c", "d", and "e" for the substitution matrix.

## Example:

The following example correspond for the illustrated MSA in the figure above:

{"MSA": "AAAC-GGG", "unaligned_seqs": {"seq0": "AAG", "seq1": "ACGG"}}

## APA

```
Dotan, E., Belinkov, Y., Avram, O., Wygoda, E., Ecker, N., Alburquerque, M., Keren, O., Loewenthal, G., & Pupko T. (2023). Multiple sequence alignment as a sequence-to-sequence learning problem. The Eleventh International Conference on Learning Representations (ICLR 2023).
```

## BibTeX
```
@article{Dotan_multiple_2023,
author = {Dotan, Edo and Belinkov, Yonatan and Avram, Oren and Wygoda, Elya and Ecker, Noa and Alburquerque, Michael and Keren, Omri and Loewenthal, Gil and Pupko, Tal},
month = aug,
title = {{Multiple sequence alignment as a sequence-to-sequence learning problem}},
year = {2023}
}

```

标签：
- 序列到序列（sequence-to-sequence）
- 生物信息学（bioinformatics）
- 生物学（biology）
# 作为序列到序列学习任务的多序列比对
## 摘要
多序列比对问题是生物信息学领域最基础的研究问题之一，学界已提出诸多方法以解决该任务。本文提出BetaAlign，一种基于自然语言处理（NLP）思路实现序列比对的方法。BetaAlign通过集成多个Transformer模型，适配不同数据集间演化过程的潜在差异——每个Transformer均基于由不同演化模型生成的百万级样本训练得到。本方法的比对精度可与主流工具（如MAFFT、DIALIGN、ClustalW、T-Coffee、PRANK及MUSCLE）媲美，且在多数场景下更优。

一段展示序列到序列学习实现序列比对过程的示意图：(a) 给定两条输入序列“AAG”与“ACGG”；(b) 将未比对序列编码为源语言（*拼接（Concat）表示法*）的结果；(c) 通过Transformer模型将源语言语句翻译为目标语言；(d) 目标语言（*空格（Spaces）表示法*）中的翻译结果；(e) 从翻译语句解码得到的最终比对结果：“AA-G”与“ACGG”完成比对。本Transformer架构示意图改编自(Vaswani et al., 2017)。

## 数据集
我们使用SpartaABC (Loewenthal et al., 2021) 生成百万级真实比对样本。SpartaABC需要以下输入参数：(1) 包含拓扑结构与分支长度的有根系统发育树；(2) 替换模型（氨基酸或核苷酸）；(3) 根序列长度；(4) 插入缺失（indel）模型参数，包括：插入速率（*R_I*）、缺失速率（*R_D*）、插入Zipf分布参数（*A_I*）以及缺失Zipf分布参数（*A_D*）。多序列比对（MSA, multiple sequence alignment）数据集通过随机生成的系统发育树拓扑结构模拟得到，拓扑结构使用ETE v3.0程序(Huerta-Cepas et al., 2016)生成，采用默认参数。

我们分别生成了1,495,000、2,000及3,000条包含10条序列的蛋白质多序列比对数据，分别用作训练集、验证集与测试集；同时生成了等量的DNA多序列比对数据。对于每一棵随机生成的系统发育树，其分支长度从(0.5, 1.0)的均匀分布中采样得到。随后，使用以下参数通过SpartaABC生成序列：*R_I, R_D ∈ (0.0, 0.05)*，*A_I, A_D ∈ (1.01, 2.0)*。比对长度与树叶片段的序列长度会随数据集内部及数据集间的插入缺失动态变化，并受根序列长度影响。根序列长度从[32, 44]的均匀分布中采样得到。除非另有说明，所有蛋白质数据集均采用WAG+G模型生成，所有DNA数据集均采用GTR+G模型生成，具体参数如下：(1) 不同核苷酸的频率依次为“T”、“C”、“A”与“G”，对应值为(0.37, 0.166, 0.307, 0.158)；(2) 替换矩阵的参数依次为“a”、“b”、“c”、“d”与“e”，对应替换速率为(0.444, 0.0843, 0.116, 0.107, 0.00027)。

## 示例
以下示例对应上图展示的多序列比对结果：
json
{"MSA": "AAAC-GGG", "unaligned_seqs": {"seq0": "AAG", "seq1": "ACGG"}}

## APA 引用格式

Dotan, E., Belinkov, Y., Avram, O., Wygoda, E., Ecker, N., Alburquerque, M., Keren, O., Loewenthal, G., & Pupko T. (2023). 多序列比对作为序列到序列学习问题. 第十一届国际学习表征大会（ICLR 2023）.

## BibTeX 引用格式
bibtex
@article{Dotan_multiple_2023,
author = {Dotan, Edo and Belinkov, Yonatan and Avram, Oren and Wygoda, Elya and Ecker, Noa and Alburquerque, Michael and Keren, Omri and Loewenthal, Gil and Pupko, Tal},
month = aug,
title = {{Multiple sequence alignment as a sequence-to-sequence learning problem}},
year = {2023}
}

原始信息汇总

多序列比对作为序列到序列学习问题

数据

• 数据生成方法：使用SpartaABC（Loewenthal et al., 2021）生成数百万个真实比对。

  • 输入要求：
    1. 有根的系统发育树，包括拓扑结构和分支长度；
    2. 替换模型（氨基酸或核苷酸）；
    3. 根序列长度；
    4. 插入和删除模型参数，包括插入率（R_I）、删除率（R_D）、插入Zipfian分布参数（A_I）和删除Zipfian分布参数（A_D）。
  • 系统发育树拓扑结构使用ETE版本3.0（Huerta-Cepas et al., 2016）生成，默认参数。

• 数据集规模：

  • 生成了1,495,000个蛋白质多序列比对（MSA），用于训练、验证和测试数据，分别包含10个序列。
  • 生成了相同数量的DNA多序列比对。
  • 每个随机树的分支长度从均匀分布*(0.5,1.0)*中抽取。
  • 序列使用SpartaABC生成，参数为R_I,R_D in (0.0,0.05)，A_I, A_D in (1.01,2.0)。
  • 根序列长度在范围*[32,44]*内均匀抽样。
  • 蛋白质数据集使用WAG+G模型生成，DNA数据集使用GTR+G模型生成。

示例

以下示例对应上图中的MSA：

json {"MSA": "AAAC-GGG", "unaligned_seqs": {"seq0": "AAG", "seq1": "ACGG"}}

搜集汇总

数据集介绍

构建方式

该数据集基于序列到序列学习框架，用于解决生物信息学中的多序列比对问题。研究团队采用SpartaABC模拟工具，生成数百万条真实比对数据，输入参数包括随机系统发育树、核苷酸或氨基酸替换模型、根序列长度及插入缺失模型参数。具体而言，从均匀分布中抽取分支长度，并设定插入与删除速率在0.0至0.05之间，Zipf分布参数在1.01至2.0之间，根序列长度在32至44个残基范围内随机采样。最终生成149.5万条蛋白质与DNA多序列比对作为训练集，2000条作为验证集，3000条作为测试集，每条数据包含十条序列。

使用方法

使用该数据集时，用户可直接加载JSON文件，其中每条样本包含键值对'MSA'表示目标比对字符串，以及'unaligned_seqs'字典存储未比对的原始序列。数据适用于基于Transformer的序列到序列模型，将未比对序列编码为源语言，比对结果作为目标语言进行翻译学习。建议将数据集按训练、验证、测试划分，并采用交叉熵损失函数优化模型参数。研究人员可基于该数据集复现BetaAlign方法，或将其作为基准评估新的比对算法，尤其适用于需要大量真实标注比对数据的深度学习场景。

背景与挑战

背景概述

多序列比对（Multiple Sequence Alignment, MSA）是生物信息学中一项基础而关键的任务，广泛应用于进化分析、结构预测和功能注释等领域。传统方法如MAFFT、ClustalW等虽已取得显著成效，但常受限于进化模型的固定假设，难以灵活适应不同数据集的进化异质性。2023年，来自以色列特拉维夫大学等机构的研究人员Edo Dotan、Yonatan Belinkov、Tal Pupko等，在ICLR会议上提出了BetaAlign方法，将序列比对重新定义为序列到序列（seq2seq）学习问题，利用集成Transformer模型捕捉多样化的进化过程。该数据集由SpartaABC模拟生成，包含近150万条蛋白质与DNA多序列比对样本，为训练和评估基于深度学习的比对模型提供了大规模、高保真的基准资源，对推动计算生物学与自然语言处理的交叉研究具有重要影响。

当前挑战

该数据集所解决的领域核心挑战在于传统比对算法在面对进化速率、插入缺失模式等参数高度可变的数据集时，比对准确性显著下降。BetaAlign通过集成多个Transformer模型来应对这一异质性，但构建过程同样面临严峻挑战：首先，模拟数据的真实性高度依赖于进化模型参数的合理设定，如插入率、删除率及其Zipf分布参数，任何偏差都可能影响模型泛化能力；其次，生成大规模、多样化的比对样本需要精确控制系统发育树拓扑与分支长度，计算开销巨大；此外，将比对结果编码为源语言与目标语言的序列表示形式，需设计高效的token化策略以保留生物学信息，同时确保模型能准确解码出对齐关系。这些挑战共同考验着数据生成与模型训练的鲁棒性与可扩展性。

常用场景

经典使用场景

MSA-nuc-9-seq数据集的核心应用场景是将多序列比对（MSA）问题转化为序列到序列（seq2seq）的学习任务。该数据集通过模拟进化过程生成大量真实比对数据，每个样本包含未对齐的序列对及其对应的真实MSA，为训练基于Transformer架构的BetaAlign模型提供了高质量的标注数据。研究者利用该数据集构建编码器-解码器框架，将未对齐的源序列映射为带间隔标记的目标序列，从而在推理阶段自动生成对齐结果。这一范式打破了传统动态规划或渐进比对方法的局限，使得MSA问题能够借助自然语言处理领域的先进技术进行端到端求解，尤其适用于需要快速处理大量同源序列的进化生物学研究场景。

解决学术问题

该数据集直接回应了生物信息学中长期存在的核心挑战：如何在缺乏明确进化模型先验的情况下实现高精度多序列比对。传统方法如MAFFT、ClustalW等依赖人工设计的评分矩阵和启发式策略，在面对复杂插入缺失模式或异质性进化速率时往往产生系统性偏差。通过生成涵盖不同进化模型参数的百万级训练样本，该数据集使得深度模型能够隐式学习替换矩阵、插入删除率及分支长度等参数的联合分布，从而在测试集上达到媲美甚至超越经典方法的比对精度。其意义在于首次验证了seq2seq学习在序列比对任务中的可行性，为进化分析提供了不依赖人工特征工程的数据驱动新路径。

实际应用

在实际应用中，该数据集训练出的BetaAlign模型可直接部署于基因组注释、蛋白质结构预测和系统发育重建等生物信息学流水线。例如，在新冠病毒变异株的序列比对中，模型能快速处理大量刺突蛋白序列并准确识别关键插入缺失位点；在宏基因组学分析中，它可高效对齐环境样本中的短读序列碎片，辅助物种分类和功能基因挖掘。此外，该数据集生成的模拟比对数据还可用于评估其他比对算法的鲁棒性，或作为教学工具帮助学生理解进化过程中序列变异的统计规律。其轻量级推理特性尤其适合需要实时分析的大规模测序项目。

数据集最近研究

最新研究方向

在生物信息学领域，多序列比对（MSA）作为进化分析和结构预测的核心步骤，长期依赖动态规划与启发式算法。最新研究突破性地将序列比对重构为序列到序列（Seq2Seq）学习问题，借助Transformer架构的注意力机制捕捉残基间的长程依赖关系。BetaAlign方法通过集成多个在进化模型上预训练的Transformer，有效应对不同数据集间的进化过程变异，在比对精度上超越MAFFT、ClustalW等经典工具。该研究利用SpartaABC模拟生成百万级真实进化事件对齐数据，结合随机系统发育树与插入缺失模型，构建了大规模训练集，为深度学习驱动的MSA提供了范式转变。这一方向不仅革新了序列比对方法论，更推动了机器学习与进化生物学的交叉融合，对基因组注释、蛋白结构预测及系统发育重建具有深远影响。