Cyanocobalamin

近日，华中农业大学章文等在ACL2025上发表文章，题为“PKAG-DDI: Pairwise Knowledge-Augmented Language Model for Drug-Drug Interaction Event Text Generation”。它提出了一种基于检索增强生成（RAG）思想的DDIE文本生成方法，通过预测获取当前DDI中每一个药物在相互作用的过程中的所表现的生物功能，构建生物逻辑上下文，用于增强跨模态语言模型的DDIE文本生成能力。该方法着力于摆脱现有方法对于有限分类标签的依赖，直接生成DDIE的描述，以扩增模型的实际应用场景；并且提出了使用药物的生物功能作为补充信息，显式地展现了DDI产生的逻辑过程。在两个专业数据集上的实验表明，PKAG-DDI在DDIE文本生成方面优于现有方法，特别是在具有挑战性的归纳设置中，表明了它的实用性和泛化性。1 引言当人们同时服用多种药物治疗复杂疾病时，可能会出现意想不到的药物-药物相互作用（DDI），并可能诱发不同的药代动力学和药效学后果，称为DDI事件（DDIEs）。预测DDIE对公共卫生安全和临床研究具有重要意义。目前，大多数基于计算的DDIE预测方法将DDIE预测视为一项分类任务，需要将各种DDIE文本分类到有限数量的预定义类中。一方面，预测标签缺乏直观性，使用者需要一个额外的标签-文本列表来获取相应的DDIE信息。另一方面，最新的DDI数据库，如DDInter2.0，提供了更详细的DDIE文本描述，这些描述不易区分类别。因此，如下图（a）所示，在DDIE预测中，直接生成DDIE文本是一种更自然的方式，突显了开发基于生成的方法的迫切需要。语言模型（LM）在广泛的文本生成任务中取得了显著成功。最近MolTC方法引入了一个LM框架，用于从分子结构中学习分子关系，并尝试解决DDIE生成任务。从药物的分子结构推断DDIE的策略可能会忽视这样一个事实，即DDI中的每种药物都具有不同的生物学功能（包括药物机制、活性和类别）。当DDI发生时，生物功能可以作为明确的信息补充和作为用于解释生物逻辑推理过程的上下文。例如，Rabeprazole作为胃碱化剂可以影响Cyanocobalamin的活性，而Cyanocobalamin对胃pH值敏感，从而导致DDIE：由胃pH值变化引起的胃肠道吸收不良。为了证明生物功能信息对于预测DDIE有效，我们做了定量分析实验。我们设计两个基础的DDIE分类模型，加入生物功能后两个模型的性能有显著增加，说明了生物功能信息的有效性。由此推断，结合生物功能也有望提高生成模型的DDIE文本的能力。然而，生物功能属于专业知识通常是不容易获得的，这可能会限制其广泛的实际应用。为了解决上述问题，我们注意到检索增强生成（RAG）已成为LM中的一种流行的知识增强技术。当缺乏专业知识时，RAG利用检索器从外部数据库中提取多条与查询相关的知识，并将知识和原始输入整合在一起，以增强LM的生成。然而，将其应用于我们的任务面临着两个挑战：1）每种药物都具有多种固有的生物功能，只有当与另一种药物相互作用时，它才具有至少一种与DDIE最相关的生物功能。如上图定量分析实现所示，与DDIE最相关的生物功能是DDIE预测性能提升的关键。据此，第一个挑战是如何在保持效率的同时对潜在的互为条件的DDIE相关生物功能（称为成对生物功能）进行选择并建模。2）简单地整合所有模型选定的潜在成对生物功能可能会对LM生成产生额外的干扰，比如不匹配或不相关的生物功能可能作为噪声被引入到生成模型中。如何设计有效的生物功能整合策略是第二个挑战。在这项工作中，我们提出了一种新的成对知识增强生成方法（PKAG-DDI）用于DDIE生成，该方法从外部知识集中选择成对的生物功能，并将其作为上下文来增强LM的DDIE生成。具体来说，PKAG-DDI首先设计了一种成对知识选择器（PKS），它能够在两种药物之间相互注入分子结构信息。在PKS中，还引入了重用策略，共享大多数组件的权重以减轻计算负担。此外，PKAG-DDI还提出了一种量身定制的成对知识整合策略，该策略可以匹配选定的生物功能并将其选择性地整合到LM中，从而提高了LM生成DDIE文本的能力。2 方法2.1 问题表述本方法分为两个阶段，第一阶段训练PKS ()，用它从生物功能集合C中预测药物a和b的生物功能，得到两个药物的生物功能的概率 和 ，其中我们将与另一种药物相互作用的药物a表示为(a,b)，反之亦然(b,a)；第二阶段训练生成器（），给定输入的成对药物特征及其潜在的成对生物学功能，得到生成DDIE文本  的概率并生成DDIE文本。2.2 成对知识选择器(PKS)包含两个模块：两个药物的表示学习模块和两个生物功能分类器。对于药物表示学习，我们这里使用两种模态信息：（1）分子fingerprint；（2）分子2D结构信息。将药物a的2D分子图输入基于GNN的分子编码器，得到其的所有子结构表示。同理得到药物b的子结构表示。因为前文讨论了每一个药物有多个内在的生物功能，但只有与另一个药物相互作用后才确定当前DDI中该药物的生物功能。所以这里在得到最终药物a的表示之前，需要将药物b的信息注入药物a。这里我们使用交叉注意力对两个药物子结构特征进行融合，同时得到两个分子子结构交互的注意力矩阵A。药物b也需要进行上述操作得到表示，但为了避免重复计算、节省计算资源，我们设计一个重用策略：在计算药物b时重用药物a的子结构表示和注意力分数A。具体来说，A可以表示药物对药物的重要性，而可以表示药物b对药物a的重要性，药物b可以使用A的转置作为其注意力分数。最后将结构信息与fingerprint信息融合并输入分类器中，得到每一个药物的生物功能概率分布 和 。具体细节见原文。2.3 使用成对知识整合策略学习以药物和作为查询输入，以药物和的潜在生物学功能为条件，以参数为参数的生成器生成DDIE文本。我们特别提出了一种成对知识整合策略，将生物功能信息有效地注入到LM中。细节如下。为了构建LM的查询输入，给定药物对a和b，我们首先使用MolTC中的分子图编码器和图-序列适配器将药物对a和b的分子图编码为文本空间中的分子标记嵌入，即： 和。与MolTC一致，我们也输入药物对的SMILES标记  和  到LM中。为了有选择性地整合生物功能信息，我们的目标是通过联合概率分布对目标建模，将所有潜在的成对生物功能和边缘化，而不是直接将所有生物功能边缘化输入到LM中：其中是成对生物功能分布。C是生物功能集合。我们将每一对和分别附加到查询输入后，得到多个LM的完整输入。其中prompt是：考虑到边缘化所有潜在的成对生物功能是耗费资源的，我们通过假设在和下具有最高概率的成对top K个潜在生物功能来近似方程上述式子，因此将上述式子重新表示为：其中  and  分别是药物a和药物b的根据PKS输出的概率得到的top K个生物功能。我们这里将  和  进行两两匹配得到  个成对的生物功能。然后我们得到成对生物功能的概率：这里的成对生物功能概率的是在两个药物的top K个生物功能概率下计算的，而不是在所有生物功能概率下计算的。最后基于自回归的生成模型的概率 为：考虑到我们的方法的目的是为专业的DDIE生成而设计，我们冻结了图形编码器的参数，并利用我们的DDIE数据根据MolTC中预训练的参数对图-序列适配器和LM进行微调（利用中型Galactica1.3B ）。我们通过最小化公式10中每个目标的负边际对数似然来优化模型。由于一个样本会生成个DDIE结果，我们取生成分数最高的作为预测值。3 数据集我们从官网下载并归纳了两个专业数据集：MecDDI 和DDInter2.0。其中MecDDI提供了生物功能信息，DDInter2.0提供了更长更详细的DDIE文本描述。具体细节见原文。4 实验与基线对比，本文进行了两种类型的实验。一种是与现有的生成模型进行的生成任务对比，另一种是与现有的分类模型进行的分类任务对比。结果如下。生成能力：我们将我们的方法与现有生成方法在三种数据分割场景下进行了比较。结果如表1所示。这里我们设置了一个PKAG-DDI 的一个变体PKAG-DDI*（一个直接输入gold生物功能到生成模型的方法）。除了我们的上限模型PKAG-DDI*之外，PKAG-DDI在两个数据集中的几乎所有评估指标中都达到了最佳性能，这表明PKAG-DDI在生成DDIE文本方面具有显著和一致的优势。此外，我们有以下观察结果：1）当将实验数据从MecDDI替换为DDInter2.0时，所有方法的性能都会降低，这突显了在DDInter2.0上生成更详细和复杂的DDIE文本的难度。特别是，PKAG-DDI在DDInter2.0中显示出显著的优势，这表明PKAG-DDI在生成长而复杂的DDIE文本方面表现出强大的能力。2）上限模型PKAG-DDI*的卓越性能突显了捕获生物功能对DDI文本生成的重大贡献。此外，PKAG-DDI在某些情况下与PKAG-DDI*取得了相当的结果，验证了我们的成对知识整合策略的有效性。为了进一步评估生成文本在现实世界中的适用性，我们将所有DDI分为三个临床风险等级（即轻微、中等和严重）。我们将我们的方法与DDInter 2.0随机分割集上的次优基线（MolTC）进行了比较，结果如表2所示。结果表明，在不同的临床风险水平情景下，我们方法生成的文本具有显著优势。分类能力：为了能与分类的方法比较，我们将基于生成的方法生成的文本与所有ground-truth文本比较，相似度最大的ground-truth文本的标签作为生成模型的分类预测结果。结果如表3所示。我们提出的方法PKAG-DDI仍然取得了有竞争力的性能。一方面，这证实了我们提出的方法不会因为DDIE文本描述而牺牲DDIE预测精度。另一方面，它表明DDIE文本生成作为一种新兴的DDIE预测方法，在实际应用中具有巨大的潜力和价值。case study：为了明确展示生成过程和我们方法的质量，我们在图4中展示了一个案例研究。我们选择了两种CYP3A酶抑制剂Ritonavir和Cobicistat作为例子。当用户输入药物对的SMILES时，我们的方法可以明确地解释每种药物的潜在生物功能，并进一步生成DDIE文本。我们发现gold生物功能在我们的预测中并且PKAG-DDI提供的DDIE文本与参考的ground-truth相同，这证明了我们方法的有效性和实际应用能力。除了完全准确的预测外，我们还展示了随机选择的包含部分预测结果不匹配的示例，见附录。5 结论在本文中，我们强调了生物功能在DDIE文本生成中的有效性，并介绍了一种新的用于DDIE生成的成对知识增强生成方法，该方法可以应用于缺乏知识的实际预测场景。我们还引入了成对生物功能选择器，以有效地注入互为条件的药物信息，以及成对知识整合策略，用于将知识匹配并选择性地整合到LM中。实验证明了我们的方法优于基线。我们的方法为未来DDIE预测中从分类到生成的过渡提供了基础。参考资料：https://openreview.net/pdf?id=fa0e7iljV4--------- End ---------感兴趣的读者，可以添加小邦微信加入读者实名讨论微信群。添加时请主动注明姓名-企业-职位/岗位或姓名-学校-职务/研究方向。