Peginterferon lambda-1a(ZymoGenetics, Inc.)

近日，Science正刊，斯坦福大学化学工程助理教授Brian L. Hie团队发表了Evo-基因组基础大模型。 总结：通读了一遍了感觉如下，回答2个问题： 第一，Evo模型的效果怎么样？ 模型创新：StripedHyena使用Hyena基础框架，Hyena文章23年就已发表。 第二作者Michael Poli也是Hyena的一作，该模型与Transformers相比，长上下文中的训练和微调速度明显加快 (131k时速度提高3倍以上)，更多优点看下文模型部分。 效果方面：确实是领域内比较前沿的技术，Evo在多模态，多尺度预测。 第一个支持用大语言模型进行蛋白-RNA和蛋白-DNA共同设计的例子。Evo在CRISPR-Cas位点上微调的产生的Cas亚型，显示了强大的活性，并且其与化学合成的sgRNA配对时展现出与标准SpCas9相当的体外切割活性。 有些方向不如特定领域的语言模型或者持平。 我们知道很多特定领域的语言模型也离直接应用还是有点距离[甚至比专用模型差]。 模型不能用在真核生物上面。 正如作者所说：Evo在生成大规模DNA序列方面具有潜力，但需要进一步的优化和微调。因此，这一块还有一段路需要走。 第二，该工作给我们什么启发？ 我相信，躬身入局的人一定都质疑过AI在药物研发领域中的效果，吐槽过AI的分子生成结果的无厘头、成药性预测泛化等的问题。 尤其将大模型用于蛋白设计、基因突变预测，我一直就抵触，觉得落地真的不行，但是我们明显能看到大家都在前人的工作上不断迭代修正，不断在不同的方向进行研究，努力往落地靠近，AI在生物医药的应用的效果一直增长。 现在肯定有很多问题，数据是重大影响因素之一，我相信现在一定有公司或研究机构在扎根做数据，未来会越来越好。 另外一个问题是我觉得大家太急了，这个领域知识真的太深了，看这个Science论文的验证，你就知道这个领域的知识有多庞大，给AI一点迭代时间，给研究人员多一点探索的时间。 我相信未来的5到10年一定可以看到生物医药不一样的AI应用效果。从分子到基因组尺度的序列建模与设计：Evo Evo-基因组基础大模型，可以捕捉生物学的两个基本方面：中心法则的多模态性和进化的多尺度性。 中心法则通过统一的代码和可预测的信息流整合了DNA、RNA和蛋白质，而进化则统一了由分子、途径、细胞和生物体所代表的生物学功能的截然不同的长度尺度。 Evo在270万个原始的原核生物和噬菌体基因组序列上训练，包含70亿参数，上下文长度为131千字节，可以实现单核苷酸分辨率，实现从分子到基因组尺度的预测和设计任务。 Evo展示了跨DNA、RNA和蛋白模态的零样本功能预测，与特定领域的语言模型相竞争或超越。 Evo生成的CRISPR-Cas分子复合物以及IS200和IS605转座系统的具有功能活性。这是首个使用语言模型进行蛋白-RNA和蛋白-DNA共同设计的例子。 利用整个基因组学到的信息，Evo学会了核苷酸序列的微小变化如何影响整个生物体的适应性，并能够生成超过1兆碱基长度的具有合理基因组结构的DNA序列。 Evo支持多模态，能够共同设计形成更高阶功能系统的DNA、RNA和蛋白质分子。 Evo也支持多尺度，能够在分子、系统和基因组水平上进行预测和生成任务。1. 使用hyena架构对长序列进行单核苷酸分辨率建模 Evo，使用单核苷酸、字节级标记化，并训练有多达131072个标记的上下文长度。为了高效地对长序列进行单核苷酸分辨率建模，使用StripedHyena框架。StripedHyena是第一个在短上下文和长上下文评估中能与类似规模的最佳开源Transformer相媲美的替代模型架构。 StripedHyena是一种深度信号处理混合架构，由排列在Hyena(论文：Hyena Hierarchy: Towards Larger Convolutional Language Models)块中的rotary (grouped) attention和gated convolutions组成，与仅使用解码器的Transformer相比，其扩展性有所改进。StripedHyena旨在利用其每个层类的specialization，其中Hyena层实现序列处理所需的大部分计算，注意力层则补充执行目标模式召回的能力。 通过循环模式实现高效的自回归生成（使用单个 80GB GPU 可生成 >500k 代） 与Transformers相比，延迟更低、解码速度更快、吞吐量更高。 长上下文中的训练和微调速度明显加快 (131k时速度提高3倍以上) 在自然语言和生物序列方面，改进了最先进架构（例如 Transformer++）的scaling laws。 能够适应超越计算最优边界的训练，例如，能够适应超越Chinchilla最优token数量的训练。 再具体一点，该模型由29层数据控制的卷积操作符 (hyena layers)和三层(10%)多头注意力层交错组成，多头注意力用了旋转位置嵌入(RoPEs). hyena layers以输入依赖的方式处理序列，使用短和长卷积滤波器的组合，使该层特别有效地过滤DNA中可能出现的噪声模式，并聚合单个核苷酸成基序。 模型混合化，最初提出是为了解决状态空间模型的不足，最近已被证明可以改善独立hyena和Transformer架构的语言建模的扩展性能。 与HyenaDNA相比，这是一个利用hyena架构的DNA模型的前一代，Evo基于改进的混合设计，并扩展到1000倍更大的模型尺寸和100倍更多的数据。2. 在OpenGenome上大规模训练Evo 收集了超过80,000个细菌和古菌基因组以及数百万预测的噬菌体和质粒序列，覆盖了3000亿个核苷酸标记，组成了OpenGenome大型基因组数据集。 像大多数语言模型一样，Evo在没有任何显式监督或注释的情况下，使用下一个标记预测目标在原始基因组序列上进行预训练。预训练涉及一个使用8192个标记的上下文长度的第一阶段，以及一个使用131,072个标记的上下文长度的第二阶段扩展。3. StripedHyena在DNA序列数据上展示出有利的扩展规律scaling laws 在四种架构上训练了300多个模型：Transformer++、Mamba、Hyena和StripedHyena. (F) 针对大规模 DNA 预训练的首个scaling laws分析结果。模型随规模大小单调改进，架构之间存在显着差异。评估方法：PPL，评估困惑。扩展分析期间观察到StripedHyena在所有研究的模型大小和学习率上都有稳定的训练。 (G) 为了确定Evo的最佳架构和扩展，作者比较了在计算最优前沿上预训练的不同模型的扩展率，即数据集大小和模型大小之间的最佳计算分配。考虑到浮点运算（FLOP）计算，StripedHyena有相对更低的性能退化。4. Evo在DNA、RNA和蛋白模态上学习预测蛋白功能上的突变效应 在原核生物蛋白质的DMS数据集上，Evo的零样本性能超过了所有其他测试的核苷酸模型。 Evo在细菌蛋白质上已经与最先进的蛋白质语言建模相竞争。 人类蛋白质的DMS数据集上，Evo无法预测对健康的影响，很可能是因为预训练数据集由原核序列组成。5. 预测ncRNA功能上的突变效应 测试了相同的预训练模型是否能够学习关于ncRNAs（如tRNAs、核糖体RNA（rRNAs）和核糖酶）的功能信息。 发现Evo在这项任务上超越了所有其他测试的核苷酸语言模型，包括RNA-FM，这是一个明确在ncRNA序列上训练的RNA语言模型。 除了蛋白质序列之外，这些结果表明Evo可以学习ncRNA功能上的突变效应。6. 预测调控DNA的活动 Evo的训练也包含原核调控DNA序列，对于从启动子序列预测基因表达，以及从核糖体结合位点（RBSs）序列预测蛋白质表达的情况(图E)。 图F结果表明Evo已经学习了序列内在的信息，这是启动子活性的有用相关性。图G表明，Evo学到了蛋白表达相关的信息。 单一模型如何在以前由不同、特定领域的模型完成的任务上表现良好。尽管Evo是在没有显式注释的长基因组序列上训练的，但它展示了对构成蛋白质编码序列、ncRNA序列和调控元件的理解和稳健性。 下面的内容，作者推断Evo能够生成涉及不同分子模态之间相互作用的功能复合体。7. CRISPR-Cas分子复合体的生成设计 CRISPR-Cas系统：从公共元基因组和基因组序列中提取的72,831个CRISPR-Cas位点上对Evo进行了微调——这些分子机器由蛋白和ncRNA组分构成，共同指导针对病毒感染的适应性免疫反应，并为Cas9、Cas12和Cas13添加了特殊的提示标记，这些标记被添加到每个训练序列的开头。 微调Evo模型：与仅在CRISPR-Cas序列上训练的模型相比，Evo在CRISPR-Cas位点上微调的模型产生了更高质量、更多样化的跨所有Cas亚型的生成。 实验验证：从Evo生成的序列中，研究人员筛选出具有高预测局部距离差异测试（pLDDT）得分的Cas9系统，并进行了实验验证。其中一个名为EvoCas9-1的生成物展现出强大的活性，并且其与化学合成的sgRNA配对时展现出与标准SpCas9相当的体外切割活性。 结构和功能：EvoCas9-1的氨基酸序列与数据库中已知的Cas9有较高的同一性，并且其设计的sgRNA与标准SpCas9 sgRNA有很高的同一性。通过AlphaFold3模型预测的EvoCas9-1及其sgRNA的结构与已知的SpCas9结构相似，显示出强烈的一致性。 设计成功率：EvoCas9-1的成功设计仅通过11次共同设计实现，这表明Evo模型在设计复杂的CRISPR-Cas系统方面具有较高的成功率，并且能够扩展CRISPR技术的功能，超越自然界中发现的范围。 通过利用Evo固有的多模态能力，可以使用单一语言模型共同设计蛋白质-RNA复合体，提供了一种可以利用在CRISPR系统广泛多样性中的设计方法，并扩展了CRISPR技术的功能，超越了自然界中发现的范围。7. 转座子系统的生成设计 除了分子复合体外，Evo还学习了多基因系统背后的模式。 通过对Evo模型进行微调，对S200和IS605家族的转座子系统展现出了较高的成功率，这表明该模型能够理解和利用基因组中的复杂模式来设计功能性的遗传元素。8. 利用长基因组上下文学习基因必需性Evo learns mutational effects on organismal fitness across diverse bacterial and phage genomes 长基因组上下文的重要性：Evo模型不仅在分子层面上工作，还能分析整个基因组。通过在第二阶段的预训练中处理长达131,072个标记的序列，Evo能够学习到基因组中单个核苷酸突变对整个生物体适应性的影响。 性能评估：在多个细菌和噬菌体基因组的数据集上，Evo显示出与基因必需性显著相关的对数似然变化。这表明Evo能够在没有显式基因组注释、特定任务训练数据或功能标签的情况下，学习到基因突变对生物体适应性的影响。 与保守性的关联：研究还发现，更保守的序列倾向于是必需的，这与Evo在基因组上下文中的预测性能相一致。 Evo的泛化能力：Evo模型能够泛化到不同的基因组，并且其预测性能在某些基因组中尤为突出，如lambda噬菌体和铜绿假单胞菌，显示出高AUROC值。9. 在基因组尺度上生成DNA序列 讨论了Evo模型在生成大规模DNA序列方面的能力。 Evo模型生成16个长度约为650kb的DNA序列，这个长度是模型上下文长度的七倍以上。 使用ESMFold进行的蛋白质结构预测显示，Evo生成的序列中有很大一部分能够预测出二级结构和球状折叠，并且与自然蛋白质的结构相似。 Evo成功生成了包含所有标准氨基酸反密码子的128个tRNA序列。 Evo生成的序列在GC含量、二核苷酸频率和密码子使用模式等方面与自然基因组相似，但在某些方面也显示出不自然的特征，例如缺少完整的rRNA基因。 Evo生成的序列在终止密码子的使用频率上与自然原核生物基因组一致。 尽管Evo生成的序列在某些方面与自然基因组相似，但也存在一些差异，如结构预测的置信度低和结构匹配有限。 这表明Evo在生成大规模DNA序列方面具有潜力，但可能需要进一步的优化和微调。10. 模型局限性 模型仅在原核数据上训练，我们预测人类蛋白质健康上的突变功能的能力是有限的。 自然语言模型通常难以在长序列上保持连贯和多样化的生成，Evo也可能表现出类似的属性。 在基因组尺度上，Evo生成了兆碱基长的序列，展现出对基因组组织的高层次理解，但在包括关键标记基因（如完整的rRNAs）方面存在困难。 想交流AI生命科学的朋友，加入下面群聊，后面有可能组织打卡学习。

升级客户体验，加强数据保护，加速推进业务数字化 北京 2024年11月8日 /美通社/ -- 第七届中国国际进口博览会（以下简称"进博会"）于2024年11月5日至10日在上海举行。在此届进博会上，默沙东中国与亚马逊云科技共同举办庆典仪式，庆祝默沙东云战略在中国成功落地。基于亚马逊云科技覆盖全球的云基础设施、广泛而深入的云服务，以及引领行业的安全合规理念与实践，默沙东成功完成业务应用系统，数据平台以及高性能计算平台等迁移上云，为业务安全、稳定的发展提供更加坚实的技术基础，加速业务数字化转型与创新，并提升了客户的差异化体验。 默沙东云战略落地庆典仪式 默沙东是全球顶尖的研究密集型生物制药公司之一，为全球140多个国家和地区提供创新的医疗解决方案，推进人类和动物疾病的预防和治疗。自2020年起，默沙东中国就与亚马逊云科技开启合作，基于亚马逊云科技的基础设施与服务，构建安全、稳定、可拓展的云环境，推进应用整体迁移以及数据平台迁移。截至目前，默沙东核心业务系统已经全部上云。 默沙东将企业核心应用如商业运营平台，数据平台以及高性能计算平台迁移上云。基于托管式关系数据库服务 Amazon Relational Database Service (Amazon RDS) 简化业务应用后台数据库的设置、运维和扩展。利用对象存储服务 Amazon Simple Storage Service (S3) 和云数据仓库服务 Amazon Redshift 等服务构建湖仓一体的数据平台，进行大规模的数据存储，处理和分析，同时集成商业智能（BI）工具和下游应用，为企业提供数据洞察和决策。借助亚马逊云科技提供的高性能计算（HPC）服务，默沙东利用高性能计算资源进行肿瘤基因组学分析，促进药物靶点发现，加速创新药物研发与运维效率，以及为个性化精准治疗提供理论依据。 基于亚马逊云科技容器化服务与无服务器等技术，默沙东进行现代化应用架构升级，进一步提高企业信息架构和应用的敏捷性。基于Docker容器编排服务 Amazon Elastic Container Service (Amazon ECS) 和Kubernetes容器编排服务 Amazon Elastic Kubernetes Service (Amazon EKS) ，以及无服务器计算服务 Amazon Lambda ，默沙东可以轻松部署、管理和扩展容器化的应用程序，提升业务运维与部署效率，加速应用的快速构建与落地。 保障数据隐私与安全合规是生命科学行业在推动数字化进程中至关重要的议题。亚马逊云科技具有引领行业的安全合规理念和实践。亚马逊云科技负责云自身的安全合规，不仅保证底层云基础设施和云服务的安全和合规，还提供了超过300多项安全、合规和治理方面的服务与工具。亚马逊云科技的基础设施已获得全球130多项符合HIPAA要求的服务和认证，助力默沙东实现安全合规，加强数据保护。 默沙东全球高级副总裁兼默沙东中国总裁田安娜表示："我们非常高兴能与亚马逊云科技携手合作，借助其丰富经验、专业技术，以及在云服务、网络安全及人工智能方面的能力，推进业务数字化，增强客户体验并提高效率和生产力。我们的合作将助力默沙东继续走在前沿，践行中国医疗保健行业云战略、确保客户数据保护健全，将客户体验提升至新的高度。" 亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松表示："默沙东是一家拥有创新精神和前瞻性的全球生物制药公司，在生命科学行业拥有全球领先地位。通过将云与业务应用场景相结合，不仅能够为企业提供坚实的技术基础，还可大幅提升客户体验并创造更多价值。默沙东云战略在中国落地，是生命科学行业转型的领先案例。亚马逊云科技非常荣幸能够通过自身领先的云服务和深耕行业经验，支持默沙东加速在中国的数字化转型和创新。我们期待与默沙东长期合作，推出更多的创新方案，更好地满足客户的需求，提升客户体验。" 关于亚马逊云科技 自2006年以来，亚马逊云科技（Amazon Web Services）一直以技术创新、服务丰富、应用广泛而享誉业界。亚马逊云科技一直不断扩展其服务组合以支持几乎云上任意工作负载，目前提供超过240项全功能的服务，涵盖计算、存储、数据库、网络、数据分析、机器学习与人工智能、物联网、移动、安全、混合云、媒体，以及应用开发、部署与管理等方面；基础设施遍及34个地理区域的108个可用区，并已公布计划在墨西哥、新西兰、沙特阿拉伯和泰国等新建6个区域、18个可用区。全球数百万客户，包括发展迅速的初创公司、大型企业和领先的政府机构，都信赖亚马逊云科技，通过亚马逊云科技的服务支撑其基础设施，提高敏捷性，降低成本。要了解更多关于亚马逊云科技的信息，请访问： www.amazonaws.cn。