奥多码,点击查看详情 97CDN云盾,点击查看详情

中科院计算所团队提出CarbonNovo,基于AI进行蛋白质结构和序列的端到端从头设计

       
广告2021-06-03到期2021-07-03广告2021-06-03到期2021-07-03
       
广告2021-06-03到期2021-07-03广告2021-06-03到期2021-07-03

中科院计算所团队提出carbonnovo,基于ai进行蛋白质结构和序列的端到端从头设计

编辑 |ScienceAI

作者 |计算所张海仓团队

近期,中国科学院计算所张海仓带领的研究团队提出了 CarbonNovo,以端到端的方式联合设计蛋白质主链结构和序列。

该研究以「CarbonNovo: Joint Design of Protein Structure and SequenceUsing a Unified Energy-g | ~ E 1 Sbased Model」为题发表在M 2 7 2 [ M * p机器学习会议 ICML 2024上。

中科院计算所团队提出CarbonNovo,基于AI进行蛋白质结构和序列的端到端从头设计

背景介绍

蛋白质是生物执行功能的重要大分子。蛋白质从头设计旨在创造全新的蛋白质,在药物开发和酶工P 8 6 j程中有着广泛的应用。

近几年,基于 AI 的蛋白质从头设计快速发展,已\ 7 d被成K : g功应用于抗体设计、小l 4 ) ( ` 2 & ^ ~蛋白药物设计等领域,和传统设计方法相比,其显著提高了设计成功率和效率z * _ . & R

AI 蛋白质设计得益于近几年的两大技术突破:

一是蛋白质结构预测领域的 AlphaFold2 模型,它为蛋白质计算领域包括蛋白质0 p c !设计领域,提供了基础的神经网络模型架构、蛋白质序列表示和结构表示方法、以及先进的训练策略(蒸馏训练、端到端训Q o y _ g $ r m X练)等技术;

二是 AIGC 在文字、图像、视频生成领域的快速发展,为蛋白质设计提供了成熟的生成模型,例如 DDPM, SDE, Flow Matching,Bayesian Flow Network 等。代表性的蛋白质设计模型,例如 RFDiffusion 和 Chroma 等6 t E \ ` K,主要思路都是7 y 8 o U m q =将这两大技术融合,将蛋白质的序列和结构表示网络嵌入到基于 AI 的生成模型框架中。

中科院计算所团队提出CarbonNovo,基于AI进行蛋白质结构和序列的端到端从头设计

图 1:r e j 2 ) a蛋白质从头设计的「两阶段」框架。(来源,作者)

蛋白质从头设计主要包含两个步骤,蛋白质主链结构设计和序列设计(图1)。相应地,当前的主流模型通常采用「两阶段」框架进行:在训练过程中,结构设计模块和序列设计模块分别训练;在推断过程中,首先生成主链结构,然后为主链结构生成最优序列。代表性地,V X / w领域内使用 RFDiffusion 和ProteinMPNN 这两个软件,依次生成主链结构和序列。

蛋白质从头设计的「两阶段」框架存在固有的局限性:

(1) 序列设计模块面临过拟合风险。序列设计模块q ~ k是在准确的结晶结构上训练的? 2 , E $ s ; o,而在推断阶段,结构模块生成的结构是包含噪音的w 9 : h d `,其准确性与晶体结构不一致。
(2) 序列设计模块缺乏与结构设计模块的交互,设计序列无法为结构生成模块= j e提供反馈以进一步优化生成的结Y H 4 V w 5构。

CarbonNovo进行端到端的结构` Y o _ r a k : `和序列联合设计

针对蛋白质设计「两阶段」框架的局限性,中科院计算所张海仓带领的研究团队提出 CarbonNovo,以端到端的方式联合设计蛋白质主链结构和序列。论文近期已于近期发表在机器学习会议 ICML 2024 上。

中科院计算所团队提出CarbonNovo,基于AI进行蛋白质结构和序列的端到端从头设计

图 2:CarbonNovo 端到端生成蛋白质结构和序列。(来源:论文)

CarbonNovo 的主要贡献总结如下:

1)设计了基于能量的生成模型,以端到端的方式设计主链结构2 S z & } W和序列(图 2)。之前的+ f 2 # @ D * I 4结构-序列联合设计模型主@ a { O O v (要针对抗体等特殊的蛋白质家族,Cu A \ – f F |arbonNovo 是第一个针对所有蛋白质家族的结构-序列联合设计模型。
2)基于U ? 9 i d J y x network recycling 技术Q x (,CarbonNovo 首次将蛋白质语言模型引入蛋白质结构设计任务,以利用海量天然蛋白质序列数据B x `包含的先验信息。
3)CarbonNovo 采用多种技术,以提高结构-序列联合生成模型的训练和推断效率,例如多阶段训练策略和用于序列采样的离散 M-\ F e n e # t bH Langevin 算法

蛋白质结构-序列的联合能量模型

中科院计算所团队提出CarbonNovo,基于AI进行蛋白质结构和序列的端到端从头设计

在经典物理模型下,天然蛋白质构象具有比较低的自由能,这也Q S 7 9 7 l e P %是蛋白质结构预测和设计的一般假设。基于此,C( l T C 3 h \ !arbonNovo 建立了c q o蛋白质结构和序列的联合能量模型:

1) 采用4 r 8 ; ~SE(3)空间的扩散模型刻画主链结构能量。最近的一些研究,无论是在训练目标还是推理策略方面,都已将扩散模型统一在能量模型(Energy-based model)下。
Carboy 8 V $nNovo也是基于此,将AI模型下的能量和经典物理模型下的能量联系在一起。需要指出的是,主流扩散+ _ d N = ;模型H 9 X W 5 N H(例如 FrameDiff 和 Ges U – Z U o E N =nie)只是用IPA (Invariant Point Attel 0 2 =ntion network)作为生成网络。而 CarbonNovo 引入了 AlphaFold2 模d 2 b L型里的三角更新网络,也是该工作的创新之一。
2) 采用 amortized Potts 模型刻画给定主链结构下的序列能量。Potts 模型是\ 7 Q经典的能量模型,在蛋白质结构n Y 1预测领域被用来学习同源序列中的共进化信号。CarbonNovo 利用学习到的结构表示来参数化 Potts 模型,建立给定结构条件的序列能量模型。

图 2 展示了 CarbonNovo 的具体生成过程b c [ = Z \ +:

1) 基于扩散模型设计出T E ! Q 6 I o f当前时间步的主链结构。
2) 给定当前的主链9 # C x结构,基于 Potts 模型设计出可能的序列。
3) 通过 networ, c N x { ) U D Wk recycling 机制,将中间序列的语言模型表示回传到结构模块来帮助生成更一致的序O ) j X p 7列-结构,实现了结构模块、序列模块和预训练语言模型的统一。

Carbon{ f T o & 3 n t 4Novo 生成蛋白质结构-序列的性能评测

中科院计算所团队提出CarbonNovo,基于AI进行蛋白质结构和序列的端到端从头设计
图 3:CarbonNovo 和「两阶段」设计模型的性能比较。(来源:论文)

论文采用多种指标充分评价了 CarbonNovo 在蛋白质从头设计方面的性p l % 1能 (图 3),例如,可折叠性、多样性、新颖性是领域内常用的评价指标。此外,论文还采用了RosettaZ 7 s $ R 能量和语言模型下的似然概率(Sequence plausi@ 9 % I . S a E pbility)作为评价指@ y x B ! h M \标。

CarbonNovo 和当前主流的「两阶段」设计模型做了比较,例如 RFdiffusion, Chroma, Genie, FrameDiff 和 FrameFlow。在最关键的可W 8 a ;折叠性指标上 CarbonNovo 显著超过了所有基线方法,在其他指标上也显著超过基线方法或者和基线方法相当。

为了展示 CarbonNovo 在` : X s联合设计序列与结{ 8 6构方面的优势,作者还对比了使用 ProteinMPNN 生成序列的结果(图 3 a-c)R j J g T $。可以观察到,联合设计模型可以设计出更加匹配q p O ; |的蛋白质主链结构和序X D . h W )列。

中科院计算所团队提出CarbonNovo,基于AI进行蛋白质结构和序列的端到端从头设计
图 4:在不同蛋白质长度下的性能比较。(来源:论文)

作者进一步评估了 Caf M crbonNovo 在不同长度的蛋白质设计上的性能(图 4)。在设计比较短的蛋白质时(. / 3 U $ ( O :例如长度 100),各个模型的表现相当。而随着蛋白质长度增长,CarbonNovo 的设计性能显著优于「两阶段」设计模型。

W { 9融实验

中科院计算所团队提出CarbonNovo,基于AI进行蛋白质结构和序列的端到端从头设计
图 5:消融实验结果。(来源:论文)

作者训练了多个消融模型,以评估关键j & / U P g I f组件对 CarbonNovo 性能的相对N Z v a贡献(图 5)。语言模型、序列设计模块和辅助训练j N I = q损失{ N u M P对 CarbonNo{ ) t =vo 的性能都有贡献。其中,语言模型的引入表现出最显著的贡献。此外,使用基于能量的序列设计模块相比自回归模型,也能显著提升序列设计的性能。

Ca~ \ [se study:蛋白质结构「插值」

中科院计算所团队提出CarbonNovo,基于AI进行蛋白质结构和序列的端到端从头设计

图 5:从 all beta-sheets 结构到 all alpha-helices 结构的渐变。(来源:论文)

在图像生成领域,人脸图片插值/渐变是生成模型比较经典的应用。作者也尝试利用 CarbonNovo 进行蛋白质结构的插值。

图 5 展示了一个代表例子,随着在隐空间逐渐增I l H ; Z o 1加 all alpha-helices 结构向量的权重,生成的 all betav * T-sheets 结构会逐渐过渡到 all alpha-helices 结构。

这是领域内第一个关于蛋白质结构的插值实验,也体现了 CarbonNovo 学习到的蛋白质隐空间比较紧} 9 \ + { 3致。

结语

最后作者指出,虽然 CarB _ @ M 7 Q 2 \bonNovo 主要侧重于P O , + , 5 h [蛋白质单体设计,但它也可以很容易被扩展到蛋白质复合物设计和条件设计,如多肽设计、抗体设计等。

作者团队目前在跟生物实验团队合作,通过湿实验的方式验证 CarbonNovo 设计的蛋白质。

作者所在 CarbonMatrix 团队,长期致力于 AI 蛋白质设计和 AI 药物设计,正在建立生物大分子结构设计和预测的统一生成模型。

其研q B f p \ c G y究成果多次发表在 ICML、NeurIPS 等顶级机器学习会议和Nature Machine Intelli; l U & ygence、Nature Communicatiov Y : v 8 ? rns 等顶级学术期刊上,目前也W W Y I M在和生物实验室合作,积极推动 AI 模型在药物设计领域的产业化落地。

论文链接:https://openreview.net/pdf?id=FSxTEvuFa7w # n r
代码链接:https://github.com/zhanghaicang/carbonmatrix_public

以上就是中科院计算所团队提出CarbonNovo,基于AI进行蛋白质结构和序列的端到端从头设计的详细内容!

本文由【好易之】整理自网络!
原创文章,作者:【好易之】如转载请注明出处:https://www.zhengjiaxi.com/zxwd/itzx/116975.html
如有侵权,请邮件联系 aoduoye@qq.com 删除。
本站发布的文章及附件仅限用于学习和研究目的;不得将上述内容用于商业或非法用途,否则后果请用户自负。
本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。
如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。如有侵权请邮件与我们联系处理。
(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
好易之的头像好易之站长
上一篇 2024-12-25 11:34
下一篇 2024-12-25 11:34

相关推荐

发表回复

登录后才能评论

联系我们

400-800-8888

在线咨询:点击这里给我发消息

 

工作时间:周一至周五,9:30-18:30,节假日休息

关注公众号
请查看头部文章来源地址!本站所有内容均为互联网收集整理和网友上传。仅限于学习研究,切勿用于商业用途。否则由此引发的法律纠纷及连带责任本站概不承担。