【新智元导读】5月发布的AlphaFold3有论文、没代码，让许多机构和团队纷纷开启了「复现AF3」的工作。率先做出成果的，是一家成立不到一年的初创Ligo，3位创始人全都是牛津大学的本科生。
谷歌DeepMind5月发布的AlphaFold3同时席卷了生物界和计算机科学界，被认为是「有诺奖潜力的成果」。
![]()
fmt=png&from=appmsg" data-type="png" data-w="1080" data-width="2050" data-original-="" data-index="2" src="https://pic.chinaz.com/2024/0909/2024090913392378800.jpg" _width="100%" alt="图片" data-fail="0" style="margin: 0px auto; padding: 0px; box-sizing: border-box; outline: 0px; border: 1px solid rgb(238, 238, 238); --tw-shadow: 0 0 #0000; --tw-ring-inset: var(--tw-empty, ); --tw-ring-offset-width: 0px; --tw-ring-offset-color: #fff; --tw-ring-color: rgba(41, 110, 228, 0.5); --tw-ring-offset-shadow: 0 0 #0000; --tw-ring-shadow: 0 0 #0000; max-width: 700px; background: url("../img/bglogo2.svg") center center no-repeat rgb(247, 248, 249); box-shadow: rgba(27, 95, 160, 0.1) 0px 1px 3px; display: inline-block;"/>
成就如此卓著、意义如此重大，AF3的成果公开自然让众多科学家翘首以盼。
然而，DeepMind团队却泼下了一盆巨大的冷水。他们只放出了论文，并没有公布任何相关的代码或模型权重。
![]()
FMt=png&from=appmsg" data-type="png" data-w="1080" data-width="1560" data-original-="" data-index="3" src="https://pic.chinaz.com/2024/0909/2024090913392378801.jpg" _width="100%" alt="图片" data-fail="0" style="margin: 0px auto; padding: 0px; box-sizing: border-box; outline: 0px; border: 1px solid rgb(238, 238, 238); --tw-shadow: 0 0 #0000; --tw-ring-inset: var(--tw-empty, ); --tw-ring-offset-width: 0px; --tw-ring-offset-color: #fff; --tw-ring-color: rgba(41, 110, 228, 0.5); --tw-ring-offset-shadow: 0 0 #0000; --tw-ring-shadow: 0 0 #0000; max-width: 700px; background: url("../img/bglogo2.svg") center center no-repeat rgb(247, 248, 249); box-shadow: rgba(27, 95, 160, 0.1) 0px 1px 3px; display: inline-block;"/>
emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Noto Color Emoji"; font-size: 16px; text-wrap: wrap;">AlphaFold是一项千载难逢的突破，对生物科学产生了巨大影响。我认为它的作者最终会获得诺贝尔奖，因为他们解决了一个70多年来一直无法破解的巨大问题。我基本上每天都在工作中使用它，指导药物发现和实验上有用的HBV聚合酶的工程设计。
最新版本的AlphaFold3比以前更强大。它已经在我的实验室中揭示了HBV RNA最初如何与聚合酶结合的结构。不幸的是，他们更改了此版本的使用许可，限制了其用于药物发现。
如今刚刚过去不到4个月，初创公司Ligo宣布——他们已经完成了AlphaFold3开源复现的工作。
项目地址:https://github.com/Ligo-Biosciences/AlphaFold3
这个成果相当激动人心，也得到了Figure创始人Brett Adcock的转发。
![]()
wpsZiaHKthicEh6ZFsERsCe0CpQe9HLg/640?wx_fmt=png&from=appmsg" data-type="png" data-w="915" data-width="915" data-original-="" data-index="5" src="https://pic.chinaz.com/2024/0909/2024090913392378813.jpg" _width="100%" alt="图片" data-fail="0" style="margin: 0px auto; padding: 0px; box-sizing: border-box; outline: 0px; border: 1px solid rgb(238, 238, 238); --tw-shadow: 0 0 #0000; --tw-ring-inset: var(--tw-empty, ); --tw-ring-offset-width: 0px; --tw-ring-offset-color: #fff; --tw-ring-color: rgba(41, 110, 228, 0.5); --tw-ring-offset-shadow: 0 0 #0000; --tw-ring-shadow: 0 0 #0000; max-width: 700px; background: url("../img/bglogo2.svg") center center no-repeat rgb(247, 248, 249); box-shadow: rgba(27, 95, 160, 0.1) 0px 1px 3px; display: inline-block;"/>
Ligo团队表示，他们正在使用AlphaFold3的想法来进行酶设计，于是顺便开启了支线任务——复现AF3。
作为生物分子的结构预测模型，AF3主要可以用于三类任务:
预测蛋白质结构
预测药物-蛋白质相互作用结构
预测核酸-蛋白质复合物结构
这是结构建模技术的根本进步，整个生物科技行业理应从中受益。其应用范围广泛，包括:
CRISPR基因编辑技术:科学家可以准确看到DNA如何与「剪刀」Cas蛋白相互作用
癌症研究:预测潜在药物如何与癌症靶标结合，AF3论文的亮点之一就是预测KRAS抑制剂与其靶标的复合物
抗体/纳米抗体的靶向预测:AlphaFold3在这一类分子上的准确性比现有的最佳工具提高了两倍
而此次Ligo发布的模型是在单链蛋白质上训练的，可以完成上述三项功能中的第一项，即预测蛋白质结构，其他两个功能将在不久后完成训练并发布。
GitHub仓库中目前仅公开了代码，但团队表示，一旦训练和基准测试完成就会发布权重，而且会使用Apache2.0许可证，实现「真正的开源」!
项目地址:https://github.com/Ligo-Biosciences/AlphaFold3
如何「复刻」AlphaFold3?
由于DeepMind在论文中发布了模型的完整架构，以及每个组件的伪代码，因此任何团队都有权复现。
但复现这件事，说起来容易，做起来难。
Ligo选择将其完全翻译为PyTorch代码，其中涉及到不少逆向分析和重构工作，远多出他们的想象。
复现过程中，他们也发现了原始论文中存在的多个问题，会干扰训练，恰好是深度学习领域的关注点，因此一并放出，供社区参考。
1. MSE损失缩放公式有误
如下图所示，公式中使用的是加号而非乘号;如果使用加法，就无法在高噪声水平下正确降低权重，且MSE在初始化时不是单位化的。
这与Karras等人2022年发表的论文不同，可能只是一个笔误。
原文地址:https://arxiv.org/abs/2206.00364