在他们看来，即便AI没能实现「递归自我改进」，即便算力的扩展陷入停滞，即便算法效率提升的速度放缓，AI的发展增速仍足以在不到10年的时间内，推动相当于100年的技术进步。
而且根据他的预测，未来AI还将高速发展——
训练算力还有约1万倍的增长空间；推理算力能保持1000倍增长；未来10年AI训练算力×算法效率×推理算力的乘积，将增长1000亿倍(10¹¹倍)！
而到了20年后，AI的技术研发实力总体上将和人类相当。
之后，AI还会继续发展，全面超越人类智能总和，而人类将面临前所未有的难题！
比如，新型的大规模杀伤性武器、AI赋能的专制政权等等，所以，现在我们就得为AGI做好准备，应对智能爆炸可能带来的各种令人迷失的方向。
十年内，比人类聪明得多的AI就将出现在接下来的十年内，我们很有可能会看到比人类聪明得多的AI。
如今的推理模型，已经让我们窥见了这一雏形。
那么，结果是非黑即白的吗？要么我们未能对齐 AI，导致人类永久失去权力；要么我们成功对齐AI，然后利用它解决所有其他问题。
并非如此。
能有意义地替代人类研究劳动力的AI的发展，可能会推动非常迅速的技术进步，将数十年的科学、技术和智力发展压缩到几年甚至几个月。
医学的进步，会大幅延长我们的寿命，丰富的物质，会让每个人都活得如同今天的亿万富翁。
但一系列危险，也如影随形：谁将控制超级智能，谁就会将人类接管。
还有一个新问题会出现：AI能力已经与人类相当后，人类还需要花多少精力，去研究AI？
假设AI能力已经与人类相当，由于电力限制，进一步扩大训练规模已不再可能，并且不存在软件反馈循环。
此外，可以假设计算推理的增长和效率提升比当前速度减缓约30%。
在此情景下，AI研究的工作量在达到人类水平后的十年内，仍将平均每年以5倍的速度扩展。
十年内，AI帮人类实现一个世纪的进步！在最激进的设想，可以假设集体AI能力很快就能达到与人类相当，同时在扩大训练规模和推理计算方面仍有很大的提升空间，并且AI自动化进行AI研发确实会形成一个软件反馈循环。
牛津教授的简单模型表明，AI研究大约1000倍的增长，将导致在十年内产生超过一个世纪的技术进步！
保守起见，可以假设围绕物理实验和资本的复杂性，意味着我们实际上需要在 10年内进一步增加10倍的认知研究努力 —— 即10000倍的增长。
但当前的趋势表明，在十年内，一旦AI达到人类水平，我们将获得AI研究能力的数千亿倍增长（如果计算规模停止扩展，甚至算法效率改进有所放缓）到百万兆倍增长（如果我们得到一个积极的软件反馈循环）。
因此，如果我们继续扩大AI规模，而没有集体同意减缓速度，那么十年内实现一个世纪的技术进步似乎是可能的！
甚至，更加惊人的加速也极有可能实现。
AI让科技提速10倍想想过去100年的技术进步，试想如果这些进展发生在十年里会怎样：
从第一次跨太平洋飞行到登月，仅仅四个月；
从曼哈顿计划到广岛长崎爆炸原子弹，仅仅三个月。
现在，设想一下在没有AI的情况下，100年后也就是2125年，你希望能看到的科学、知识和技术方面的所有进步。
然后想象一下，只要10年，有生之年这些都实现了！
牛津大学的哲学家和作家William MacAskill认为，AI能极大推进技术的进步：
即使没有软件反馈循环（即「递归式自我改进」），即使算力的扩展陷入停滞，算法效率提升的速度放缓，AI的发展增速仍然足够快，能够在不到10年的时间内推动相当于100年的技术进步。
趋势看起来很明显。
2019年的时候，当时最厉害的语言模型连话都说不利索。可到2023年初，语言模型不仅能流利地回答各种问题，而且掌握的常识比地球上任何人都要多得多。
在2023年初，在解答科学问题时，顶尖模型表现甚至还不如瞎猜。可如今不一样了，它们的表现已经比博士级别的专家还要出色。
上千人集体预测：AGI将在2030年来临。
AI的算力每年增加30倍目前，训练的算力和算法主导了AI的进步：
训练算力：自2010年以来，训练运行所使用的最大算力每年增加约4.5倍。
训练算法效率：根据当前趋势，训练模型所需的物理算力每年减少大约3倍。
把两个因素结合起来了，是衡量「有效训练算力」的标准——
即在没有任何算法创新的情况下，为了达到相同的模型性能，所需增加的原始算力。
预训练的有效训练算力每年增加超过10倍。
此外，在工具使用、提示方法、合成数据、创造性的生成和选择答案的方式以及各种其他方面，研究人员引入了「训练后增强」。
Anthropic非正式估计，训练后增强目前每年提供3倍的效率提升。
因此，就最先进的AI模型能力而言，相当于训练算力每年增长超过30倍。
随着训练规模越来越大，越来越好，AI模型质的进步也在不断涌现，表现形式微妙而令人惊讶。
为什么AI总体上能比人类聪明？目前，全球的整体研发投入增长缓慢，年增长率不到5%。
然而，AI在认知劳动方面的增长速度，比人类快了足足500倍。
这种趋势很可能会持续，直到AI的认知能力超越所有人类。
AI研发效能和人类认知研发效能增长速度比较
所以，一旦AI的认知劳动总量开始与人类的认知劳动总量相当，整体认知劳动的增长率将大幅上升，从而加速技术进步。
这并不是白日做梦：运行效率的提升和可用推理算力的增加，能让「AI总量」增长约25倍/年。
推理效率：有效训练算力大约翻倍时，相应的推理成本大致减半，目前有效训练算力每年增加约10倍。
推理算力：用于推理的算力增长速度大约2.5倍/年。
这些变化意味着，不仅是最先进的AI，而是所有的AI，性能会得到明显提升。
假设当前趋势继续发展，直到AI与人类科研投入大致持平。
假如AI研究员的有效数量与人类研究员数量相当，技术研发效能的增长速度会受到什么影响？
不妨假设训练进步完全等于推理效率提升，而更多的推理计算完全用于运行更多的AI。
现在已经看到，推理效率大致与有效训练算力同步提升，每年约增长10倍，推理算力每年至少增加2.5倍。
因此，如果继续维持当前趋势，直到AI研发效能与人类科研投入相当，AI研发效能估计将继续以每年至少25倍的速度增长。
即便如此，这也低估了AI研发效能的增长率。
至少，并没有考虑到超越人类水平的AI能力提升时，AI研发效能会增长得有多快。
为了理解这一点，不妨看一下人类研究员： 在大脑体积和文凭上，他们的差异相对较小。
但在某些领域，杰出的研究员的生产力可能是同行的数百倍。
还没有考虑来自训练后增强每年提升3倍有效训练算力，这能让年增长率从25倍提高到75倍。
结合考虑，AI研发效能的增长率可能远超这一数字。
AI究竟还有多大进步空间？规模化和效率提升的趋势，还能持续多久？
训练算力方面：规模最大的训练任务还有约1万倍的增长空间（很可能在未来十年内实现）。
之后由于电力等因素，很难再增长。即便突破电力限制，芯片产能、数据稀缺性和硬件延迟也将成为新的天花板。
训练算法效率：如果保持算力扩张与效率提升的现有比例，训练算法效率还能提升1000倍。
这意味着有效训练算力在未来十年将比现在增长1000万倍——相当于每年约5倍的有效算力提升，低于目前每年≥10倍的增长速度。
推理算力方面：合理推测同期推理算力也将实现1万倍增长，保持每年2.5倍的增速。
保守估计，若AI进步仅依赖规模扩张而不突破其他维度，测算规模上限可推知AI研发效能：
未来十年AI总体研发效能（训练算力×算法效率×推理算力的乘积）将增长1000亿倍(10¹¹)，年均增速略超10倍。
哪怕十年内在物理层面遭遇瓶颈，但算法的进步却可能大幅提速。
因为AI模型自身，可能会促使软件技术显著改进，包括AI算法、数据处理、训练后强化等。
这将催生出更强大的AI，进而推动算法进一步发展，形成软件反馈循环，使AI能力持续提升，而无需额外的物理资源投入。
不过，并非必然会出现软件反馈循环。
多数新技术充其量只是提升研究员生产力的手段，难以驱动自我维持式的进步。从理论上讲，AI也可能面临类似状况。
即便「数字机器学习（ML）研究员」能够取代人类研究员，进展仍可能放缓：第一代数字ML研究员或许能让下一代AI研究员的表现翻倍，可第二代可能仅提升1.5倍，依此类推。
最终，进步只是短暂性的，而且随时间逐渐速度还在下降。
要实现快速且持续的发展，投入翻倍至少产出需要翻倍，且需重复多次。
然而，根据对软件领域经验估算显示，认知投入（研发效能）翻倍，通常能使软件性能或效率提升超过一倍。因此，有理由认为，由AI驱动的软件反馈循环，极有可能推动AI性能与效率加速提升。
当然，反馈循环无法无限加速，软件反馈循环最终必然趋于饱和。
但当前算法效率，远未达到理论上限。
据计算，大语言模型（LLM）的学习效率，约为人类的十万分之一（基于成年人大脑的计算能力），且这一上限很可能远超人类大脑的效率。
所以，若能成功构建软件反馈循环，AI能力在十年内，或许能让有效训练算力增长至100万倍，实现约一万亿倍（10¹²）的有效训练算力增长，或者使推理计算与有效训练计算的乘积增长至10¹⁶，即每年增长约40倍。
无论怎样，推理算力与有效训练算力的乘积，至少会以600倍的速度增长，远超人类认知劳动对技术进步的贡献，且仍有极大的提升潜力。
20年后，AI与人类平起平坐在未来二十年内，AI研发投入量将等于人力研发投入。
这意味着AI系统可以共同执行几乎所有与研究相关的认知工作。
而这些工作，以前只有人类能完成。
由于规模化驱动了如此大的进步，甚至可能在未来十年，AI就接近人类认知，在规模扩展遇电力和其他实际限制之前。
而即使在规模化显著放缓之后，算法进展仍然可能推动AI继续前进。
无论如何，AI与人类在认知上平等，可能只是几年之遥。
为了验证这一点，可以直接看看AI能力的提升情况。
在博士级科学问题的基准测试GPQA上，GPT-4的表现仅略优于随机猜测。18个月后，最好的推理模型已经超越了博士级专家。
不同模型在博士级GPQA Diamond基准测试上的准确率这种迅猛的发展，极有可能催生出超越人类顶尖研究者能力的AI，而且几乎覆盖所有关键认知领域。
未来五年内，即便训练算力扩展不能达成目标，预训练算法效率的提升、后训练增强技术的进步、推理效率的提高以及推理算力的增长，仍将推动AI研究不断向前，突破物理扩展受限和训练数据不足的阻碍。
所以，虽然难以确切预估时间，但在未来几年，AI极有可能达到甚至超越人类顶尖研究水平。
AI研究总量指数级增长一旦超越了人类顶尖研究水平，AI的总体研究能力将呈指数级增长。
可以想象，最初或许会出现约十万名相当于人类专家级别的AI研究员。
其中，多数可能专注于优化下一代AI，或投身于其他回报丰厚的科技领域。
随着有效计算能力的提升和推理算力的增加，认知投入可能会成倍增长，迅速超越约一千万在职人类研究员。
继而超过全球八十亿人口的认知总和。此后，总体能力还将持续翻倍增长。
实际上，特定领域的AI应用早已展现出超越新增人类研究员的推动作用。
例如，谷歌DeepMind的AlphaFold，已预测出超过2亿种新蛋白质结构。
对于人类而言，哪怕有100万的研究员，要耗时多年做实验才能完成。
而且，通用型AI不会局限于人类研究员技能，还会不断开拓创新。
AI能比人类强多少？这取决于两个关键变量：当前AI能力距人类水平的差距，以及持续快速提升的整体潜力空间。
保守预测：在达到人类水平后十年内，AI研发效能将保持年均5倍增速。
假设AI能力在达到人类水平时，训练算力已因能源限制无法继续扩张，且不存在软件自我迭代的正反馈循环。同时，推断算力增长与算法效率提升速度较当前放缓约30%。
激进预测：AI集体能力将短期内达到人类水平，但满足2个假设条件：
扩展空间充足：训练算力与推理算力仍存在巨大提升空间
正反馈循环形成：AI自动化研发切实产生软件自我迭代效应
人类岔路口一般来说，技术进步使生活变得更好、更轻松。
但它也常常带来重大挑战，比如：核武器、监控技术、气候变化、工厂化养殖的恐怖。
而且错失了很多弥补的机会，就像当初对待核能那样。
也就是说，技术带来了许多「重大挑战」：人类进步道路上的岔路口。
由AI驱动的技术变革将带来许多新的重大挑战。
首先，部分人可能会指挥AI帮助他们获取并巩固特权。
AI还可能赋能或扭曲集体推理。
AI说服力超群，可能找到并传播病毒式的观念，或对提问者提供「为达目的，不择手段」的马基雅维利式建议。
更有可能的是，AI将增强人类的推理能力：
超级智能ASI，可以指导人做出最重要的决策；AI超级预言家，则能让人对未来有更清晰的预见。
确保真正利用AI帮助人类做出更好的决策，将是在加速技术变革时期做出正确决策的关键。
还将面临如何与AI系统共存的问题，而且AI系统很快会超过全球总人口。
同时，也会有关于如何治理外太空的问题——如何管理在太阳系内争夺资源的竞争，甚至如何去开拓新的恒星？
在AGI出现后，这一切变得更加容易。
AI进步可能带来的收益是惊人的：物质上的丰盈，今天的亿万富翁都会嫉妒。
这提供了目前就可以达成的协议，使每个人的生活都比现在更好——
这样每个人都能分得这块巨大的未来蛋糕。
如果抓住这个机会，AI可以在协调、保护和民主方面为人类提供有意义的帮助。
AI甚至可以自动化政策分析和良好判断，帮助我们更好地思考其他挑战。
但是，如果能够让超级智能与人类对齐，难道不能利用它解决其他问题吗？难道我们可以推迟准备吗？
在许多情况下，这是正确的。
但并不总是如此，原因有三：
在拥有对齐的超级智能来帮助人类之前，许多挑战就已经出现了。一些机会窗口会提前关闭。需要确保超级智能能在正确的时间，给正确的人提供帮助。