当AI开始制造AI

外星文明发现，人类没有记忆遗传，每一代都需要重新学习，却依然发展出了能够进入太空的文明。它们难以理解，这个物种怎样积累知识。 这个故事写出了人类进步的一项成本。前人的知识能够留下，后来的人还得花时间读懂。论文可以复制，培养一个能够继续研究的人，要经过很多年。 今年9月29日，特朗普签署行政命令，要求美国行政部门在法律允许的范围内，将官方通信和非法律文件中的AI改称SI，也就是超级智能。 Google的AlphaEvolve用Gemini提出候选程序，运行并评价结果，再沿着表现较好的方案继续修改。Google披露，它找到的一项优化让Gemini中的关键计算核加速23%，对应整个训练时间缩短约1%。支撑这套系统的模型，已经用到了它帮助发现的改进。 理解它，可以先抓住一个问题。一次改进得到的能力，能不能让下一次改进更容易发生？如果每一轮都能提高研究效率，模型的进步速度也可能跟着变化。 我们习惯了一代代人接着研究。新人学习已有知识，再尝试补上一点。AI若能承担更多研发工作，知识转化为下一项发现的过程，就可能少等一些人的成长。 ASI，也就是人工超级智能，描述的是一种能力目标，通常指在广泛的重要领域超过人类的智能。RSI描述的是改进过程。一个系统可以在有限任务上自我改进，却远没有达到超级智能；超级智能也未必只能通过RSI实现。 AlphaEvolve的1%改善，已经有具体的工程用途。至于无限自进化，仍然是需要验证的远景。反复修改同一段程序，也可能很快用尽容易改善的地方。 我们平时问AI，已经见过这种情况。同一个问题，换一种问法，答案可能就变了。它可以把一件事解释得很流畅，也可能把错误解释得很流畅。回答更像那么回事，和回答更接近事实，之间还有距离。 另一种，是改进自己寻找改进的方法。它开始调整实验怎么做、方案怎么选，让下一次研发更有效率。人类交给它的工作，由完成一道题，逐渐扩大到研究怎样才能更好地解题。 方法可以变，判断方法好坏的依据却需要说清楚。一套方案省下了时间，但增加了错误，我们愿不愿意接受？它给出了更漂亮的结果，可别人无法重复验证，这算不算进步？ Klarna的一次实验就遇到了这个问题。据其工程团队介绍，他们用AI寻找更快的训练代码，有些候选方案确实跑得很快，却无法保证相同条件下得到可复现的结果。工程师后来把这项要求加入筛选条件，不能只看速度决定采用哪个方案。 这个例子并不意味着AI已经失控。它说明了一件很具体的事，系统可以找到符合某项指标的好办法，但那项指标未必涵盖了我们对“好”的全部要求。漏掉的要求，仍然需要有人补上。 如果未来连评估方法也交给AI改进，问题还会继续往前走。它提出了一套新的测试，认为比旧测试更有效，谁来确认这套测试没有放过原来能发现的问题？如果仍然只让同一个系统证明自己正确，我们就需要警惕这种证明究竟有多可靠。 因此，我认为，自进化可以探索新的方法，但安全边界不能仅凭系统自己的评价就被取消。允许它寻找更快的办法，不等于允许它自行放宽原来的限制。即便评估工具由AI协助开发，也需要独立检查和实际验证。 这也关系到企业怎样讲述自己的进步。研发速度、模型分数都容易拿出来展示，可靠性和安全性则往往需要更长时间才能确认。开发者既从技术进步中获益，又参与制定评价标准，它们的判断值得听，但不能成为唯一的判断。 我们需要关注的，因而不只是AI能不能自己研究AI。还要看哪些要求始终有效，谁有权修改这些要求，以及出了问题以后，谁能叫停。 过去，模型更强，主要可以用来吸引更多用户。现在，更强的模型还能帮助自己的研究团队写程序、做实验。倘若这些工作持续有效，公司就可能更早做出下一代模型，再用它继续参与研发。 一家公司可以选择晚一点投入，等技术成熟再跟进。但如果竞争者先找到了有效的方法，它等待的这段时间，可能让对方积累起更好的研发条件。等到路线得到证明，再追赶就未必只差一次模型发布。 当然，提前投入也可能失败。实验需要花钱，做得更多，也不保证发现更多。企业面对的是两种都无法提前算清的代价，投入可能没有回报，等待可能错过机会。 Anthropic公开讨论过类似的困境。它认为，放慢研发能够给社会更多准备时间；但如果只有部分公司放慢，其他竞争者继续推进，结果可能只是换了一家领先的公司。 一家公司的决定，只能约束自己。它停下来，无法保证竞争者也停下来。即使大家都知道这条路线还有很多问题，谁先等待、等待多久，仍然很难达成一致。 但我对这种竞争有一个担忧。当企业越来越在意别人走得多快，它判断一项技术值不值得推进的标准，也可能发生变化。技术能够解决什么问题，需要承担什么代价，逐渐让位于一个更急迫的问题，竞争者是不是已经开始了？ RSI尤其容易放大这种压力。它承诺的收益，包含了更快取得下一次进步的可能。错过一次，企业担心的便不只是少卖一款产品，还有此后的研发差距。 我愿意看到AI参与制造下一代AI。许多难题值得研究，也有许多人等不起漫长的研究过程。如果自我改进能够让新的发现更早出现，让更多人用得上这些成果，我们有充分的理由期待它。 《乡村教师》里的教师，把已有的知识交给下一代，让后来的人有机会继续向前。到了AI参与研发的今天，我们有望缩短这段积累的时间。但怎样使用新的能力，什么风险可以接受，仍然需要人来判断。 我们希望制造出更强的智能，也应该对它提出更高的要求。下一代AI到来的时候，人应当拥有更多选择，更有能力决定自己的生活。这样的进步，值得我们加快脚步。