控制论与智能体编码中的“人在环上(Human-on-the-Loop)”
出处:
mp.weixin.qq.com
自 20 世纪 50 年代以来,软件开发的一大瓶颈始终是人类在终端前敲击代码的速度。而今天,这一限制正在悄然消退。随着能够自主生成、测试和重构代码的 AI 智能体(Agents) 的崛起,我们似乎即将彻底攻克这一历史性的效率瓶颈。然而,这也带来了全新的挑战:如今,AI 产出代码的速度极其惊人,以至于人类进行传统逐行手动代码审查的能力,反而成了新的瓶颈。在软件开发中,人类的引导和塑造依然不可或缺,因为最终的产出必须由人来负责 —— 并且理所应当,我们仍希望保持主导权。换句话说,我们需要有切身利益相关(skin in the game)的人参与到流程中,以确保 AI 智能体忠实地实现我们的意图。但是,如果我们坚持对每一个微小的代码改动都做“人在环中(Human-in-the-loop, HITL)”式的微观审查,我们不仅会限制系统的吞吐量,更会成为整个研发流程的“断裂点(fracture point)”。这意味着我们要么选择限制智能体的速度,要么沦为“无脑盖章(rubber-stamping)”的工具人,去批准那些我们并未真正理解的代码。