家里换个收纳位置,过几年再收拾,说法就从归置变成整理、再变成断舍离。东西还是那件东西,叫法换了一轮。技术领域也有这种事,换得更勤,勤到外人容易以为每次都是全新发明,其实是同一条线索被反复重新命名。
叫法一多,麻烦跟着来。讨论的人各说各的,听着像三件不同的事;真要问到底做到哪一步,又发现谁都没把边界画清楚。给同一条线索理名字,看着像考据,实际是在给后面的判断打地基。
据某媒体报道,李飞飞与杰夫·迪恩有过一场公开对话,主题就是这件事:让机器参与改进机器自己,这个概念几十年里换过多少个名字。本文只把它当作一段可查的公开讨论,不写具体平台与时间,也不替对话补现场。
一个词换过的名字
据某媒体报道,李飞飞在对话里顺手理了一遍这条线:做研究生时叫增量学习,后来叫持续学习、元学习、终身学习,再往后是架构搜索,如今叫自我改进,以及递归自我改进,英文缩写 RSI。名字一路在换,问的问题却差不多。
这几个词各有各的来处。增量学习盯的是新数据怎么一点点加进去,持续学习怕的是学了新的忘了旧的,元学习关心能不能学会怎么学,架构搜索则把模型结构本身当成可以搜的对象。切口不同,贴的标签自然不同。
她把这种梳理的目的说得很轻,据某媒体报道,是想把虚构和事实分开。这句话值得停一下:一个词被叫得越响,越容易让人以为背后的能力也已经到位。先把叫法摊开,才好问一句,今天到底做到了哪一步。
十年前的那段代码
据某媒体报道,迪恩把线索往回拨到大约十年前:当时与几位同事做过神经架构搜索,让一个模型去找出适合某类任务的好结构,再把结果喂回下一轮。这可以看成递归自我改进的一个很早的版本,只是那会儿没这么叫。
用大白话说,那有点像让机器自己试着搭积木:搭一种,量一量好不好,留个记录,再换一种。人在旁边定好能挑哪些积木、按什么规矩挑,剩下的重复试验交给机器跑。跑得多了,确实能挑出人未必先想到的搭法。
差别在怎么把要求说给机器听。据某媒体报道,那时得写一堆 Python 代码,把可选的搜索空间一条条指定清楚;今天则可以直接用自然语言交代任务。同一件事,从写死规则变成把话说清楚,门槛低了不止一点。
一句话交给模型
据某媒体报道,他举过一个更贴近今天的用法:对一个能力很强的模型加上智能体系统,请它去探索可能有助于解读磁共振图像的模型架构,它就会自己去做。本文不把这句写成带引号的原话,只留住这个意思。
这里的智能体系统,可以理解成一个会自己拆活、自己试着办、再看结果调整下一步的帮手。过去这份拆活得由研究员写成代码,如今一句交代就可能起步。变化不在机器忽然变聪明,而在人把要求递过去的那一道手续短了。
后半句更关键。据某媒体报道,他补了一句限定:如果能让这类东西可靠地工作,会解锁很多东西,尤其对科学和工程。可靠两个字比解锁重要,一次做对不算本事,回回做对、错了能收住,才谈得上往下交活。
循环能不能无限快
这场讨论里有个不常被提起、却很实在的点。据某媒体报道,迪恩不否认这类循环能加快研发,但提醒它不会无限快:要跑计算,要等结果出来,要把数据存下,再让下一个模型去看,每一步都占时间、占机器。
一个实验夜里两点跑完,人早上八点回桌前才看结果,跟系统自己看结果、自己定下一步,是两种节奏。自动化的好处是把中间那段干等省掉,可实验该跑多久还是得跑多久,计算机不会因为你把循环接上了就少算一步。
换句话说,瓶颈不只在想法,还在硬件和工序。再自动,也得等计算机把活干完。把这段物理限制讲清楚,比争论概念叫法更接地气:它提醒人,一个能自我改进的系统,仍踩在机房、电力和时间这些实打实的东西上。
定义之争为哪般
名字多,未必是坏事。每一代研究者从自己那块切入:有人盯数据怎么一点点加,有人盯模型结构怎么搜,有人盯经验能不能攒,切口不同,起的名字就不同。等到模型能听懂自然语言,这些散着的线才被归到同一个词底下。
真正争的其实不是叫法,是边界。说自我改进,得答清楚改的是某一道题的解法,还是改的那个系统本身;说递归,还得再答一层,改系统的本事有没有跟着一起被改。边界不划,热闹的词就容易把没做到的事也包进去。
自我改进和递归自我改进,也不是一回事。据某媒体报道,对话里用做饭打过比方:同一道菜多练几次做得好一点,是前者;连做菜的本事、看菜谱的方式都被改写,才靠得上后者。这个比方把抽象词拉回了灶台边。
没写进去的部分
有几处本文特意留白。几位同事的具体姓名,公开信息里没能逐一与原始出处对上,只写与几位同事;对话里没有明说的去留与因果,也不替它补齐。凡核不到原话的措辞,一律改成不带引号的间接转述,并冠上据某媒体报道。
也正因为只认间接转述,本文不写那场对话发生在哪个平台、哪一天、现场坐了谁。转载的实录能作线索,坐实原话还得回到原始发布;这一步没走完,宁可把话说得笨一点,也别让读者把转述当成逐字记录。
还有一些热闹没凑:不写某种终点已经临近,不渲染概念自带的想象空间,也不评价任何一家公司做得对不对。一个词换了六个名字,值得写的是这条线怎么一路走过来,而不是替它预告下一步会走到哪儿。
免责声明:本文基于公开信息撰写,仅供读者参考,不构成任何投资建议。