这是艾伦研究所(Ai2)的研究员Nathan Lambert,在最近结束中国之行后,发自内心的一番感慨。
在Nathan眼里,国内的LLM圈子简直是天堂,大家彼此尊重、即便立场不同也客客气气的。
这次来中国的36小时,Nathan几乎把国内AI圈打卡了个遍,月之暗面、智谱、清华、美团、小米、千问……都有深度交流。
实在太真诚了,连MiniMax都跑来前排围观,表示希望下次Nathan的「中国行」能把上海和深圳也安排上。
今天做一个好的LLM,靠的是从数据到架构到RL算法,全栈每个细节的打磨。每个环节都能榨出一些提升,但怎么把这些提升拼到一起,是一个极其复杂的多目标优化问题。
大家都想让别人按自己的想法做事,有实验室需要花钱安抚顶级研究员,才能让他们别再抱怨自己的想法没被采纳。
中国实验室的核心贡献者有大量都是在读学生,在这里,学生被当成同事直接参与核心研发。
反观美国呢?OpenAI、Anthropic、Cursor这些顶级公司干脆就不开实习。
Google这类公司名义上会有和Gemini相关的实习,但事实上,大家会担心实习生会被隔离在边缘区域,接触不到核心工作。
过去几年LLM的关键范式从Scaling MoE,到Scaling RL,再到Agent,每一次转换都需要疯狂吸收新的上下文。
Nathan还注意到一件有意思的事。当他问中国研究员对AI的经济影响或长远社会风险有什么看法时,很多人的反应是——
不是不想回答,是真的觉得不关他们事。他们的任务就是做出最好的模型,其他的事,不是他们操心的范围。
而硅谷文化也在推动一种新的成名路径,也就是成为明星AI科学家。所以大家乐忠于上Dwarkesh、Lex Fridman这种超级播客节目。
一位研究员引用了Dan Wang那个经典说法,很精辟:中国是工程师治国,美国是律师治国。
2、刚进入AI构建领域的人,不受上一轮AI炒作周期的路径依赖束缚,因此能更快适应新的现代技术。
3、更少的自我意识,让组织结构能稍微更好地扩张,因为更少有人试图钻组织系统的空子。
他下了飞机,去酒店的路上顺便就拐进了阿里巴巴北京园区。然后在36个小时内,他依次去了智谱、月之暗面、清华、美团、小米、零一万物。
在中国的AI圈,实验室之间更像是一个生态,而不是互相厮杀的部落。在很多私下交流中,大家对同行都是尊重的。
所有实验室都对字节跳动和豆包保持高度关注,在Nathan看来,字节是中国少数走闭源路线推进的大模型玩家。
聊完文化,Nathan接着聊了聊产业层面他观察到的几个关键差异。我挑几个最有意思的说。
一直有一种说法:中国AI市场会比较小,因为中国公司不太愿意为软件付费。Nathan认为这个判断只对了一半。不愿意花钱的部分对应的是SaaS生态,这在中国确实很小。但中国有一个庞大的云计算市场。
但在Nathan看来,中国人的逻辑是:LLM显然会成为未来科技产品的核心,所以必须自己掌握。
开源不是信仰,是实用主义——它能获得社区反馈,能回馈开源生态,也能帮助他们更好地理解自己的模型。
Nathan听说过Anthropic和OpenAI动辄花1000万美元以上买单个RL训练环境,每年累计花费数亿美元来推动前沿。
所以自己做更靠谱。一般来说研究员们会亲自花大量时间搭RL训练环境,字节和阿里这种大公司则有内部数据标注团队。
Nathan表示,来之前就知道自己对中国了解甚少,走了一圈之后反而更强烈地感受到,自己根本不了解这块土地。
在Nathan跟几乎所有中国领先AI实验室交谈后,他发现中国有很多特质和直觉,是很难用西方的决策框架去建模的。
它们不会认为自己构建的每一个模型都必须开源,但都非常有意愿支持开发者、支持生态,并且把开源进一步了解模型的一种方式。
如果说我不希望美国实验室在AI的每个领域都保持明确领先——特别是在开源模型这块——那我就是在骗人。
Nathan报告原文: https://www.interconnects.ai/p/notes-from-inside-chinas-ai-labs
量子位 QbitAI