第三百零四章 把才能留在这里 (第2/2页)
en predictor（下一个词元的预测器）有什么区别？”
“区别不在输出形式，而在内部表示的约束。”章闻铎推了推眼镜，“Next-token predictor只需学到文本分布里的条件概率；哪怕它在很多任务上表现得像理解了世界，也可能只是学到了足够复杂的共现结构。”
“要成为世界模型，必须满足三个条件。”章闻铎伸出三根手指，“第一，状态压缩，不同表述在同一世界状态下的内部映射要一致；第二，状态更新，新观测会引起内部变量按可复用规则更新；第三，因果性，对事件的预测不能纯基于相关性，而要给出相应的因果关系。”
赵文渊边听边点头。
这位章博士对世界模型的理解还挺深。他说的这些虽然没有官方学术定论，却都描述了世界模型的主流方向。
第一点说的是，同一件事不管怎么表述，本质一样，就该表示为同样的内部状态。比如“一只猫在桌上”和“桌上有一只猫”，不能因为说法不同，就在内部当成两种表示。
第二点则是说，世界变化时，内部表示要更新，而且更新要遵循规律。这样一来，不必每次面对瞬时状态都从头做大量运算，可以用上一状态和变化量计算下一状态。
第三点是学界当下最热门的课题之一：相关性不代表因果性。夏天冰淇淋销量增加，淹死的小孩也变多，但并不是吃冰淇淋导致小孩被淹死。这是纯语言模型最容易出错的地方。
赵文渊继续提问：“那你怎么验证一个语言模型有没有内部状态？拿不到权重，只能黑盒调用。”
章闻铎嘴角浮起微笑。
这正是他博士论文的课题，现在还没发表，但在面试里牛刀小试完全没问题。
“黑盒很难验证模型是否真有内部状态，最多只能排除低级解释。”章闻铎说，“我会设计状态追踪任务：定义一个隐藏状态，把同一状态用不同叙述方式包装——叙事文本、表格、聊天记录，甚至带噪声的口述，都可以。如果模型真有稳定的内部表示，不同包装下对同一问题的回答应该一致。”
“一致就够了吗？”
“不够。还要加干扰项，再做反事实：问它如果第三步没有发生，最后状态是什么。只有在反事实任务上也稳定，才说明它有某种状态迁移能力。”
赵文渊点点头，章闻铎在世界模型检测这块研究得挺深。
“假设你已经有很好的状态探针，需要一个状态追踪框架。如果要把它作为持续评测指标跑进训练循环，你怎么保证评测信号本身不成为训练目标的一部分？”
赵文渊接着问。
这在机器学习里是个永恒的难题。
在现实世界中同样是永恒的难题。
考核标准固定时，你怎么知道考核对象是学会了知识，还是背过了答案？
章闻铎皱起眉头。
从概念上，他知道这是什么问题。
但他从没处理过需要循环训练、动态更新的大规模项目，没资源，也没必要。
赵文渊微微一笑。
这是典型的工业界问题，而非学术界问题。
章博士，你要学的东西还很多啊。
章闻铎还在思考，赵文渊看了看表，已经十点五十。
“今天的面试问题就先到这里，还有十分钟，你有什么想问我的？”赵文渊说。
章闻铎被打断思路，有点不甘心，但一时确实想不出可行的答案，只能强行把思维从问题里拽出来。
面试多了，章闻铎也有自己的“对面试官问题集”，直接抽题来问就行。
“贵单位现在有多少人？”
赵文渊说：“在京十五人，在招岗位十五个，最终会有三十名研究员，另有其他行政岗位。”
“你们的可用算力有多少？”
“算力全部是自有集群，现在有十多个五百卡集群，机房在张家口。”赵文渊回答。
至于这些集群其实都是国产卡、用不了CUDA体系这些事，赵文渊没说。
毕竟你也没问啊，对吧？
听到这个答案，章闻铎还挺意外。
像源智这样的初创企业，竟然已经有近万张卡了？是A100？不会是H100吧？
可为什么都是五百卡集群？为什么不做大集群？五百卡怎么做训练？
章闻铎心里疑问很多，但没问出来——涉及机密信息，他也知道不方便问。
章闻铎回想赵文渊面试开头说的话，突然问出一个不在“问题集”里的问题。
这个话题他和师哥师姐聊过，甚至和导师聊过，但还没有自己的答案。
“赵博士，你为什么不留在国外做研究呢？”
章闻铎看着赵文渊的眼睛，问出这个问题。
赵文渊一顿，没想到他会问这个。
“我很好奇，你为什么问这个？”
“嗯……我手里有海外高校和几家大厂的Offer，自己也在犹豫。人工智能这个方向，现在还是美国更领先，资源也更充足，从个人角度考虑，也更容易出成果。所以我很好奇，你既然出自李飞飞教授门下，怎么没留在国外？”
赵文渊叹了口气。
“我不是一毕业就回国的，之前在DeepMind干过几年。”
章闻铎一惊，DeepMind可以说是研究员最好的去处之一。
“那你为什么回来？”
赵文渊看着章闻铎的方向，视线却没聚焦在他身上。沉默片刻，他才开口：“我不知道你有没有出过国。即使只是出国旅游过，职场环境也是不一样的。无论在哪，我们中国人都是最努力的一批，也是最出成绩的一批；但越往上，留给中国人的位置越少。”
赵文渊一边说，一边用手敲了敲桌子。
“我一开始以为是语言问题、文化问题，是我的问题。最后才发现，这不是我的问题，是他们的问题。”赵文渊的目光落到章闻铎脸上，“我不是说国外不好。那挺好，学术体系、研究氛围都有值得学习的地方。但我知道，那不适合我。”
“我们这一代人很熟悉一条路。”赵文渊说，“考最好的学校，去国外读博士，进最好的实验室，在别人的体系里爬梯子。但你们的时代不一样了。人工智能这一轮，是少有的一次，我们不用去别人的体系里。”
“如果你愿意听我一句建议：即使不来源智，去哪里都可以，别出国，把你的才能留在这。”
赵文渊这一大段话说完，章闻铎受到的冲击挺大。
他还有更多问题想问，嘴唇动了动，还没来得及问出口。
门外响起敲门声。
赵文渊抬手看了看表，说：“下一个面试时间到了。今天非常感谢你来面试，结果我会尽快通知你。”
说完他站起来，把章闻铎送到门口。
门外是另一个面试候选人，章闻铎不认识，大概是哪个高校的博士。
章闻铎浑浑噩噩地走出门，一路上还在消化赵文渊最后回答他的那段话。
把才能留在这里……吗？