第四百四十一章 新模型,新名字 (第1/2页)
“什么?”韩路一问道。
他知道,大模型与人脑有相似性,因此不少研究人工智能的计算机科学家会读脑科学书籍;他自己也翻过几本流传较广的畅销书。
可真到细节上,他就抓瞎了。
一旁的江松然同样摸不着头脑。
可看着视频里赵文渊兴奋的样子,两人都意识到:这位研究院院长恐怕还有新东西要拿出来。
“是决策的可选项本身。”赵文渊说道,“系统一最擅长做是否类判断,几选一也还行;可一旦可选项超过一定数量,它几乎就做不出选择。”
“我给你们举个例子:如果我现在问你们想不想喝豆汁儿,你们是不是立刻就能给出答案?”
江松然还没什么反应,韩路一的脸色却已经难看起来。
这确实是系统一就能回答的问题。
“如果我问你,Vim好还是Emacs好,你是不是也能马上给出答案?”赵文渊接着问。
韩路一和江松然几乎同时开口。
“当然是Vim。”这是韩路一说的。
“Emacs。”这是江松然说的。
两人又飞快地对视一眼,眼神里的含义却并不相同。
韩路一的眼神分明在说:“原来你是个Emacs党。”
江松然则有些惴惴不安:竟然在最不该站错队的地方站错了队。
故意问出这个问题的赵文渊正在偷笑——他早就观察出,两人对代码编辑器的偏好不同。
“可如果我现在问你,在二十种果酱里选一种,你几乎不可能一瞬间做出选择;再如果我让你写一篇两百字的文章,别看只有两百字,这也不是系统一能完成的任务。你们看到问题所在了吗?”赵文渊说道。
韩路一想了想,说:“你是指输出格式吧?无论是是否问题还是二选一问题,输出格式都极简单,不需要一个词元一个词元地生成。”
江松然在旁边补充:“听起来还涉及答案域:答案域覆盖得越广,计算就越复杂。”
此时两人都意识到,赵文渊为什么要把系统一和系统二的话题拿出来讨论。
因为对计算任务做复杂度预测,再分类、规划调度,这本身就天然是系统一的任务:答案域极窄,无非简单、中等、复杂三档;想再细些,五档也绰绰有余。
韩路一问道:“所以这类任务,有比用汤圆轻量版更好的解法?”
视频里的赵文渊露出高深莫测的笑:“有的,韩总,有的。”
他接着解释:“当初Transformer架构刚出来时,用的是编码器-解码器(Encoder-Decoder)架构;现在的类GPT大模型,包括汤圆,用的全是只有解码器的架构。这当然是因为这条路线足够优秀,能解决非常复杂的问题。可实际上,不同路线适用于不同问题。我们刚才讨论的分类问题,就有一种更合适的架构——只有编码器的架构。”
江松然惊讶出声:“你是说BERT?”
韩路一慢了一拍才反应过来:BERT是谷歌在2018年提出的技术路线,在GPT出现之前曾在机器学习领域非常热门;但随着类GPT模型成为市场主流,如今已渐渐少有人提起。
“你是说?”韩路一问道。
“传统BERT大概在几亿参数这个级别;而且因为不需
(本章未完,请点击下一页继续阅读)