第三百六十章 钓鱼佬能不能赶上聚餐 (第2/2页)
原理很简单：把大任务切成小任务，派一个集群一起执行，执行完再合并。
问题是怎么分？
最理想的情况，是每个节点运算能力都一样，任务便分得一样大，每个节点负责的任务量也相同。
这样就不会有时间浪费。
可实际上很难做到平均分配。
因为后训练的任务类型不一样。
比如一个寝室决定聚餐，大家分头采买食材：有人去超市买菜，有人去海里钓鱼。买菜的人都回来了，鱼还没上钩。
这没办法，钓鱼是不可细分的最小任务。
现在通行的做法，是大家一起等这个钓鱼佬回来，再把阶段性结果写进硬盘，进行下一步。
问题是，该怎么把效率再往上提一提呢？
赵文渊托着下巴正想，门外忽然响起敲门声。
思路被打断，他缓了缓才开口。
“请进。”
章闻铎推门进来，手里拿着一张纸，径直走到赵文渊办公桌前。
“院长，我来提个申请。”
“什么申请？”
“我手里有个新实验，原来的十六张卡不够用了，想申请六十四张卡来做。”章闻铎说着，把申请表递到赵文渊面前。
赵文渊皱了皱眉。现在他手底下用于研究的卡不到两百张，除了章闻铎，其他几个项目组也在排队。六十四张还真不一定拿得出来。
他沉吟一下，回忆着章闻铎的研究方向。
“十六张也不少了，怎么不够？实验内容有变动吗？”
见赵文渊要问细节，章闻铎干脆拉开椅子坐下，语气有些兴奋：“是这样的，院长，我有个新想法。之前做实验时，不是有些长程任务嘛，把池子都占满了，短程任务也跑不起来。我就想把池子做大一点儿，一个任务完成之后就——”
赵文渊一开始还跟得上思路，可越听越不对，不由得打断他：“不是，等等，章博士，你刚才说，任务完成后直接回去取，不用等同一个batch（批次）的其他任务吗？”
章闻铎的研究方向只有他一个人在做，平时就是查文献、做实验、记录结果。现在见院长对技术细节有兴趣，他便打开了话匣子。
“是的。研究世界模型的话，因果链比较长，有很多多步骤的长程任务，有时候一个任务就得跑好几个小时。这个时候其他任务都做完了，单等这一个长程任务太浪费。所以我想了个方法：一个任务做完就回去取，不用等。”
赵文渊边听边皱眉，到最后眉毛都拧成了麻花。
不对不对不对，这个方法和他认知的基础框架有很大区别。
等章闻铎说完，他赶紧抛出疑问：“你上一轮还没跑完，结果还没更新回模型，就跑下一轮？这不是全乱套了吗？”
拿赵文渊刚想到的例子来说，就相当于钓鱼佬还没回来，其他人已经开吃了；等钓鱼佬回来，那事还能小？