第二百九十二章 十七个集群，十七倍算力 (第2/2页)
这次布线，能不能把新的十六个集群都提到和老集群一样的效率？甚至，还能不能扩大成更大的集群？
以前没这么多卡，没法试；这次可以试试了。
江松然在机房控制终端前坐下，开始压力测试。
他没一上来就跑五一二卡，而是先从八卡开始。
一般八张显卡放在一台服务器上，也叫一个节点；这八张卡之间的通信叫节点内通信，速度更快。
每个机柜有八台服务器。
五一二卡就是八个机柜。
从节点内通信到节点间通信，再到机柜间通信，每一步都是难度升级。
随着测试进入五一二卡，监控屏幕上的曲线已不是平滑上涨，能看到斜率变缓的趋势。
看了一会儿监控，江松然更改设置，把两个五一二卡集群并在一起。
新任务下发。
这一次，监控屏上的曲线明显变动，延迟迅速上升。
监控屏上出现一片红色。
“失败了啊——”江松然苦笑了一声。
这其实在预料之中。
大型显卡集群需要从硬件到软件再到通信协议，各层级都优化才能实现。
源智的L100集群现在用的是东拼西凑来的各种开源技术，还没来得及做任何优化。
能达到五一二卡的集群规模已经谢天谢地；想在什么改动都不做的情况下去冲千卡，只能坠机收尾。
韩路一收回视界，满眼红光从视野里消失。
视界定位的结论是：注意力层之后的归约通信，几个任务分片同时撞上同一批物理链路，触发了跨排链路堵塞。
他正准备开口，江松然先说话了。
“通信模式和物理拓扑对不上。”江松然指着屏幕上的波形说，“你们看，每次拥塞都在注意力层之后；几个分片同时跑归约运算，一起发到跨排链路上，所以每个尖峰都在注意力层后面。”
赵文渊抱着手站在旁边，开口问：“是因为通信协议？”
“是啊，是因为通信协议。”江松然确认道。
随后他转向韩路一，语气遗憾：“韩总，现在用的通信模式在五百卡已经是上限了。”
江松然和赵文渊得出了和韩路一一样的结论。
区别在于：韩路一是开挂看出来的，视界直接帮他定位到数据阻塞处，也给出了原因。
江松然和赵文渊却是凭多年实战经验和技术理解得出的结论。
顶级技术专家的含金量，在这里就体现出来了。
人才虽然贵，但贵有贵的道理。
韩路一暗自点头。
视界再厉害，他也只是一个人，不可能自己攻克所有技术难关。
团队里有了赵文渊、江松然，以及新加入的薛兆恒这些各方面的人才，才是源智走得更远的底气。
韩路一脸上没有失望，反而安慰两人：“没事，能增加十六个五百卡集群，对我们来说已经是巨大的进步。路要一步一步走，饭要一口一口吃。”
“我们现在最迫在眉睫的任务是解决推理算力问题。推理请求对显存和卡间通信的需求都没那么大；现在我们有之前十七倍的算力，汤圆的潜力终于可以释放出来了。”
这话江松然当然也知道。
超大集群主要是训练需求，推理不需要。
按正常公司的流程，现在要么采购英伟达硬件，用现成解决方案；
要么还远没到需要自研超大集群通信的进度。
源智能走到今天这一步，发展过程像坐上了火箭。
原本在江松然看来，光解决算子适配问题就得花几年；经过这几天的离奇经历，他把预期调整成了几个月。
所以，几个月后，超大集群就得建起来。
所以，一个他原以为短期内不会遇到的问题，突然变得棘手起来。
源智现在撞上了一堵墙。
一堵到现在为止只有英伟达跨过去了的墙——
显卡间通信效率。
韩路一看着监控屏幕上满屏的红色警告，笑了一下：“我们会找到办法的。”
江松然看了看完全没有担心神色的赵文渊，又看了看韩路一。
不知为什么，他心中也生出一股自信：不仅是对源智科技团队的自信，也是对韩路一的自信。
之前认为解决不了的问题都解决了，难道现在会在这里被卡住？
不会的。
江松然没再说话，转身回到控制终端前，把刚才的测试日志导出来，为下一步技术突破做准备。