返回

第二百四十四章 他还没看过图吧?

首页
关灯
护眼
字:
大
中
小
上一章 回目录 下一页 进书架
    第二百四十四章 他还没看过图吧? (第1/2页)

    汤圆模型已在云垠这批由硅明生产的L100上完成远程试部署:算子适配做完,单卡与小集群均无问题。

    韩路一和赵文渊这趟过来,就是做最后一步验收;最关键的一环,是压力测试。

    所谓压力测试,就是一次性发出大量请求,看现有架构最多能支撑多少人同时使用。

    按计划,御风的推理数据要在两周内全部迁上来。时间紧,中间一点差错都不能出。

    御风眼下注册用户两百多万,日活二十万;单是这份用量,就快把五百张显卡的算力吃满了。

    幸好鼎盛那边送来的两千张卡快到位,下一步扩容有了方向。可那是另一家的国产卡,算子和指令集与L100重合不多;真要用起来,在L100上做过的工作就得重做一遍。

    这么一看,英伟达CUDA体系的价值就显出来了:生态一旦建立,迁移成本高得可怕。

    韩路一倒不慌。出问题正常,有他在,总能解决。

    “现在数据是多少?”

    “每秒请求数(QPS)是十六。”

    韩路一挑了挑眉。来之前他们测算过:要撑起二十万日活,每个用户每天不止发一条,多的可能几十条请求。

    每秒请求数至少得在三十以上。

    现有架构理论上能跑到五十;即便算上调度、通信、框架这些损耗,保守估计也能到四十以上。

    现在只有十六,刚好是最低标准的一半。

    赵文渊一边说,一边把电脑里的后台视图、监控曲线、输出日志都打开,铺在桌面上。

    “江松然联系过了吗?”

    “刚发过信息,他还在看。”

    江松然还在海城。入职时韩路一保证过,绝不让他出差;所以事情再大,这趟也没带他过来。

    “开个视频,一起看看,快一点。”韩路一说。

    刘彧已经用手机拨通了视频。

    画面里,江松然看起来也正忙,头发很乱,背景是他的卧室。从早晨接到赵文渊的消息起,他就一直没闲着。

    “韩总,GPU利用率我们看过了,基本满负荷,问题不在这儿。”

    每张卡看着都在干活,产出却不快。

    江松然和赵文渊又一起查驱动日志。

    软件层面看,一切正常。

    最后,赵文渊把模型配置调出来,和江松然一起看。

    配置没问题。

    模型切分没问题。

    并行策略也没问题——

    可光靠肉眼看,能看出问题的概率更小。

    有时生产事故就是这么难查,像盲人摸象。

    所有工具——各种监控数据、打印日志、热力图、散点图——都是为了把这头象摸得更清楚。

    可人毕竟不是计算机,看不见计算机的思考过程,只能想象。

    当所有摸象手段都不起效时,直接把代码、配置文件拿出来,再想象运行结果,有时也能奏效。

    甚至越是大神,越奏效。毕竟天才不能用常理衡量。

    听说冯·诺依曼当年极力反对高级编程语言(就是类似英语的编程语言),认为汇编才是和电脑交流最简单的方式。甚至传说,他能直接读懂只由0和1组成的代码。

    江松然和赵文渊之前已把相关内容排查过;现在当着韩路一的面又做一遍,仍没有新发现。

    韩路一打开视界,目光锁定电脑,又扫了一眼机房内部。

    视界升级后,韩路一不再受接收信息的带宽困扰;视界一开,就能把周围信息收集完。

    他站起身,走向旁边的准备区,穿上进机房的装备。

    视频那头,江松然还在说他的推断:“单机没问题,小集群也没事;大集群的量上不去,肯定出在集群层面——而且是大集群有、小集群没有的东西。”

    赵文渊注意到了韩路一的举动。

    “韩总。”赵文渊站起身,追过去。

    韩路一已穿戴完,看了赵文渊一眼:“你也穿上,一起来看看。”

    赵文渊赶紧套上鞋套、防静电服,戴好防静电手环,跟着韩路一进了机房。

    刘彧和张彪留在外面,没进去。

    机房里静电防范要求极高,不允许带手机;即便带进去也基本用不了。机房本身要防火防震,里面又有大量金属机柜,天然就是个法拉第笼,手机根本用不上。

    

    (本章未完,请点击下一页继续阅读)
上一章 回目录 下一页 存书签