返回

第四百六十四章 下一波算力

首页
关灯
护眼
字:
大
中
小
上一章 回目录 下一页 进书架
    第四百六十四章 下一波算力 (第1/2页)

    赵文渊盯着研究院员工们想看又不敢看的目光,抱着纸箱回了办公室。

    秘书方芳看见他走进来,吓了一跳,差点儿以为自己的老板突然被裁了。

    随即反应过来:他抱着纸箱是从外面回来,不是出去。

    再加上韩总也没来。

    方芳敲了敲头,心想:看来是最近职场短剧看多了,被无脑剧情搞脑残了。

    她赶紧起身接过纸箱,往里瞟了一眼:一个白色头盔,看着挺精致;旁边还有一只银色机械手,泛着金属光泽。

    这是什么新买的手办吗?看着和复仇者联盟里的那个手套还挺像的。

    感觉确实是赵总会喜欢的风格。

    “赵总,我给您摆到书柜上?”方芳问道。

    赵文渊奇怪地看了她一眼。

    “摆书柜上干什么?我一会儿要接电脑上。”赵文渊说完抬手看了看表,“先在你这儿放一下,我去开会。”

    下一场是和江松然的算力会,正好要聊豆汁儿模型的应用。

    走进会议室,小牛等几个负责豆汁儿模型的研究员已经坐在里面;见赵文渊进来,纷纷起身叫了声“赵总好”。

    赵文渊对他们轻轻点了点头,说道:“都坐都坐。小牛,你开电脑接一下线上会议。”

    很快视频接通,对面也是一间会议室。

    出乎几人意料,除了江松然和他手下负责算力基础设施的总监、高级专家,韩路一竟然也在会议室里。

    “韩总好。”赵文渊赶紧打招呼。

    韩路一点点头,说道:“我刚才来找老江,正好碰上你们要开碰头会,不介意我旁听一下吧?”

    这话一出,除赵文渊外,其他人都明显紧张起来。

    跨部门协作本就不容易,大老板突然出现在会议里,准备好的演示和交流顿时显得准备不足。

    像小牛这样从海城时期就在的老员工还好;一些在京城入职的研究员本来和韩路一接触不多,心里难免更忐忑。

    会议开始,赵文渊先定了议程。

    “今天这个会呢,主要是给两边团队定个调。我们研究院最新研发的豆汁儿模型能做什么、不能做什么、适合做什么,功能方面我上午已经给江总演示过了,一会儿由小牛再给大家简单过一遍;然后重点讨论接下来双方怎么合作,如何把豆汁儿模型放进调度层;最后做一个简单的排期。”

    赵文渊说完,问韩路一:“韩总,您看还有什么要补充的吗?”

    韩路一想了想,说:“我说一句。开会要开到点上。在场谁若觉得自己不能在这场会议里贡献意见,只是来跟进进度,可以先离场;之后看会议记录也一样,不用在这儿浪费时间。”

    韩路一说完,看了一圈,倒是没有人离场。

    他接着说道:“还有,每场会议开始前都该有预期产出。我刚才听了一下,这场会开完会把合作计划和排期定下来,是吧?会议结束时记得总结一下。”

    说完,韩路一对着屏幕点了点头:“小牛,开始吧。”

    小牛站起身,清了清嗓子,说道:“韩总,江总,我先给大家做一遍演示。”

    小牛共享屏幕,做了一遍演示,内容和高管例会上赵文渊做的基本一样。海城会议室里,基础设施部门的员工都是第一次看到成果,心中初步满意,却不免仍有怀疑。

    单个请求做得又快又好,只是不知道并发上来后表现如何,又会占用多少资源。

    豆汁儿要代替汤圆做调度辅助,除了精度不能拉胯,自身也不能太耗算力——不然省出来的算力全用来跑调度器,就完全没意义了。

    江松然率先提出这个问题:“这个豆汁儿模型想支持十万QPS,需要多少算力、多少资源?”

    目前整个起源自有算力的吞吐量大概就在十万QPS这个量级,江松然才有此一问。

    这是把豆汁儿接入每一个调度请求所需要的资源。

    小牛拉出一张图表:“江总,我们做过压测,自己使用的八卡L100大概能做到两万四千QPS。”

    这个数字让海城会议室的人一惊。

    那岂不是说,就算加上资源冗余,要服务整个起源所有推理请求的调度,也只需四十张L100左右的算力?

    这个豆汁儿模型也太小太省算力了吧。

    江松然对身边的基础设施总监陶封说:“老陶,刚才赵总那边说,豆汁儿模型的判断准确率能到98%。按这个数据估算,如果现在把每一步算力调度都跑一遍豆汁儿模型,照我们之前的估算,大概能提高多少效率?”

    陶封在面前的笔记本电脑上迅速操作了几下,回答:“我们之前测算过,总体算力约有百分之三十因资源错配被浪费;若真能达到这个准确率,应该至少能救回百分之二十。”

    两个数据中心目前一共部署了三万张左右计算卡,若能从里面优化出百分之二十的性能,就等于凭空多出六千张卡。

    四十张卡,能换出六千张卡的算力来,这就是豆汁儿模型的价值。

    韩路一在旁边暗自思量:离赵文渊之前要求的万卡训练集群还有点儿差距,还得再想办法。

    眼下新买的卡一直在持续部署,国产算力联盟的适配工作也在更多厂家推进,也许再过两个月,这几千张卡的缺口就能补上。

    只不过不知道到时候起源对算力的需求又会增长成什么样子。

    韩路一心里盘算着,陶封和他带来的高级专家已和小牛讨论起联调的具体细节。

    “我们肯定要灰度上线。以现在的体量,首批先接入百分之一的服务器,效果稳定后再慢慢往上加。”陶封说。

    “可以。”江松然点头。

    产品发布一般没这

    (本章未完,请点击下一页继续阅读)
上一章 回目录 下一页 存书签