第四百四十一章 新模型，新名字 (第2/2页)
要自回归生成预测，它不必反复做前向运算，只需一次就能得出结论。对我们刚才说的分类任务，完全可以做到50毫秒以内。”
“多少？”江松然的呼吸都急促起来。
“还不止。我刚说的是通用分类器；顺着这个思路，完全可以训练针对调度任务的特化分类器。汤圆API开放到现在积攒的调度数据，已足够训练。这种情况下，我们连几亿参数都不需要，可以把参数压到千万级别。这种模型的一次运算——”
赵文渊一口气说了一大段，越说越兴奋；说到这里特意停顿，才伸出两只手，五指张开：“我说一个数——10毫秒。”
“不可能！”江松然脱口而出。
韩路一没有表态。现在还只是讨论技术方向，10毫秒的任务分类确实夸张：这速度都快赶上用代码写死的规则集分类了，更别提用模型动态分类了。
可即使达不到10毫秒，50毫秒也足以让每次任务调度都跑一次这个新分类器模型；如果还能保持汤圆1.0的精确度，整个调度层的效率还能再提一大截。
同样的硬件、同样的算力集群，经这种优化，效果能比之前高出好几成。
“文渊，这个技术思路你想了多久了？”韩路一问道。
视频里的赵文渊一愣，随即“嘿嘿”笑了两声：“韩总，我是咱们讨论的时候刚想出来的。”
嚯，听起来像模像样，竟然还是刚头脑风暴出来的。
“那做这个技术验证需要多久？”韩路一继续问。
“几千万参数的话，包括前面的数据清洗和后面的调参，我估计一两个星期就能做出原型。”赵文渊想了想说。
他看了韩路一一眼，突发奇想：“韩总，您要不要——”
韩路一开口打断：“我最近很忙，没工夫帮你洗数据。你先安排人把模型做出来，让老江这边测一下分类准确度，以及上生产环境的实际延迟。”
赵文渊迟疑一下：“韩总，这个东西有多优先？”
韩路一笑：“要是真有你说的那么好用，你要的训练算力就能一下省出一半——你说有多优先？”
赵文渊神色一肃。
懂了，最高优先级。
江松然适时开口：“赵总，新模型出来之后第一时间告诉我，我安排基础设施部门马上测试。”
给赵文渊和江松然下完任务，韩路一的思绪又飘了出去。
刚才讨论的是算力调度里的复杂度预测和分类任务；可真实使用场景中，答案空间有限、又需要快速运算的场景还有很多啊。
比如御风的任务调度：后台若用混合模型，哪些任务交给旗舰模型，哪些交给轻量模型；再比如汤圆回答问题时，哪些用自有知识，哪些需要联网搜索信息；甚至脱开起源现有的产品体系，把这个新模型当成单独产品来出售呢？是不是也有企业业务场景合适——哪些用户反馈可以自动回复，哪些需要转人工客服？
总之，只要是分类任务，这个架构天然适合。
“韩总，这个新模型和汤圆关系不大，要取个新名字吗？”赵文渊问。
韩路一一想，确实有必要。
既然汤圆已经是一种食物，新模型也用食物命名好了。
他脑筋一转：“就叫豆汁儿吧。”
赵文渊脸色一苦，已经开始后悔刚才举的例子。