第二百六十一章 就不能两头吃吗 (第2/2页)
?”苏念念问,“你想好要花钱的地方了?”
韩路一笑了笑:“本来就有想法。如果钱够了,可以加加速。我已经给陆明洲安排了任务。”
苏念念知道陆明洲要去鹏城出差,正要询问,顾司玥在旁边清了清嗓子:“接下来这个话题,我是不是不适合听了?”
苏念念笑了笑,看了眼表:“你是公司的法律顾问,瞒谁也不会瞒你。不过时候不早了,大家都早点儿休息吧。”
韩路一挂了视频,仍觉得有点儿——真刺激。
……
与此同时,水木大学的博士公寓里,章闻铎刚从导师邵教授那儿回来。
送邵教授回家时,他在邵教授那儿被狠狠骂了一顿。
邵教授说他行事太没分寸,情商低,早晚要出大事。
章闻铎没当面反驳,心里却不以为意。
世上的事不都讲究实事求是吗?
做科研,难道还讲什么人情世故?
吾爱吾师,吾更爱真理。
他刚才吃饭时喝得不多,但酒量太差,走在路上头就有点儿晕,一路走回公寓才感觉好些。
章闻铎不打算直接睡觉,打开邮箱去查汤圆-0.9的API密钥。
吃饭时韩路一给他处理过后,密钥就发到邮箱里了。
他现在迫不及待地想去戳破这个假货。
他从邮箱复制出那串密钥,打开常用的测试脚本。
私人测评集不大,一共一百二十七道题,但都是他这几年一点一点攒下来的。
有些是他读论文时发现的边界案例,有些是他做实验时用来卡模型的反例,还有一些是他专门用来测试中文意图理解的古怪问题。
这些题没有公开过,不在任何排行榜里,也不可能被提前训练进去。
章闻铎给文件起的名字就叫——kill_model_v11.1.jsonl(杀死大模型11.1版)。
这个名字虽然中二,水平可不低;很多号称世界先进的大模型在这套题上跑一遍,分数都会变得很难看。
章闻铎填进汤圆-0.9的API地址,贴好密钥,调用写好的大模型测评脚本。
运行。
他一边看终端输出结果,一边靠在人体工学椅上后仰,把脚搭上桌子。
头还有点儿晕。
再一看,前十题都过了;二十题,也都过了。
章闻铎皱了皱眉,把脚从桌上放下来。
三十题,还是全对。
怎么回事?
章闻铎把椅子往前拉了拉。
脚本已运行到五十题,依旧全对。
章闻铎觉得有点儿凉,摸了摸头,竟出了一层细汗。
他没再关注正在运行的脚本,点开其中一题,看了看汤圆的输出。
逻辑很严密啊!
行家一出手,就知有没有。这些章闻铎特意收集的题,强调的就是任务复杂性;按一般大模型的处理方式,条件这么复杂,很容易注意力分散,忽略关键条件。
可这个问题在汤圆的答案里一点儿没出现。
章闻铎静静看着终端里的脚本跑完:一百二十七题里对了一百二十题,错了七道。
可这七道里还有不同寻常的事。
其中一道题,汤圆的回答是——“我不知道”。
作为AI模型研究者,章闻铎知道这有多难。
光凭提高数据质量,就能做到这一步吗?
章闻铎突然觉得脸有点儿热,而且越来越热。
他摸了摸脸:这酒的后劲儿这么大吗?
又上头了。
章闻铎拿起水杯去接了杯水,一饮而尽。
他拿出手机,找到刚加的韩路一微信。
聊天记录里有一句话:“我通过了你的朋友验证请求,现在我们可以开始聊天了。”
章闻铎盯着输入框看了好一会儿,开始打字。
【韩总,刚才吃饭时我说话有点儿】
打到这儿,他停住了。
有点儿什么呢?冒犯?没分寸?自以为是?
他皱着眉,把这几个字删掉,又重新打。
【韩总,我刚才验证了一下汤圆,是我之前判断得太武断了】
这个也不行,显得太傲慢了吧。
章闻铎想了想,还是算了:人家也许不介意呢。
水平这么高,人还这么低调。
唉。
章闻铎躺在床上,感觉脸上一阵阵发烫,心想:这酒劲儿怎么越来越大了。
睡吧,睡醒了酒就醒了。
突然,他从床上坐起来。
明天韩总的讲座在哪儿来着?千万得去听,不能忘了!