第一百六十章 你什么都不知道 (第1/2页)
视界一开，屏幕上滚动的日志便不同了。
每一条经过清洗管线的数据，在韩路一眼里都浮起一层薄薄的色彩。
干净、有信息量的数据泛着淡蓝的光，像水流一样顺畅地通过管线；被规则正确拦下的垃圾数据呈灰色，在某个节点被清理出去，不再进入下面的环节；而那些有问题却未被拦住的数据，则发着刺眼的橙红，混在蓝色水流中间，格外扎眼。
韩路一还注意到另一种颜色：偶尔有几条数据闪着暗蓝，在灰色数据中格外显眼——它们被规则误判为垃圾扔了出去，其实却是有价值的内容。
就像站在流水线旁，别人只看见传送带上的产品在动，韩路一的眼睛却能给每一件产品、甚至每一条传送带本身做质检。
他盯着屏幕看了约十分钟，先从最显眼的橙红色入手分析，渐渐摸清了规律。
问题主要有三个。
最多的一类，是纯垃圾没清干净。菠菜广告、瑟瑟引流、关键词堆砌，这些最低级的垃圾，现有规则只做关键词匹配，变体却太多。
用谐音字、用emoji替代、把敏感词拆成两段分别塞进前后文里，简单的正则表达式根本防不住。视界里这类数据发着最亮的橙红，数量也最多。
其次是语义重复：两段话用词完全不同，意思却几乎一样，基于关键词和格式的规则识别不了。
最后一个最隐蔽，是低质量内容的伪装。有些内容的格式、长度、关键词分布都符合优质内容特征，实际却是洗稿或机器生成的填充物，里面还夹着不少事实性错误。
这三类加在一起，占了全部数据的近七成。
韩路一退出视界，动手改脚本。
若沿用传统的垃圾分类规则，想全面覆盖，工程量大；他干脆换了个思路。
汤圆的模型不是还在吗？直接把数据发给汤圆做检测、做意图识别。不管怎么变体、怎么拆字、怎么塞emoji，只要最终属于“引导点击”或“诱导付费”的内容，一律标出来。
同样，用汤圆给数据做精简化处理，再合并便简单多了。
最后识别伪装内容稍难一些，却难不倒视界。在视界提示下，韩路一加了一层基于困惑度的筛选。
真正有信息量的文本，语言模型预测下一个词时不确定性更高；洗稿和填充内容因套路化严重，困惑度反而很低。
改完整个数据清洗管线的规则，韩路一再次启动。
这一次再用视界看过去——
橙红几乎消失了，只剩零星几个边界条件外的数据在蓝色水流里若隐若现；暗蓝色的误杀数据也大幅减少，偶尔闪过一两条，韩路一记下来，又微调了一轮参数。
视界里只剩干净的蓝色。
等这些工作都做完，关掉视界时，已是凌晨两点。
他看了看最终的数据清洗报告。
原始数据的有效留存率从赵文渊先前标注的41%降到29%。之前的41%其实不准，里面还混着不少低质量垃圾数据；现在的29%却是准确的。
同时，误杀率从12%降到不足3%，被旧管线错杀的一批好数据也救了回来。
清洗后的数据质量提升了，速度也快了不少，耗时大约只有先前的一半。
韩路一给赵文渊发消息，把改好的脚本和清洗报告一并传了过去。
“文渊，你明天试试这版。我做了几项修改，效果应该比之前好。”
时间这么晚，他本没指望接到回复；没想到过了一会儿，赵文渊的信息就来了：“你还没睡啊？”
紧接着是第二条：“我看看。”
又过半小时，赵文渊发来一条长信息：
“韩总，你是怎么一晚上搞出来这个的？一般团队光迭代这条清洗管线就得两三个月，你刚发我的这版，有效率和误杀率都比行业基准优秀！按这个效率和精度，全量数据清洗大概一周能跑完！一周后就能开始预训练！两个月就能看见第一版模型了！”
难得赵文渊发这么多感叹号。有这么高质量的原始数据和标注数据，他实在太期待看到训练结果了。
不过这时韩路一已经睡了。
……
时间往回拨十几个小时，太平洋另一边。
美国太平洋时间。
12月27日，周日下午。
硅谷洛斯阿尔托斯山，约翰的房子就在这里。
约翰·斯诺（John Snow）是Nexus AI的CTO。
CEO瑞恩拥有人工智能领域博士学位，还一路在AI研究院工作；约翰则不同。
约翰只有本科学历。他从斯坦福还没毕业就开始创业，前后共创立、联合创立过五家企业，其中两家分别被谷歌和Meta收购；收购后没过几个月，他又离职继续创业。
他在硅谷风投和技术圈人脉很广，自己也做投资人。
像他这样已经财富自由的人，其实早不为钱工作；之所以接受瑞恩邀请加入Nexus AI，是因为他看好这个方向，也看好瑞恩本人。
约翰的家，从大门进去是一段爬坡车道，停着四五辆车；走到主楼后面，才能看见院子。后院很开阔，一棵宽得过分的橡树，阴影覆住近一半草坪。
这里正办着一场烧烤派对。
派对两点开始，到下午三点多，客人的酒杯已空了两三轮。
圣诞装饰灯还绕着廊柱和几棵树。白天光线强，灯虽亮着却不显眼；风一吹，轻轻晃动。
烤架那边，专职厨师还在翻烤肋排，油脂滴进炭火，滋的一声。
加州十二月，十八度上下，天气晴朗，微风；不冷，却也不值得脱掉外套。
约翰每年圣诞节后都会办这样的小聚会，邀请科技圈里比较熟的人；被邀请者也可以带朋友。
这个场合被视为硅谷科技、创投圈的小沙龙。
瑞恩到时，约翰正在烤架旁和厨师讨论肋排火候；见他来了，约翰举起夹子打招呼，又把夹子还给厨师，走了过来。
瑞恩和约翰是谷歌时期就认识的老朋友。
“你每次都带这个。”约翰瞥了一眼瑞恩手里的Opus One，调侃道。
“你每次的酒都不行。”瑞恩笑笑，把瓶子递过去，“帮我打开吧。”
约翰接过，从旁边桌上找来开瓶器，熟练地拧开，倒进玻璃醒酒器，放在阴凉处。
“行，这瓶确实比我这的好。”约翰说，“但至少还得等半小时。”
“我知道。”瑞恩从冰桶里先拿了一听罐装啤酒，“等一等才好。”
两人在院里走了一圈，和几个认识的人打招呼。
约翰的社交方式与瑞恩不同。
瑞恩在人群里很自然，八面玲珑，跟谁都能聊上三五分钟，再体面地抽身，不让人觉得自己被冷落。
约翰是主人，更随意：有时跟一个人聊很久，有时路过只点个头就走，全凭心情，也不在乎对方怎么想。
有人问起Nexus最近的动态，瑞恩一律微笑着说“还不错”，不多也不少。约翰在旁边听着，偶尔补一句无关紧要的话，两人配合得很默契。
转完一圈，瑞恩在靠近烤架的位置找了把椅子坐下，约翰则去招呼别的客人了。
不远处，一个戴眼镜的中年男人正给旁边两人讲他最近看的一个物流AI创业项目：
“我让他们给我看个原型演示，你们猜怎么着？那个CEO打开电脑，放出一张幻灯片，跟我说：“这是我们的愿景。””
旁边两人哄笑起来。
另一侧，一个金发女士，身材胖胖的，穿一身深色长裙，正靠着木栏杆，一脸疲惫地跟旁边朋友抱怨找不到技术合伙人：“简历收了几十份，聊下来没一个合适。要么经验不够，要么对薪资不满意。现在这些人要求太高了，只出技术，还想要多少啊？”
约翰从人群里穿过来，把手搭在她肩上。
“别在聚会上聊这个。”
“那聊什么？”
（本章未完，请点击下一页继续阅读）