视界一开,屏幕上滚动的日志便不同了。
每一条经过清洗管线的数据,在韩路一眼里都浮起一层薄薄的色彩。
干净、有信息量的数据泛着淡蓝的光,像水流一样顺畅地通过管线;被规则正确拦下的垃圾数据呈灰色,在某个节点被清理出去,不再进入下面的环节;而那些有问题却未被拦住的数据,则发着刺眼的橙红,混在蓝色水流中间,格外扎眼。
韩路一还注意到另一种颜色:偶尔有几条数据闪着暗蓝,在灰色数据中格外显眼——它们被规则误判为垃圾扔了出去,其实却是有价值的内容。
就像站在流水线旁,别人只看见传送带上的产品在动,韩路一的眼睛却能给每一件产品、甚至每一条传送带本身做质检。
他盯着屏幕看了约十分钟,先从最显眼的橙红色入手分析,渐渐摸清了规律。
问题主要有三个。
最多的一类,是纯垃圾没清干净。菠菜广告、瑟瑟引流、关键词堆砌,这些最低级的垃圾,现有规则只做关键词匹配,变体却太多。
用谐音字、用emoji替代、把敏感词拆成两段分别塞进前后文里,简单的正则表达式根本防不住。视界里这类数据发着最亮的橙红,数量也最多。
其次是语义重复:两段话用词完全不同,意思却几乎一样,基于关键词和格式的规则识别不了。
最后一个最隐蔽,是低质量内容的伪装。有些内容的格式、长度、关键词分布都符合优质内容特征,实际却是洗稿或机器生成的填充物,里面还夹着不少事实性错误。
这三类加在一起,占了全部数据的近七成。
韩路一退出视界,动手改脚本。
若沿用传统的垃圾分类规则,想全面覆盖,工程量大;他干脆换了个思路。
汤圆的模型不是还在吗?直接把数据发给汤圆做检测、做意图识别。不管怎么变体、怎么拆字、怎么塞emoji,只要最终属于“引导点击”或“诱导付费”的内容,一律标出来。
同样,用汤圆给数据做精简化处理,再合并便简单多了。
最后识别伪装内容稍难一些,却难不倒视界。在视界提示下,韩路一加了一层基于困惑度的筛选。
真正有信息量的文本,语言模型预测下一个词时不确定性更高;洗稿和填充内容因套路化严重,困惑度反而很低。
改完整个数据清洗管线的规则,韩路一再次启动。
这一次再用视界看过去——
橙红几乎消失了,只剩零星几个边界条件外的数据在蓝色水流里若隐若现;暗蓝色的误杀数据也大幅减少,偶尔闪过一两条,韩路一记下来,又微调了一轮参数。
视界里只剩干净的蓝色。
等这些工作都做完,关掉视界时,已是凌晨两点。
他看了看最终的数据清洗报告。
原始数据的有效留存率从赵文渊先前标注的41%降到29%。之前的41%其实不准,里面还混着不少低质量垃圾数据;现在的29%却是准确的。
同时,误杀率从12%降到不足3%,被旧管线错杀的一批好数据也救了回来。
清洗后的数据质量提升了,速度也快了不少,耗时大约只有先前的一半。
韩路一给赵文渊发消息,把改好的脚本和清洗报告一并传了过去。
“文渊,你明天试试这版。我做了几项修改,效果应该比之前好。”
时间这么晚,他本没指望接到回复;没想到过了一会儿,赵文渊的信息就来了:“你还没睡啊?”
紧接着是第二条:“我看看。”
又过半小时,赵文渊发来一条长信息:
“韩总,你是怎么一晚上搞出来这个的?一般团队光迭代这条清洗管线就得两三个月,你刚发我的这版,有效率和误杀率都比行业基准优秀!按这个效率和精度,全量数据清洗大概一周能跑完!一周后就能开始预训练!两个月就能看见第一版模型了!”
难得赵文渊发这么多感叹号。有这么高质量的原始数据和标注数据,他实在太期待看到训练结果了。
不过这时韩路一已经睡了。
……
时间往回拨十几个小时,太平洋另一边。
美国太平洋时间。
12月27日,周日下午。
硅谷洛斯阿尔托斯山,约翰的房子就在这里。
约翰·斯诺(John Snow)是Nexus AI的CTO。
CEO瑞恩拥有人工智能领域博士学位,还一路在AI研究院工作;约翰则不同。
约翰只有本科学历。他从斯坦福还没毕业就开始创业,前后共创立、联合创立过五家企业,其中两家分别被谷歌和Meta收购;收购后没过几个月,他又离职继续创业。
他在硅谷风投和技术圈人脉很广,自己也做投资人。
像他这样已经财富自由的人,其实早不为钱工作;之所以接受瑞恩邀请加入Nexus AI,是因为他看好这个方向,也看好瑞恩本人。
约翰的家,从大门进去是一段爬坡车道,停着四五辆车;走到主楼后面,才能看见院子。后院很开阔,一棵宽得过分的橡树,阴影覆住近一半草坪。
这里正办着一场烧烤派对。
派对两点开始,到下午三点多,客人的酒杯已空了两三轮。
圣诞装饰灯还绕着廊柱和几棵树。白天光线强,灯虽亮着却不显眼;风一吹,轻轻晃动。
烤架那边,专职厨师还在翻烤肋排,油脂滴进炭火,滋的一声。
加州十二月,十八度上下,天气晴朗,微风;不冷,却也不值得脱掉外套。
约翰每年圣诞节后都会办这样的小聚会,邀请科技圈里比较熟的人;被邀请者也可以带朋友。
这个场合被视为硅谷科技、创投圈的小沙龙。
瑞恩到时,约翰正在烤架旁和厨师讨论肋排火候;见他来了,约翰举起夹子打招呼,又把夹子还给厨师,走了过来。
瑞恩和约翰是谷歌时期就认识的老朋友。
“你每次都带这个。”约翰瞥了一眼瑞恩手里的Opus One,调侃道。
“你每次的酒都不行。”瑞恩笑笑,把瓶子递过去,“帮我打开吧。”
约翰接过,从旁边桌上找来开瓶器,熟练地拧开,倒进玻璃醒酒器,放在阴凉处。
“行,这瓶确实比我这的好。”约翰说,“但至少还得等半小时。”
“我知道。”瑞恩从冰桶里先拿了一听罐装啤酒,“等一等才好。”
两人在院里走了一圈,和几个认识的人打招呼。
约翰的社交方式与瑞恩不同。
瑞恩在人群里很自然,八面玲珑,跟谁都能聊上三五分钟,再体面地抽身,不让人觉得自己被冷落。
约翰是主人,更随意:有时跟一个人聊很久,有时路过只点个头就走,全凭心情,也不在乎对方怎么想。
有人问起Nexus最近的动态,瑞恩一律微笑着说“还不错”,不多也不少。约翰在旁边听着,偶尔补一句无关紧要的话,两人配合得很默契。
转完一圈,瑞恩在靠近烤架的位置找了把椅子坐下,约翰则去招呼别的客人了。
不远处,一个戴眼镜的中年男人正给旁边两人讲他最近看的一个物流AI创业项目:
“我让他们给我看个原型演示,你们猜怎么着?那个CEO打开电脑,放出一张幻灯片,跟我说:“这是我们的愿景。””
旁边两人哄笑起来。
另一侧,一个金发女士,身材胖胖的,穿一身深色长裙,正靠着木栏杆,一脸疲惫地跟旁边朋友抱怨找不到技术合伙人:“简历收了几十份,聊下来没一个合适。要么经验不够,要么对薪资不满意。现在这些人要求太高了,只出技术,还想要多少啊?”
约翰从人群里穿过来,把手搭在她肩上。
“别在聚会上聊这个。”
“那聊什么?”
“聊吃的。”他朝烤架方向抬了抬下巴。
她有些畏缩地抬头看他一眼,举起酒杯喝了一口,换了话题。
约翰家的黄色拉布拉多趴在草坪靠边处,肚皮贴地,下巴搁在前爪上,眼睛闭着,只有尾巴时不时扫一下。
两个孩子不知在踢什么规则的球,从草坪这头追到那头;过了一会儿,连球都不见了。
一个先前聊过两句的投资人走过来,朝瑞恩伸手:“瑞恩,好久不见。Nexus最近怎么样?听说水星模型3.1在做推理方面的研究?”
“还不错。”瑞恩起身与对方握手,“我们已经在几个场景里跑出了一些结果。”
“准备什么时候发论文啊?”
瑞恩狡黠一笑:“这是我们的独家突破,可不一定会发论文。”
那人挑了挑眉毛,“独家”两个字显然让他更感兴趣;但眼下人多嘴杂,不是说话的地方,他闲聊两句便走了,心里却打定主意,要和Nexus AI再跟进一下。
这时,约翰走回来,在瑞恩旁边的椅子上坐下,接过酒瓶给自己倒了一杯,又把瓶子顺手放到地上。
“你刚才说的那句,真是这么打算的?”
“哪句?”
“不发表论文那句。”
瑞恩端起酒杯向约翰示意:“发表论文为了什么?招人、刷排行、让同行引用,这些我们现在都不缺。总不能真是为了推进科技进步吧?”
约翰没说话,也端起酒杯。
两人的酒杯碰了一下。
总不能真是为了推进科技进步吧?
约翰在心里默念了一遍,想起第一次见到瑞恩时的场景。
那是在谷歌内部的一场技术分享会上,瑞恩当时还是研究员,讲的是他刚发表的一篇关于注意力机制优化的论文。
讲得很好,但让约翰印象最深的不是内容,而是瑞恩讲话时的状态——那种既权威又坚信的神情和语气,会让人不由自主地相信他所讲的内容。
那种确定感,在学术界少见,在工业界也少见。
后来两人共事多了,约翰才意识到,瑞恩身上的确定感,可能不只源于他对所讲内容的熟悉,更源于他整个人天生带着的那股强烈自信。
这是瑞恩成为优秀CEO的关键。
但约翰有时也会想:一个人可以选择不怀疑自己,却不代表他做的决定永远都对。
……
五点多,太阳快沉到山脊后面,气温凉了些。
陆续有人过来和约翰打招呼,说谢谢招待,也想留下一点好印象。
等人走得差不多了,约翰和瑞恩搬了两把椅子到泳池边,各自从冰桶里摸了一瓶啤酒。
泳池这季节没人用,水面平静,偶尔飘进一片落叶。
夕阳把水面染上一层浅橙,山脊线还亮着最后一点光。
瑞恩喝了一口,掏出手机。
“给你看个东西。”他把屏幕转向约翰,“和我们合作的那家中国公司,这一个多月的API调用分析。”
约翰接过翻了翻。
瑞恩在一旁讲解:“你知道,他们的任务规划全走水星模型。产品每接到一个用户指令,后面涉及思考的部分——意图理解、任务规划这些——用的都是水星;他们自己只有执行代码。”
约翰慢慢划着屏幕,没说话。
瑞恩接着说:“现在看,产品体验很好,用起来流畅,用户满意度高,我们这边收集到的数据质量也很高。但你明白真正的价值在哪儿吗?让这个应用变聪明的是水星模型,模型才是不可替代的部分。”
约翰把手机还给他:“他们那边的代码生成能力也不差。”
“是不差,但那没用。现在这个参数量级,代码生成的差距已经很小,再往上更难拉开。意图理解是水星模型的杀手锏,他们自己知道,这也是他们接受合作的原因。”
瑞恩退出报告,重新打开一个文件:“我们现在处在第一阶段。”
瑞恩说话的语气既自信又从容,有种一切尽在掌握的感觉。
“这个阶段,我们要做的就是充分利用这个中国盟友,让他们用自己的成功经验积累用户、打磨体验;我们则收获这期间所有真实任务场景的数据。这批数据会是下一代金星模型(Venus)智能体(Agentic)能力的核心训练材料,比起自己收集,又省钱又省力。”
约翰知道,这是瑞恩最近自己整理出的战略;他心里不太认同,却还是静静听着。
“等合同到期,他们的用户基础已经建起来了,这没错;但所有核心逻辑都跑在水星模型上。到那时候,我们提高分成比例,再增加API费用。”瑞恩停顿一下,脸上露出笑容,“你说他们会怎么选?迁移到别的模型,顶着用户流失的风险改变整个产品架构、花时间紧急修改、重新上架,还是接受我们这个更“合理”的新条款?”
约翰给出自己的判断:“这根本不是选择题。在现有架构上让他们迁移,风险大,代价也大,没有一个理性的企业家会做这种选择。”
瑞恩语气放松:“你说得对,我的朋友,他们没有选择。只要等下一代金星模型出来,我们的智能体能力有真实数据支撑,用户场景也全覆盖了,那时我们就自己下场做开发者工具,用这段时间积累的数据做一个比他们更好的产品。”
约翰仰起头,看了一会儿天空,又晃了晃手里的酒瓶。
“他们会发现吗?”
“会的,早晚会。但到那时候,他们已经没有选择了。”
“我是说——”约翰收回视线,“他们现在知道吗?”
“他们可能感觉得到。他们的CEO不傻,应该能看到这个风险;但他们需要我们,现阶段没有水星模型提供的意图理解能力,产品就跑不起来。他们大概想在合同到期前尽量收集数据,再开发自己的模型。”
“能吗?”
“开发一个模型要多久?一年?最快也要半年吧。我们的合同到四月就到期了。”
瑞恩的意思是,四个月时间,不可能做出一个能替代水星模型的大模型。
等合同到期,源码科技就是砧板上的鱼肉。
约翰把剩下的啤酒喝完,才开口:“你是说,等我们数据够了,就把他们踢掉?”
“是。”
约翰沉默片刻。
泳池水面暗了下来,刚才的浅橙消失,变成灰暗的蓝色;山脊后还剩最后一点光,也在慢慢消失。
“瑞恩,你有没有想过一种可能。”约翰把空瓶放在脚边,“他们那个CEO,如果真像你说的那么聪明,现在可能已经在做模型了。”
瑞恩看他一眼:“用什么做?他们没有算力,没有数据团队,没有研究背景。想做一个能替代水星的模型,可不是写几行代码的事。”
“四个月,从零开始做出一个够用的基座模型?做出能在意图理解和任务规划层面替代水星的模型,你觉得可能吗?”
约翰没有回答。
他确实觉得不太可能。
但他想起之前看过的一个视频——那个中国公司CEO在GAIS上的演讲。
约翰也在GAIS上发表过演讲,虽然是远程连线。
他觉得那个人不简单。
“其实我们可以直接自己做。我自信能做得比他们好。”约翰闷闷地说。
“我们的资源有限,要放在最重要的事情上。”瑞恩不在意地说,“这样免费的劳动力,又这么好用,为什么不用?”
说到这儿,瑞恩脸上浮起一丝笑容:
“你什么都不知道,约翰·斯诺。”
“该死的,我说了多少次,我叫约翰(John),不叫囧(Jon)。”约翰骂了一声。
他恨死《权力的游戏》了。
还有那个乔治·马丁。
“你才是什么也不知道呢,瑞恩·米勒。”
瑞恩对这小孩子一样的回击,只是笑了笑。
没说话。
本文每页显示
5000字 共
502页 当前第
162页
目录 上一页 ← 162/502 →
下一页 加入书签