这种报警信息倒不急着处理:既然看到了,回去再处理也行。
——况且他也没带电脑出来。
大年初一,让显卡集群也放几个小时的假吧。
韩路一没放下手机,打开微信给张彪发了条消息:“彪哥,别在门口等我,你真出去转转,不然我妈那可不好糊弄。”
两个小时后,韩路一和周敏才回到家。
韩路一回到卧室,打开电脑,登入鼎盛云账户。
他翻了翻最近的活动日志:这两小时一直有访问记录,训练却还没重新开始。
看来赵文渊也看到了,正在检修。
可检修卡住了。
韩路一皱了皱眉:能让赵文渊卡两小时的Bug,不简单。
他瞥了眼飞书,赵文渊在线,便发去视频通话请求。
视频很快接通,赵文渊的脸出现在屏幕里。他穿一件大红毛衣,看着喜气洋洋,表情却很严肃,和衣服形成反差。
“怎么样,问题定位了吗?”韩路一开门见山地问。
“Loss飘了,从一点多开始。回滚checkpoint不行,重启也不行;分布式检查没问题,参数也没问题。我怀疑是数据问题:新加的过滤规则,是小牛他们前几天加的那一批,我正对照规则文档看代码。”赵文渊语速很快,却不慌张。
现阶段,每个检查点一般间隔十小时。也就是说,就算最后修好,也得从十小时前的检查点重跑;再加上这两小时Debug,至少十二个小时白费。
“不急。”韩路一开口,“把异常batch的数据采样发我一份。”
“好。”
韩路一收到文件,快速扫了一眼。
此前,韩路一用视界搭的数据清洗管线,已经把最明显的污染样本筛过一遍。
后来为增强模型能力,赵文渊带数据团队在这个基础上继续扩展,增加了规则集和数据源。
这是必要的:原始管线再强,也不可能覆盖所有新场景;训练数据来源扩大后,团队自然会做工程化。
但扩展后的规则集对新场景的覆盖度,比韩路一最初设计的管线低很多。
这种差异会导致训练精度在某个进度突然大幅偏离。
现在的关键,是找出扩展规则集在哪个部分出了纰漏。
韩路一一边滑动样本,一边在心里过了一遍管线结构。
屏幕另一头,赵文渊还在敲键盘,时不时停下盯着输出皱眉。
这对普通人来说很难:数据量太大,而数据的好与坏、干净与杂乱,都是人为定义的主观标准。
赵文渊眼下唯一能看到的症状,就是Loss值突然剧烈波动;但要在他不熟悉的巨大规则集和更庞大的原始语料里找问题,不啻大海捞针。
唯一的办法是现写脚本辅助诊断——这也是赵文渊正在做的事。
但对赵文渊难的事,对韩路一却未必难。
或者说,对视界不难。
视界,开。
一瞬间,熟悉的颜色浮上来。
大部分样本是淡蓝色的正常文本。
少量灰色是重复文本,没被剔除,但问题不大。
几段橙红色的低质量内容已被规则标出,本不该进入训练主数据。
很快,韩路一的目光停在一片奇怪的颜色上。
暗紫色。
这不是之前出现过的颜色。
他微微一怔。
注意力移过去。
视界里弹出一行说明。
【疑似类型:伪结构化残片】
【HTML/Markdown/JSON标记残片混合乱码,现行规则集将其误判为代码片段;词元化后重复符号占比异常,易造成异常长序列,引发训练曲线波动】
韩路一看了看原始数据。
乍一看,这些片段确实像代码;仔细看,却不合语法,也没有实际意义。
就像有人专门投的毒。
韩路一迅速更新几条新规则来抓这些数据,然后在赵文渊发来的异常样本上测试。
有效。
韩路一一边上传改好的规则集,一边在视频通话里把发现的问题和解决方案跟赵文渊同步。
赵文渊正埋头写检测脚本,才写一半,听到韩路一的话,茫然抬头。
怎么?不是我在给你讲状况吗?
你怎么已经解决了?
很快,他就释然了。
哦对,韩总是我的随身老爷爷,那没事了。
赵文渊快速查看规则集里新加的几条规则,把这批原始数据又跑了一遍,再把清洗后的新数据加入管线,重新开始训练。
按下开始时,他心里莫名安心。
……
与此同时,鼎盛大厦。
刘勃敲门进了王总监办公室。
“王总。”
“刘总。”
两人现在是一条绳上的蚂蚱,革命友谊都比以前深厚了。
刘勃不绕弯子,直接说:“我刚下去看了一圈:前端进度不错,御风现在只有一个终端命令行工具,我们加上前端是个竞争力;但模型这边,用乾元效果不太好,还是得有个好基座。”
王总监点了点头,没说话。
刘勃猜他根本没听,或者没听懂:“王总……你是不是得给张总报一下?”
王总监笑了笑:“这事是不是不用麻烦张总?放假前张总不是说得挺明白,让咱们抓紧出活。”
“是。”刘勃也笑,“所以我才来跟你商量。我实话说,可能做不出来,到时候张总问起来——”
“张总能问到谁头上?”王总监坐直了身子,“开发是你带的。”
刘勃脸上的笑收敛了些:“王总,御风也是你拆的,需求也是你的团队定的。”
办公室里安静了一会儿。
王总监掏出烟:“抽一根?”
刘勃心想:在办公室抽烟还挺刺激,这能算加班福利吗?
可惜——
“戒了。”
王总监把烟收回去:“要不这样,咱俩再观察观察;明天下午要还是没进展,再说。”
“行。”刘勃站起来,“那我先回去盯着。”
“辛苦辛苦。”
王总监看着刘勃往外走的背影,心想:要问你问,我反正不问。
最后谁也没有和张弛打电话。
其实就算他们打了,张弛也接不到。
他的手机锁在更衣室里,人正在做SPA。
……
“阿玥,爸爸妈妈也不是老古董,非得让你去相亲。”
顾妈妈坐在沙发另一头,面前茶几上摆着一盘剥了大半的砂糖橘,橘子皮散在桌上,堆成一座小山。
她说着,手没停,把剥好的橘子放进碗里,又拿一个橘子剥起来。
顾司玥蜷在沙发另一端,腿盘着,膝盖上压一只抱枕,手机屏幕一直亮着。她心不在焉地翻着手机里的案子资料,连眼皮都没抬,仿佛没听见。
“你要想自由恋爱,我们也支持啊。”顾妈妈把一小碗剥好的橘子推到女儿面前,旁边放着一盘草莓,没动过。
“我给你介绍的,也是你爸爸好朋友的孩子。上次妈妈回京城时见过,那孩子挺有出息;你先认识认识,不喜欢也没事,就当交个朋友。”
听见“京城”两个字,顾司玥在屏幕上滑动的手指停了停。
她把手机锁屏,往抱枕上一扣,抬起头。
“我在海城,交什么京城的朋友?”
顾妈妈被女儿呛得一时说不出话,放下手里橘子,在围裙上擦了擦手指。
“哎——”她拖长音,“过完年你爸也该调回去了,你总不能一直不回京城吧?”
果然,比起相亲,这个问题更让她在意。顾妈妈身子往前倾,语速也快起来:
“你喜欢当律师,在京城也可以当啊。我上次听你说,你从原来的所辞职了?那不正好回京城吗?”
顾司玥不想接这个话。
她伸手从碗里拿个橘子,掰成两半,把其中一半放进嘴里。
砂糖橘很甜,甚至有点太甜。她眯了眯眼,目光从妈妈脸上挪开,又拿起手机看时间。
“我爸呢?”
“刚才接了个电话,又出去了。”
顾司玥眉头慢慢皱起来。
她转头看窗外,天已经全黑了。
“又加班,过个年还天天加班,早知道我就不飞过来了。”
“你这孩子,怎么说话呢。”
顾妈妈的语气里带着责怪,更多却是无奈。
说完,她叹了口气。
“你爸老不在家,大过年的你还不能来陪陪妈妈?”
顾司玥没说话,却从沙发上下来,走到妈妈身边抱了抱她。
顾妈妈没再提搬家,也没提相亲,母女俩有一搭没一搭地聊天。
趁妈妈去厨房收拾,顾司玥拿起手机,打开微信。
聊天列表第一个是韩路一。
顾司玥看了看昨天和韩路一的对话。
最后一条是她最后发的两个字。
昆明。
她又往上翻,看了看之前的聊天记录。
然后她伸手打了几个字。
想了想,没发,又删掉。
本文每页显示
5000字 共
502页 当前第
218页
目录 上一页 ← 218/502 →
下一页 加入书签