三天后。
鼎盛集团,大模型研究院,AI实验室。
刘大海在实验室待了二十几个小时,通宵没合眼,眼睛通红,布满血丝。
年纪不小了,这么熬已经有点吃不消;可精神仍很亢奋。
刚和韩路一见完面那回,对方用7B小模型加一万条数据微调出的那个叫“汤圆”的模型,给了他很大震撼。
后来他被叫到鼎盛CEO郑晓波办公室问这个模型,他实话实说:一定是标注数据好。
郑晓波问他,如果能拿到同等质量的数据,他能做出什么成绩。
刘大海说,他能给天捅出个窟窿来。
那是夸张的说法。
没想到,数据还真到了他手里——战投部VP程远亲自拿U盘送过来。
里面不是一万条,是八万条。
说是鼎盛和源智科技签了合作协议,对方共享的。
大致浏览一遍,刘大海就确认:这就是微调出“汤圆”的那批数据。能标到这个程度,怪不得一个7B小模型能被微调得这么强。
见猎心喜,他拉着组里人开了新一轮后训练,直接上顶格计算资源。
一轮一轮看结果,效果好得超乎想象。
一不小心就通了个宵。
很多人以为做大模型是好职业:赚钱多,大厂争抢,全社会瞩目。
可只有真干这行的人才知道,这活儿一点也不好干。很多时候,损失怎么降、奖励模型怎么收敛、各项指标怎么平衡——代码能力上去了,数学推理又掉了。
有些能用理论解释,有些找不到解释。
干这一行就像在一片漆黑的大海上开船。
既看不到终点,也看不到四周,只知道自己在前进,可究竟在往哪个方向前进?不知道。
也不知道会先到陆地,还是先撞上冰山。
怪不得搞模型的人爱戏称自己在炼丹:开炉之前,谁也不知道能不能成。
太像了。
正因为知道让模型能力提升一点有多难,一下子拿到这么多高质量标注数据、提升这么多,刘大海才这么兴奋。
可最初的兴奋过去之后,他忽然觉出点不对。
源智科技有这么高质量的标注,不拿来训练自己的模型吗?就算没资源从头做起,拿市面上的开源基座模型做微调,也能做出很惊人的成果吧。
怎么一点动静都没有?
有了这点不对,刘大海又去细看共享过来的标注数据。
更觉得不对。
他一条一条翻过去。
质量高吗?高。
逻辑链条严密吗?严密。
可越看,刘大海眉头皱得越紧。
旁边一个组员路过,见他神情不对,问了一句:“刘博士,怎么了?我看结果超出预期地好,您脸色怎么这么难看?”
其实这组员自己也是博士——能在大模型组里工作的,不是博士反而奇怪。
可至少在这个组,能叫“刘博士”的只有刘大海,其他人都是直呼其名。
这自然是因为刘大海地位最高:鼎盛人工智能首席科学家。
刘大海看了看组员,指着屏幕上一条标注问:“你看这个,怎么样?”
组员一头雾水,看了看,说:“挺好的啊。”
刘大海又指另一条:“那这个呢?”
组员仔细读了一遍,又说:“这个也挺好的……吧?”
他已经被问得有点不自信了。
刘大海接着问:“这两条标注有什么共同点?”
组员想了想,试探道:“质量高?”
刘大海一愣。这倒说对了,可明显是没用的信息。他问:“你不觉得,这些标注的语义里,对数据合规的引导太重了?”
啊?组员愣了愣:标注数据引导的是模型的行为模式,或者说人格。
对合规有要求很正常吧?对齐训练不就是干这个的?
组员看刘大海的样子,觉得他有点杞人忧天。
这批标注的质量是高,高得惊人。
要是出去跟别人说,我有一批高质量标注数据,质量太高了,还包含合规引导。
那不会被当成抱怨,只会被当成炫耀。
欠打的那种炫耀。
要知道,鼎盛研究院做大模型的几个组,这段时间最苦恼的就是高质量标注数据不够。
不管是外面外包的标注团队,还是鼎盛内部的标注团队,量是有的,质量却一言难尽。有时把标注加进去,模型能力和理解力反而下降。
这些科学家花在挑标注上的时间,可能比标注员花在标注上的还多。
组员没再搭话,接着干自己的活去了。
数据到位,大家都兴奋,忙得连轴转。
刘大海见自己的怀疑没人响应,摇了摇头,还是决定找上级汇报。
大模型这个事,马虎不得。
“你们先把下轮训练停一下,等我回来再继续。”刘大海喊了一声,出实验室,直奔林绍峰办公室。
林绍峰是鼎盛研究院的VP,刘大海的直属领导。
两人职级虽然相同,但刘大海是IC,不管人;林绍峰是管理岗,刘大海的考评要林绍峰定,自然仍有高低之分。
刘大海是临时来的,在门口跟秘书说了一声。过了一会,秘书请他进去。
“林总。”一进屋,刘大海就开门见山,“前天来的那批数据,我觉得有点问题,建议训练先停一下。”
“哦?”林绍峰挑了挑眉,“你昨天不是还跟我说数据质量很高、训练效果也很好吗?怎么一天就变卦了?”
“不,没变。”刘大海说,“我不是说质量问题,是觉得里面的逻辑引导好像有点重。”
“有什么影响呢?”林绍峰问。
“这个还说不好,我还得再琢磨琢磨。”刘大海实话实说。
林绍峰皱了皱眉。坤元是眼下全集团的重点,他压力很大,停一天影响都很大。
“那你要多少时间?”他耐着性子问。
刘大海低头想了想:“一个星期。”
“什么?”林绍峰以为自己听错了,定了定神,“我记得你说一轮完整后训练是两个星期,对吧?你要花一个星期调查标注数据?”
“对,这个标注的逻辑不太对。”刘大海答道,没觉得有什么不对。
“不行,现在就得开始训练。”林绍峰说得很干脆,“而且两周之内就得出成果。”
刘大海涨红了脸,没想到林绍峰拒绝得这么干脆,自己也上了头:“不行,不能训练。我说不能就是不能,我是首席科学家,我要对最终模型负责。”
林绍峰心想:科学家有时就是不可理喻。
他看着刘大海,缓缓开口:“刘博士,我看你最近是不是太累了?”
刘大海一愣:这干架干一半,怎么突然关心起我的身体来了?
“你连续熬了这么久,判断可能也受疲劳影响。这样吧,你先去别的组休息一下,训练的事让你的副手先接手。”
刘大海脸色一变。
“林绍峰,你啥意思?你能把我调走?”
“我会请示郑总,你先回去等通知吧。”林绍峰语气平静地说。
“你还请示郑总?我跟你说,我也请示郑总,咱们走着瞧吧。”刘大海气呼呼地走了出去。
林绍峰无奈地捏了捏太阳穴。他没生气,只是有些无奈。
科学家是真不好管。
这件事只看公司利益:坤元进度全公司都盯着,闹到郑总那,甚至闹到吕总那,何必呢?
只是让我脸上难看而已。
随后他打开电脑,开始编辑给郑晓波的报告。
写完报告,他又让秘书把刘大海的副手叫来,准备直接安排工作。这个副手他了解:水平还可以,脾气没刘大海这么倔,比较好拿捏,不然也干不到这个位置。
先叫他过来把工作安排下去,等郑总回复一到,就赶紧开始这一轮训练,希望能达标。
坤元的进度已经不允许再拖下去了。
把这些事办完,林绍峰给张弛打了个电话。
“张总,忙着呢?”
“不忙不忙,林总有什么吩咐?”张弛语气很轻松——毕竟他这边的活儿已经干完了,压力现在在研究院那边。
数据可是给到你了,再做不出来,可不是我的问题。
“是这样,坤元训练很顺利,我们这边想加加速。张总,你看你这边能不能支持一下?”林绍峰问。
“那当然。”张弛笑了一声。这种大项目愿意分他点贡献机会,自然求之不得。
挂了电话,张弛马上给刘亚光打过去。
很快,刘亚光接起。
“老刘啊。”张弛说,“咱们GPU集群还有多少空余?给研究院那边再拨点。”
突然,他像想起什么,又压低声音:“对了,韩路一那边偷偷压一下。咱们两边一起开始训练的,别让他们跑到前边去。”
“好,我懂您的意思。”刘亚光也压低声音。
张弛还不放心,又问:“怎么压,你有想法吗?”
“您放心,我有数。”刘亚光说,“直接限速太明显。我让调度那边把他们的作业优先级调低,排在咱们自己的任务后面。他们的节点照常跑,但遇到资源争抢,咱们先走。”
“他们能发现吗?”
“大概率发现不了。负载均衡嘛,很正常。优先级这东西在咱们这边能看见,他们看不见。”刘亚光顿了顿,“另外,我可以安排一个例行巡检,时间段选在他们训练高峰期,临时把部分节点下线做维护。维护本来就是周期进行的——这是咱们的机房、咱们的硬件,按时维护是必须的。”
“行,按你说的来。”张弛没再多问,“后面没有新数据进来的话,这段时间注意点,别弄出什么动静。”
“明白,您放心吧。”
挂断电话,张弛又靠回老板椅。
一丝若有若无的微笑浮在脸上。
……
另一边,赵文渊急匆匆给韩路一打来电话。
“韩总,咱们被限速了。”赵文渊语气有点气急败坏,“这他妈鼎盛也太不地道了,偷了咱们数据不说,怎么还直接拔网线啊?”
“怎么限速了?”韩路一一边问,一边也登录上鼎盛云账户。
“训练吞吐量掉得太明显,但GPU一条报错都没有,我们自己的代码也查过,没问题。”赵文渊说,“然后我去看他们的维护通知,今天下午两点发的,说三点开始有节点下线检修,让我们注意。”
韩路一挑了挑眉:“提前一个小时通知?”
“对,维护窗口一般在半夜吧?哪有在白天干的?”赵文渊说,“这不是限速是什么?”
韩路一没说话。这时他已登入鼎盛云账号,目光落在屏幕上,视界启动。
扫了一圈,他没什么特别表情,直接点开在线工单系统,开了一个新的紧急工单。
他把优先级变更的时间戳、操作账户的归属部门、维护任务历史执行窗口对比,以及当日吞吐量下降曲线截图,一条一条列清楚,最后在问题描述里写道:“以上操作导致我司训练任务显著降速,与服务协议中的资源保障条款不符,请说明原因并恢复至正常优先级,否则我司将保留追究违约责任的权利。”
发送。
他放下手机,对赵文渊说:“先盯着,应该很快就好。”
电话那头安静了一会。赵文渊盯着训练监控曲线,吞吐量还是那么低,没动。他等了等,大概过了两分钟,忍不住又开口:“韩总,还没动静呢。”
……
鼎盛云运维中心,刘亚光正在处理别的事,工单消息弹了出来。
他扫了一眼,鼠标停住了。
又看了一遍。
他把工单从头到尾读完,后背有点发凉。
操作账户、时间戳、历史维护窗口对比……他们怎么查得这么详细?
他在椅子上坐了一会,没去请示张弛,直接打开后台,把源智的作业优先级改了回去,又把那个“例行维护”的节点重新上线。
这种事情,偷偷做没事,赌的是对面看不出来。
可要是被当面抓到了,那最好的方式就是立正挨打。
只不过干了这么多年,他还是头一次被抓到。
刘亚光在那条工单里回复:“经排查,系统调度参数出现异常,现已修复,感谢您的反馈。”
关上工单,他找到鼎盛研究院那边的账号,把原本分配的算力额度又提了一档。
只能这样了。
只能祈祷研究院那边跑快一点。
……
赵文渊看着屏幕上弹出来的工单回复。
“感谢您的反馈。”
又看了看吞吐量数据,已经回到正常水平。
他咽了口口水,低头看了看手机,和韩路一还在通话中。
“您——这就行了?”
“继续训练吧。”
韩路一挂断电话。
本文每页显示
5000字 共
502页 当前第
224页
目录 上一页 ← 224/502 →
下一页 加入书签