韩路一刚提过苏念念,其实也给自己安排了视频会议。
和赵文渊。
赵文渊请假后就没再去办公室,最近一直在家搭数据管线——鼎盛那边的程序走完前,先把准备工作做起来。
两人先过了一遍训练策略。会议结尾,韩路一问起时间线。
“文渊,鼎盛那边的账户大概这两天就能配好,你这边什么时候能开跑?”
电话那头,赵文渊停顿片刻,像在组织语言,才开口:“韩总,就算算力到位,开跑前还有一道坎。”
“什么坎?”
“上周五跟你说的,预训练数据的预清洗。”
韩路一坐在办公桌前想了想,是有这么回事。
“咱们现在手里有什么?坎在哪?”他问。
“有CommonCrawl里的数据,还有公共版权的书籍资料。我想在清洗这块优化一下,搞了几天还没头绪。”赵文渊解释。
“嗯……我晚上回去看看。”
挂断视频,韩路一在办公室里思索起来,随即想起赵文渊的属性面板。
【赵文渊】
【技术S(研究SS)|协作C|稳定A】
【特技:大模型训练|大模型后训练】
后训练是他的强项,预训练这边可能就没那么熟。
当然,大模型出来几年,论文发了那么多,大家没吃过猪肉也见过猪跑。技能可以迁移,摸索摸索,预训练没那么难。
想从头做大模型,真正的瓶颈还在数据和算力。
数据分两块:原始数据和标注数据。
标注数据这块,靠视界,韩路一已经拿到世界顶尖的标注。数量还不太够,但肝一肝总会有的。
原始数据还得想办法。
一般厂商的数据来源主要有几个:除了出版物或特定行业资料,还要去互联网上收集。互联网资料也有不同来源——可以自己爬,各显神通,爬到什么算什么;也可以用CommonCrawl。
CommonCrawl是开源语料库,大模型时代的“数字公共图书馆”。它是个非营利组织,目标是“爬取和存档整个互联网”,并把数据免费提供给所有人。这个愿景很伟大,也确实帮到了很多人。
现在市面上做通用场景的大模型,有一个算一个,训练语料里一定包含CommonCrawl,无非有的多些有的少些。
但CommonCrawl的问题在于,它基本没有清洗,里面是互联网上各种各样的原始信息。
就拿中文互联网来说,上面最多的内容是什么?知识干货?生活小常识?人生感悟?感人的文学作品?
错了,是垃圾,各种各样的垃圾。
菠菜广告、瑟瑟广告、为优化搜索结果的重复关键词堆砌。
如果把这些东西当原料直接做模型,可以期待看到这样的场景。
你问它:“什么是大模型预训练?”
它回答:“近来大家都对大模型预训练很感兴趣,那么大模型预训练到底是什么呢?小编带大家看一看,看完真的惊呆了!到底该如何评价这件事情?欢迎在评论区留下你的看法!”
所以原料在用之前,先要经过复杂清洗。这也不是人工进行,一般会用传统基于规则的数据管线筛掉完全无用或有害的信息,再在剩余信息中去掉语意重复的内容。
至于怎么做,韩路一暂时没头绪,但没关系。
晚上问问视哥怎么看。
想到这,他拿出手机看了看时间,已经快六点了。
晚上【404寝室】又约了饭,是张浩然组织的。本来周末就想约,但韩路一为了和苏念念准备今天的董事会会议,拖到了今天。
张彪去机场还没回来,韩路一没坐地铁,奢侈了一把,自己叫了个车。
张浩然订的是一家烤鱼店,比他们的老地方烧烤摊档次高了不少。包厢门口挂了块实木牌子,写着“贵宾席”。
韩路一到时,张浩然已经坐在里面了。
两人正打招呼,马小飞也走了进来,手里举着大疆Osmo Pocket 4P,一边进门一边说:
“这个必须发,从烧烤摊到贵宾席,这是咱们寝室的成长纪录片。”
“你就不能进来先坐下?”张浩然说。
“艺术家需要随时记录,你不懂。”
“什么时候干自媒体也成艺术了。”张浩然吐槽。
“大概是抽象艺术吧。”韩路一补刀。
“笑吧笑吧,我上个月刚过二十万粉了。”马小飞不服气。
“二十万?”张浩然有点意外,“上次不是才十万出头?”
“那都几个月前了。最近科技赛道流量好,我做了个系列叫“小飞拆机”,专门拆各种国产AI硬件——翻译耳机、AI音箱、智能眼镜,拆完给大家看里面到底有没有料。上周那条拆某个AI音箱的,六十多万播放。”
“现在养活自己没问题了?”韩路一问。
“什么话,最近哥们发了,广告报价五千一条,标准的,一个月能接四五条,还有平台分成。”马小飞顿了顿,难得认真一秒,“当然也不稳定,这个月好不代表下个月好,但至少现在是我最舒服的状态。”
张浩然看了马小飞一眼:“你说你一个交大毕业的,全职做自媒体,你爸妈没意见?”
“有意见啊,但看到我赚钱了就没意见了。”马小飞理直气壮,“天下爸妈都一样。”
三个人落座,点了两条鱼:一条酱香味的清江鱼,一条麻辣加辣的黑鱼。主要是韩路一不爱吃辣,马小飞却说,来吃烤鱼不吃辣就白来了。又加了粉条、青笋、豆制品等配菜,最后点了一大桶可乐。
张浩然倒无所谓,他已经打定主意一会儿请客。
菜上来之前,马小飞先把Pocket 4固定在桌面上,找了个能同时看到三个人的机位,还给自己的脸设上人脸追踪。
然后他才转过头问:“张浩然你什么情况啊?这么着急把我们叫过来,有什么你马哥能帮忙的?是不是老韩的存款不太够啊?”
韩路一也好奇地看向张浩然。
这确实是张浩然今天想说的正题。他没理会马小飞的玩笑,表情严肃,声音低沉:“老韩上次不是给了我们一个内测账户吗?你回去用了吗?”
马小飞被他的神情搞得有点不自在:“我打开看了一眼,不是跟ChatGPT、豆包之类的一样吗?”
“不一样。”张浩然说,“老韩这个模型,真的会读心术。”
这下别说马小飞,连韩路一也一头雾水。读心术什么的,是因为汤圆在意图理解方面确实不错,他说着玩的,可看张浩然的样子,怎么好像真信了?
“我给你详细讲讲。我们银行之前不是新换了行长吗?最近总行又在推国产系统迁移,行长助理和直管我的副行长对上了,僵持了两三周。我为这事儿愁死了,不知道多少脑细胞,生怕站错队。结果你猜怎么着?我把这事儿跟汤圆一说,她全给理清了。”
张浩然说到这,声音压得更低,脑袋往前凑了凑,又做了个手势,让另外两人也把头凑过来。
“我觉得她说得有道理,然后开会的时候,我就跳船了,力挺行长助理。结果你猜怎么着?行长助理还真是代表着行长的意思。我现在直接进了委员会,委员会里除了我,就是总行下来的经理和我们行的另一个副行长。”
听到这,马小飞开口:“卧槽,我他妈鸡皮疙瘩起来了。”
他转头看了一眼架在桌上的Pocket 4P,伸手拿回来,关机。
“你放心,刚才这段我肯定不播出去。”马小飞保证。
张浩然举起手里的可乐,对着韩路一说:“老韩,我今天就是想谢谢你。你这个AI真是太牛逼了,给我在职场省了三五年的努力。”
韩路一却有点儿高兴不起来。
他先和张浩然碰杯,喝了一口可乐,才开口:“我是真没想到能用它来干这个。”
韩路一确实没想到。他有点儿受限于现在市面上大模型的能力,脑子里想的应用场景,都是在上下文不足时让模型更好理解用户真正的需求,好帮他们解决问题。
张浩然这种用法,既出乎他的意料,又似乎在情理之中。毕竟它的标注数据来源于金手指,说是简易版读心术也不为过。而且大模型能更进一步:基于分析结果,还能给出行动建议。
可这恰恰也是最危险的地方。
张浩然刚才说的这些事,现在别的大模型能做吗?
能做。
但人们会去听吗?
大概率不会。
为什么不会?
因为它们分析得不够好。
可汤圆在意图理解这个方向的能力异常高之后,分析别人的意图时就能头头是道。这样它再给出行动建议,人们就很难不相信。
可连原版的金手指都不能预测未来。
何况是一个7B模型,加上弱化版的金手指呢?
说对了还好,说错了呢?
其实说起来,大模型在很多场景下都已经表现很好。比如医疗诊断、法律分析,它们都能给出头头是道的建议。可为什么在这些场景下,应用推广反而最慢?
因为这些场景都是典型的高代价场景。
你可以做到99%正确,但1%的错误会造成严重后果。以前有专业人士承担后果,可如果使用AI,谁来承担?
想到这,韩路一表情严肃,对张浩然说:“你以后别再这么用了。”
张浩然一愣:“什么意思?”
韩路一整理了一下思路:“你没意识到吗?它不止在分析,还给了你具体建议,然后你照做了。”
他加重语气,一字一顿:
“你把判断权交出去了。”
张浩然一下明白了韩路一的意思,感觉浑身一冷。
是啊,他这次站对了队,可他真的知道为什么吗?
下一次呢?怎么办?
他回想一下,最近越来越多地和汤圆交流职场上自己看不懂的事。她说的都有道理,他也基本都会采纳。
韩路一的话没停:“浩然,一旦你越来越依赖它,你的大脑会退化的——”
“到那个时候,你就废了!”
这句话落下,旁边的马小飞忍不住咽了口口水。
张浩然说:“那……我该怎么办?”
韩路一想了想:“换一种用法。”
“什么用法?”
“你可以把它当朋友、当老师,但不能当成先知。咱们上学时怎么学习?看见不会的东西先自己思考;实在想不出来,再带着思考过程和卡住的地方去问老师。或者和朋友交流,你也会先说出自己的想法,再去问别人意见。不放弃自己思考,先思考,带着思考结果再交流,这才是正确用法。”
马小飞听到这,忍不住开口:“老韩啊,你说的那是你的学习方法吧。我都是看见不会就直接去问老师。”
韩路一神色怪异地转过头:“海城人上交大的要求就这么低吗?”
“你是不是在阴阳我?”
有马小飞打断,包厢里的气氛没刚才那么压抑了。恰好这时菜上来了。
韩路一不知道张浩然听进去没有,但三人默契地转移话题,聊起了别的事。
张浩然虽然没升职,但得到大领导赏识,还拿到实权工作,值得庆贺。
“说起来,你的烟戒得怎么样了?”马小飞说。
“还行,没破戒。就是每天晚上加班比较辛苦,你看今天连酒都没点。”张浩然笑。
“不是?谁问你了啊?”马小飞提高声音,“不要欺负我们单身狗啊!”
说到这,马小飞又转向韩路一:“呃,老韩,你跟我还是同一个阵营吧?”
韩路一点头。
马小飞像松了口气,又接着问:“那你跟苏女神是怎么回事啊?还没确定关系吗?”
“咱不聊这个,行吗?”韩路一看向烤鱼。
“行吧……”马小飞叹了口气,“我周六去医院看见苏女神了,还打了个招呼。”
“什么?她去医院干什么?”韩路一转向马小飞,急切地问。
“不是,你怎么不问我去医院干什么啊?”马小飞“嘿”了一声,“重色轻友了吧?”
然后他看了看韩路一的神情,赶紧说:“好像是她家人住院了,我没细问。她看起来气色不太好,可能是太累了。”
韩路一想起今天早晨苏念念的身姿。其实会前能从她神态里看出一丝疲惫,但会一开始,她就火力全开了。
那个样子,大概是在强打精神。
韩路一从桌上拿起手机,打开和苏念念的对话框,打了几个字,又删掉。
问什么呢?问“你家人还好吗”?他连是谁住院都不知道。问“你还好吗”?今天早上刚见过,她在会上那个状态,说明她不想让别人看出来。
最后他只发了一条:“念念,今天辛苦了,早点休息。”
发完,他看着那条消息,总觉得说得太少,又想不出更合适的话。
苏念念没有秒回。
韩路一把手机放回桌上,继续吃鱼。又过几分钟,手机亮了一下,他低头看了一眼。
“好的!”
“你也是啊!”
韩路一盯着这六个字看了一会儿,锁了屏,没再回复。
吃完饭,张浩然提前去买单。临走前,他对韩路一说:“老韩,你还是把我的内测账号关了吧。我怕我忍不住。”
韩路一想了想:“好,我把服务器关了,回去再调整调整。这样确实不能放出去给普通用户用。”
马小飞赶紧说:“诶,你关他一个人的好了,我这边还没用过呢。”
看到两人神色不善,他又加一句:“至少明天再关,明天再关吧,让我今天晚上试试先。”
……
回到家,韩路一打开电脑,从赵文渊分享的资料里拉出一部分原始数据,然后用赵文渊放在同一个文件夹里的数据清洗脚本跑了起来。
一边跑,他一边打开视界。
视哥,看看实力。
本文每页显示
5000字 共
502页 当前第
161页
目录 上一页 ← 161/502 →
下一页 加入书签