悟空追书

手机浏览器扫描二维码访问

第113章 意外的邀请(第1页)

[]

相比效果显著,非常出色的老虎算法,移动端优化排序算法的效果要稍差一些。

因而孟繁岐并没有急着推动上线测试,而是等待结合aI语言解释模型的那一个更准备一起推动。

目前针对语言问题所采用的通常是循环神经网络(Rnn)和长短期记忆办法(LsTm),这两个工作都是上个世纪末的老办法了。

这两种方法简明好用,因而一直兴盛到2o17年左右。

直到Transformer,也就是chatgpT的T方法出现。

通常来说,大家都认为Transformer方法之所以能够迅取代Rnn和LsTm,主要是因为它更方便并行进行。

在多个设备上容做到并行,这件事最核心的意义便是让规模庞大的版本成为可能,这也为后来chatgpT这样的究极巨无霸模型奠定了基础。

“其实老版的Rnn也有办法可以把并行做得很好,领域内对这件事有很大的误解。”

孟繁岐皱着眉头思索道。

原本时间线,Transformer出来之后,所有人都放下了手头老方法的研究,拥抱了T方法。

可18年实际上有人专门做了Rnn的高度并行,只可惜已经太迟了。

如果这个现可以早一年的时间,可能Rnn会长期作为T办法的竞争对手,我们也有可能看到net的出现。

“早期的T方法需要很多数据,各种参数比较难调整,需要的计算能力也很庞大。”

孟繁岐即便根据后来成熟的许多方法做了一个改进的版本,T方法在早期仍旧比较麻烦。

“好在谷歌的数据和算力都不缺,而我也比较熟悉各种经典的参数设置。”

孟繁岐先写了一个雏形版本的T方法,进行了一下测试。

“不过,受限于现在显卡的显存,模型没有办法做得很大,除非我专门再去开deepspeed这样的高级并行方式。”

在多张卡上训练模型,可能是为了追求度,也可能是因为一张卡上放不下了。

其中,数据并行是最简单的,也就是不同的卡都在做同样的事情,每张卡上都会存放一个模型。

只不过输入的数据不一样,不同的卡做完运算之后,再一起整合更。

就像是所有人都拿了同样的刀切不同的菜,最后把切好的食材堆在一起。

可有的时候,一张卡上根本就放不下模型,这样的情况就比较麻烦了。因为一个人根本拿不动这把刀了,需要多人协作。

可以把每一层拆分到不同的卡上,也可以把不同层分配到不同的卡上,如此一来,其实是用多卡实现了类似单卡训练的效果。

显然,前者会比后者容非常多,前者只需要在不同卡上复制这些模型,分别读取数据做运算就好。

而后者则需要根据不同的情况和设置拆分合并,一个不小心就会搞错。

看了下谷歌大脑的服务器,里面有好几批2o13款的gTx泰坦,这东西着实价值不菲。

考虑到当时的其他产品,6g的显存还是鹤立鸡群的。

比起孟繁岐自己重金购置的4g旗舰款,多出的2g显存,足够做很多其他的事情了。

用度换显存,孟繁岐又做了许多参数和信息在cpu和gpu上反复转移的操作。

因为在正式入职之前,谷歌大脑分配给他的显卡就已经有16张泰坦,这部分卡拨给孟繁岐独享,随时都可以使用。

热门小说推荐
摔了一跤,再睁眼成了极品老妇

摔了一跤,再睁眼成了极品老妇

简介关于摔了一跤,再睁眼成了极品老妇金桂花,二十一世纪的拆二代,这天,她出跟团去旅游上车时,不知怎么绊倒给自己摔了一跤。再睁眼,现来到了九十年代,成了位又抠又极品的中年妇人。原以为,自己就是要靠着空间家致富的天选女主,现自己居然是穿书的,而瘦到脱相的小孙女,正是让女主受尽苦楚最多的病态偏执狂黑化女配。自己,是女配亲手杀死的极品奶奶...

从零开始的沙盒生存游戏

从零开始的沙盒生存游戏

漫漫长夜方舟七日杀泰拉瑞亚等沙盒游戏综穿文。秦飞意外穿越到了‘漫漫长夜’的世界中。这里地处北极圈,不仅有世界上体型最大的极地灰狼,甚至还能看见棕熊的身影在荒无人烟,食物匮乏的极地,他必须独自存活2oo天之久。本书所包含的世界漫漫长夜七日杀方舟孤岛畸变深海迷航饥荒以撒的结合虐杀原形泰拉瑞亚亿万丧尸...

水泥厂千金综艺纪实

水泥厂千金综艺纪实

山村小生活之后是猫咖小生活看看孩子,点点收藏吧,头铁不压字数陈田田她爸开了个水泥厂,放眼在全国全省乃至全市都排不上号,但是在他们乡多少远近闻名想要做大做强那得做广告啊陈爸天天看电视梦想加入品牌计划,可惜签合同时候没看见前面多了两个小字。就这样,他们陈氏水泥凭本事成了山村品牌计划山村小生活的唯一冠名商。一生好强的陈爸派出了家里两员大将,他闺女陈田田和猛犬陈大壮带着他爸...

穿越之冷心王爷太难缠

穿越之冷心王爷太难缠

简介关于穿越之冷心王爷太难缠田羽彤锦王爷,你不是说,你绝对绝对不会娶我,还恨不得我永远消失在你的面前?王爷本王后悔了,本王现在恨不得把你永远揣在怀里,再也不分开。田羽彤皱眉,一脸嫌弃道你这般冷酷霸道,还不解风情,实在不是我的菜。王爷那你喜欢什么样的?田羽彤笑的一脸灿烂我喜欢的当然是温润如玉,待人谦和有礼的,总之与王爷你半点不沾边。王爷本王长的好看。田羽彤认真看了看他,点了点头又摇头道好看是真的,但不能当饭吃。王爷本王家财万贯,家世显赫。田羽彤笑得一脸灿烂这个虽然与我喜欢的沾点边,但你还不够格。王爷怒不可遏,将其拉到怀中就凭这一点,本王就可以将你周边的烂桃花掐灭,让你身边就剩我一个。田羽彤咬牙切齿到王爷,你太霸道了。王爷笑得一脸放肆只要能与你在一起,就得这么霸道。田羽彤滚犊子。...

我为功德付出的那些日子

我为功德付出的那些日子

姜叶在死之前,万万没想到自己活过来之后,会苦恼着该怎么去赚取功德,毕竟她除了右手还完好,身体其他部位已经光秃秃的了。自此之后,只要是能功德的机会,她都要去掺一脚,毕竟蚊子再小也是肉姜叶一切都是为了功德最开始。妖魔鬼怪愤怒宁个破破骷髅架子,宁也配后来。妖魔鬼怪们痛哭流涕来吧,不要因为我是一朵娇花而怜惜我给你度,给给给反正度总比被劈得魂飞魄散的好。姜叶这些东西可能有病而业内的人,也从一开始的不屑,变成了目瞪口呆,这么凶残的人,真的是太喜闻乐见了啊终于有一天,是鬼看见他们人类吓得屁滚尿流了。姜叶表示,要是老天不要那么抠门,一切都很完美。立意民主自强...

暴君夺娇

暴君夺娇

简介关于暴君夺娇(双洁独宠)云姒是养在深闺的丞相嫡女,温柔娴静,矜持守礼。她及笄后订婚,未婚夫是谦谦君子温润如玉的表兄,也是当今皇上的侄子。两人门当户对郎才女貌。订婚当晚,云姒梦到一个男人,男人将她按在鸳鸯锦被上,眼神火热放肆,仿佛要将她吞吃入腹。可那男人竟不是她的未婚夫,而是未婚夫的暴君皇叔!暴君谢琰患有头痛之症,性情日益暴虐。从一日起,他夜夜梦到一个小娇娘,与她颠鸾倒凤共赴云雨谢琰只有做完梦后,能缓解头痛。他广征天下美人,却找不到梦中的小娇娘。直到侄子的大婚之日,谢琰看到梦中的小娇娘一身大红嫁衣,将要嫁给他的侄子。谢琰一脚踹开侄子,闯进洞房,撕碎她身上的嫁衣,声音狠戾你早就是朕的女人了,还敢嫁给别的男人?...

每日热搜小说推荐