第321章 AI芯片
書迷正在閱讀:穿成七零福運(yùn)妻、從黑山老祖開始、萬象之主、特戰(zhàn)、超級龍婿、極品兵婿、聞到了他的荷爾蒙(1v1H)、女主光環(huán)、成就感[校園]、日了我的是誰(NP,幼馴染,偽骨科)
不得不說,“ai”芯片仿佛某種天譴之物般,哪怕這位神孽不斷地高歌“創(chuàng)生圣言”,賦予林奇充足而龐大無比的創(chuàng)造力,甚至讓他時刻都有著神明的錯覺,那ai芯片在記憶宮殿里依舊艱難難產(chǎn)著。 這種奧妙至巔峰的作品,一旦出世便能夠影響整個魔法文明的存在,林奇腦海里對他的構(gòu)想,終究是輕微了。 放在外人看來,林奇的所作所為,就像是將一副從a到k,包括花色順序排好的撲克牌,隨意遞給十余位路人切牌洗牌,隨即他再接過來隨便洗上十余秒,然后將所有的牌序恢復(fù)如初一樣。 甚至就像是隨手遞給一個初學(xué)者擰亂的魔方,結(jié)果對方隨手便復(fù)原了出來。 這些都并非不可能,而是出現(xiàn)的概率太小。 林奇眼下的“ai芯片”,也是如此。 就像是無數(shù)隨意的亂洗牌里,慢慢地揉捏出規(guī)律的杰作來,也就大自然的鬼斧神工,才能擔(dān)得起這一名字。 很快。 隨著整個芯片大體架構(gòu)的成型時,林奇也開始陷入一種莫名的震驚之中! 一種類似谷歌曾經(jīng)開發(fā)來alphago的人工智能芯片? 這讓林奇忍不住想起博識圖書館地底奎因殿下的試煉,便是以圍棋智力壓服對手便可以拿到預(yù)言的線頭。 曾經(jīng)的邏輯,仿佛在這一刻重新匯聚起來。 tpu? 這款谷歌17年專門為了機(jī)器學(xué)習(xí)而開發(fā)定制的專用集成電路(asic)僅僅用了一年便轉(zhuǎn)移到云端作為商用,而它也遵循著cpu與gpu的路線。 tpu。 中文名字,張量處理單元。 說來廣大群眾第一次接觸張量這個名字,可能還是靠著看時間簡史之類的科普著作。 張量,來自于數(shù)學(xué),以多線性方式將幾何向量、標(biāo)量和其他類似對象映射到結(jié)果張量的幾何對象。 當(dāng)時林奇第一次也沒聽懂。 不過他看了看還是大致明白過來,所謂張量,就是一個廣義的矩陣。 高中學(xué)習(xí)的向量是一維矩陣,數(shù)字的立方體是三維矩陣,甚至耽擱數(shù)字也是矩陣。 這里冥冥中已經(jīng)和那神經(jīng)網(wǎng)絡(luò)算法所切合,而張量之所以與純矩陣有曲風(fēng),便在于他擁有動態(tài)特征——生活在結(jié)構(gòu)中,與其他數(shù)學(xué)實(shí)體相互作用。 而計算機(jī)科學(xué)里,張量則是一個n緯矩陣。 林奇默默在紙面上重新打版,剛剛他已經(jīng)將整個神秘的控制知識拱手托出,與著神孽交換。 至于對方是否會靠此找到成神的專門要是與切記,他也都無所謂。 火都燒到眉頭了,誰還會估計明天的飯菜熱不熱。 而隨著書寫,林奇的板書筆法也越發(fā)飄忽—— 訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)以標(biāo)簽或預(yù)估值對數(shù)據(jù)分類,此乃推理。 因此每個神經(jīng)元都需要進(jìn)行計算。 輸入數(shù)據(jù)乘以權(quán)重,表示信號強(qiáng)度。 結(jié)果相加聚合神經(jīng)元狀態(tài)。 使用激活函數(shù)調(diào)節(jié)神經(jīng)元參數(shù)活動。 如此一步接著一步,連綿不絕。 按理說,三個輸入而只有兩個神經(jīng)元與一個單層神經(jīng)網(wǎng)絡(luò)的話,權(quán)重與輸入便要六次乘法…… 如此一來,矩陣?yán)锏某似c取片,都需要大量的cpu周期與內(nèi)存,而tpu這種芯片,便是為了減輕這種負(fù)荷而生。 林奇忍不住皺眉看了眼周圍。 某種程度而言,計算量的負(fù)荷和電網(wǎng)的負(fù)荷很類似,最大的負(fù)荷便決定了整體的高峰所在(計算難度),也決定了接下來他完成“ai芯片”后所能夠到達(dá)的高峰。 而供與求有需要平衡,不然的話,第一道崩潰的便是自身。 只是他很快又重新被tpu的構(gòu)架所吸引而癡迷起來。 只有深入一個項(xiàng)目,才能徹底體會他的樂趣。 因此懂是第一步環(huán)節(jié)。 這也是棋類活動里,容易入門的象棋比起圍棋受眾要光,而五子棋又比起象棋還有光。 林奇越看,越發(fā)忍不住嘖嘖稱奇。 這tpu的架構(gòu)居然采用了量子技術(shù),在預(yù)設(shè)的最大值和最小值與八位整數(shù)之間的任意值的近似過程里,tpu居然包含了足足六萬五千五百三十六個八位整數(shù)乘法器,直接將32位或者16位的計算壓縮成為8位。 實(shí)現(xiàn)了曲線的離散化。 完美地減少了神經(jīng)網(wǎng)絡(luò)預(yù)測的成本。 第二點(diǎn),也是更關(guān)鍵的。 正如林奇最初所推崇的硬件。 tpu芯片直接封裝了種種神經(jīng)網(wǎng)絡(luò)計算工具。 諸如矩陣乘法單元,統(tǒng)一緩沖區(qū),激活單元等,它們以后十?dāng)?shù)個高級指令組成,集中完成神經(jīng)網(wǎng)絡(luò)推理所需要的數(shù)學(xué)計算。 同時它又采用了典型的risc處理器為簡單計算提供指令。它的矩陣乘法器單元而不是傳統(tǒng)的標(biāo)量處理器,得以在一個時鐘周期內(nèi),以矩陣cao作,完成數(shù)十萬個cao作。 打個比方,傳統(tǒng)cpu是逐行打印,而tpu芯片則能夠做到影印效果。 如此種種特性,讓它在神經(jīng)網(wǎng)絡(luò)計算收斂方面擁有非凡的效果,曾經(jīng)幾天才能訓(xùn)練出的成功,現(xiàn)在一小時不到就能夠完成。 林奇不禁感慨萬分。 難怪說站在巨人的肩膀上就是爽。 讓他自己來設(shè)計,如何能夠突破看似最簡單的加法器這個關(guān)卡? 萬丈高樓平地起,曾經(jīng)的林奇開發(fā)cpu時,第一步入門選擇完成的模塊便是加法器,因?yàn)樗脑碜詈唵?,也是最容易?shí)現(xiàn)的cao作。 然而整個tpu芯片,居然本質(zhì)上也是做加法器? 它的核心便是由乘加器組合形成的256x256的運(yùn)算器陣列:乘法矩陣。 這種冥冥中的呼應(yīng),也讓林奇有些哭笑不得。