第319章 神經(jīng)網(wǎng)絡(luò)
書(shū)迷正在閱讀:穿成七零福運(yùn)妻、從黑山老祖開(kāi)始、萬(wàn)象之主、特戰(zhàn)、超級(jí)龍婿、極品兵婿、聞到了他的荷爾蒙(1v1H)、女主光環(huán)、成就感[校園]、日了我的是誰(shuí)(NP,幼馴染,偽骨科)
就在林奇沉迷與遲疑于這位神孽以命運(yùn)之力為他搭建的處理器的接口模塊時(shí),他卻戛然發(fā)現(xiàn)腦海里同樣在動(dòng)工的芯片走向了新的篇章。 迥異于他曾經(jīng)構(gòu)思的簡(jiǎn)單cpu芯片模型,也并非最近才轉(zhuǎn)變思路的gpu芯片模型。 而是一種更為極端的芯片模型。 ai芯片。 眾所周知,芯片本身具有多種類型,以制程來(lái)分的話,微機(jī)與手機(jī)作為消費(fèi)電子的關(guān)鍵,自然分配到的也是最好的消費(fèi)級(jí)芯片,像每年各家手機(jī)廠商推出的最新款旗艦機(jī),如果不搭配上最新的870880芯片,都絕對(duì)對(duì)不起這個(gè)稱號(hào)。 哪怕這里面有的芯片因?yàn)樾阅芏l(fā)熱嚴(yán)重甚至成本巨大,但最新最強(qiáng)這個(gè)名頭,就是不能輕視之,不然消費(fèi)者馬上在這一年教做人。 而這些芯片之外,剩下的還有不同種類的芯片,它們并不需要用到最為先進(jìn)的5nm制程,它們甚至用單片機(jī)這些來(lái)控制即可,包括不限于arm,dsp這類,也就是總稱的mcu芯片。 它們的制程再高也就28nm級(jí)別,但卻是一筆龐大無(wú)比的消耗,諸如汽車(chē)便是這類芯片的消耗大頭,最簡(jiǎn)單兩個(gè)車(chē)窗控制升降都需要,更別說(shuō)自動(dòng)輔助駕駛等復(fù)雜的功能模塊。 而ai芯片則是一種在異化之上,比gpu走得還要更加極端的芯片類型。 如果是gpu比起cpu而言,是需求更加多的alu單元(算術(shù)邏輯單元)。 那么ai芯片則是專門(mén)針對(duì)ai算法定制的專用芯片,所以執(zhí)行ai算法時(shí)能耗更低,效率更高。 林奇最初看著這位神孽以“創(chuàng)生圣言”激發(fā)他創(chuàng)造效率而萌生的“處理器”模塊,很快就發(fā)現(xiàn)它與尋常芯片結(jié)構(gòu)的不同之處。 像是自動(dòng)駕駛這個(gè)類目,尋常的cpu處理器計(jì)算,則因?yàn)檫\(yùn)算并非強(qiáng)項(xiàng)所以速度無(wú)法滿足需要,至于gpu芯片倒是滿足,但是它的成本過(guò)高與功耗都動(dòng)輒超過(guò)了消費(fèi)者承受范圍。 這時(shí)候,專門(mén)定制用來(lái)貼切這些應(yīng)用場(chǎng)景的ai芯片便應(yīng)運(yùn)而生,像是谷歌早期訓(xùn)練阿爾法狗還用的顯卡芯片,后期便直接用自行研發(fā)的ai芯片來(lái)訓(xùn)練。 林奇這時(shí)才懵懵懂懂的想起來(lái)。 ai芯片之所以能夠勝出,便在于ai算法涉及到的太多卷積、殘差網(wǎng)絡(luò)、全連接類型計(jì)算。 而這些計(jì)算本質(zhì)上便是加法和乘法。 類似于林奇曾經(jīng)接觸到的那些法術(shù)模型的計(jì)算。 要知道,一個(gè)成熟些的ai算法,執(zhí)行一次它的話,動(dòng)輒便等價(jià)于上萬(wàn)億次加法乘法計(jì)算。 而先進(jìn)些的cpu處理器,算上多核一秒鐘的計(jì)算次數(shù)也就幾百億次。 來(lái)處理上萬(wàn)億次便有著時(shí)間差距。 可像是谷歌開(kāi)發(fā)的tpu1,它一秒鐘的計(jì)算次數(shù),是接近100萬(wàn)億次。 一秒鐘都把上萬(wàn)億次計(jì)算的ai算法執(zhí)行了上百次了。 如果說(shuō)gpu是專門(mén)從cpu中分離出去處理圖像計(jì)算,那么ai芯片則是專門(mén)分離處理ai算法計(jì)算。 這一切,都源自于深度學(xué)習(xí)對(duì)于神經(jīng)網(wǎng)絡(luò)算法的依賴! 偏偏。 此時(shí)的林奇看著這份硬是在自己腦海里建立起來(lái)的奇跡,已經(jīng)坑不出半句話來(lái)。 說(shuō)多少,那都是多余。 法術(shù)模型本身涉及的便是最基本的加法乘法運(yùn)算。 而林奇最初制定的方案,便是日后往人工智能轉(zhuǎn)型,卻沒(méi)想到,居然還在這兒被硬生生地抬了一個(gè)臺(tái)階。 此時(shí)他重新望著對(duì)面的神孽,對(duì)方滿意地看著林奇。 很顯然,林奇看懂了ai芯片的構(gòu)造,不會(huì)讓寶珠有蒙塵的一日。 “神經(jīng)網(wǎng)絡(luò)!” 神孽萌發(fā)出驚天的聲音,再度席卷林奇耳膜。 而他的腦海里,也戛然間重新組織起所有關(guān)于這個(gè)算法的一切資料,并且再度結(jié)合上因?yàn)橹獣远貓?bào)的部分。 像某不可名之物,最初出來(lái)的時(shí)候,是cpu在挖,到如此都是專門(mén)定制的礦機(jī),而這些礦機(jī)便是用的ai芯片。 acis(ai芯片)在計(jì)算領(lǐng)域,算是從cpu與gpu的大幕圍剿里殺了出來(lái)。 林奇撇了撇嘴。 法術(shù)。 魔法。 法術(shù)模型。 論怎樣的施法最可靠,自然是教會(huì)處理器自己來(lái)完成整套施法流程。 外在的pid處理整體秘能場(chǎng)參數(shù)問(wèn)題,內(nèi)在的則是ai芯片處理法術(shù)模型的計(jì)算問(wèn)題。 人。 根本就不應(yīng)該存在于這個(gè)環(huán)節(jié)里。 而讓芯片學(xué)會(huì)施展魔法只是第一步。 第二步是讓芯片學(xué)會(huì)抉擇! 人類的反應(yīng),已經(jīng)證明無(wú)法小于0.1秒,所以短跑認(rèn)為反應(yīng)速度超過(guò)這個(gè)就是搶跑。 然而面對(duì)瞬息萬(wàn)變的法術(shù)戰(zhàn)斗,林奇如果想著1v1的單挑,那么靠他自己一個(gè)確實(shí)夠了。 可如果想著是成為法術(shù)戰(zhàn)里的萬(wàn)人敵,那么他也更需要一套自動(dòng)的法術(shù)應(yīng)答機(jī)制。 這也是無(wú)數(shù)法師需要事先針對(duì)接下來(lái)戰(zhàn)斗指定法術(shù)戰(zhàn)方案的原因,因?yàn)樗乃季S已經(jīng)無(wú)法支撐毫秒級(jí)響應(yīng)的戰(zhàn)斗,只能夠制定更為全面的計(jì)劃,然后將其嵌入本能之中。 既然他記憶宮殿內(nèi)部,有一枚即將誕生的ai芯片,那為何不一條路走到直,順勢(shì)把法術(shù)應(yīng)答也開(kāi)發(fā)出來(lái)? 而這里就要繞回到最初的的問(wèn)題。 機(jī)器處理1 1,那可以碾壓世間萬(wàn)物。 但是機(jī)器要知道怎么選擇法術(shù),就需要經(jīng)過(guò)漫長(zhǎng)路了! 光是一個(gè)自動(dòng)駕駛,讓機(jī)器來(lái)取代人類進(jìn)行駕駛,就耗費(fèi)了無(wú)數(shù)廠家的心血,至今依舊在l2徘徊著。 什么是機(jī)器學(xué)習(xí)? 換個(gè)簡(jiǎn)單的說(shuō)法—— 人:1 1=? 機(jī):5 人:1 2=? 機(jī):7 人:3 2=? 機(jī):10 無(wú)數(shù)次后…… 人:1 1=? 機(jī):2。 所謂人工智能。 有多少人工,便有多少智能。 曾經(jīng)有人距離過(guò)一個(gè)芒果的例子。 比方要挑選芒果,卻又不知道什么樣子的芒果好吃,便需要先嘗遍所有芒果,然后總結(jié)了深黃色的好吃,此后再買(mǎi)自己選擇深黃色即可。 而機(jī)器學(xué)習(xí),便是讓機(jī)器先嘗一邊所有芒果,讓機(jī)器總結(jié)出一套規(guī)律。 這里的人,需要的便是描述給機(jī)器每一個(gè)芒果的特征,從顏色大小再到軟硬,最終讓它輸入好吃與否。 剩下的則等機(jī)器學(xué)習(xí)出一套規(guī)則,判斷“深黃色”芒果好吃。 這個(gè)學(xué)習(xí)過(guò)程,便是機(jī)器學(xué)習(xí),而神經(jīng)網(wǎng)絡(luò)便是最為熱門(mén)的機(jī)器學(xué)習(xí)法。 林奇重新秉心靜氣,走到記憶宮殿的書(shū)架之上,默默翻開(kāi)最初的書(shū)籍。 進(jìn)度跳的太快,讓他不得不趕緊加班加點(diǎn)鉆研起接下來(lái)的學(xué)識(shí),他就像是一位油燒開(kāi)了才剛開(kāi)始翻菜譜的廚子。 情況雖然有些萬(wàn)分火急,卻又冥冥中有著一種注定。 曾經(jīng)的阿爾法狗,利用的算法便是蒙特卡洛算法與神經(jīng)網(wǎng)絡(luò)算法,而神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)對(duì)于所有搞機(jī)器學(xué)習(xí)的都是繞不開(kāi)的壁壘。 這也是林奇需要快速啃掉的知識(shí)點(diǎn)。 此時(shí)的他正坐于牢籠之中,內(nèi)心別無(wú)他物地在泥濘的地面上推演起來(lái),絲毫沒(méi)有顧忌上面的污穢與沙土,仿佛這便是一副寬屏的黑板供他進(jìn)行演算。 神經(jīng)網(wǎng)絡(luò),顧名思義來(lái)自人類的神經(jīng)元。 基本上經(jīng)過(guò)高中的生物學(xué)教學(xué)也大多能理解神經(jīng)元的原理,它中間是一個(gè)球形細(xì)胞體,一頭是細(xì)小而繁盛的神經(jīng)纖維分支,學(xué)名樹(shù)突。 另一頭是單獨(dú)一根長(zhǎng)長(zhǎng)的突起纖維,學(xué)名軸突。 神經(jīng)元的作用便是各個(gè)樹(shù)突接收到其他神經(jīng)元細(xì)胞發(fā)出的電化學(xué)信號(hào)刺激,這些脈沖相互疊加之后,一旦最終的強(qiáng)度達(dá)到臨界值,便會(huì)讓這個(gè)神經(jīng)元細(xì)胞啟動(dòng),隨后朝著軸突發(fā)送信號(hào)。 而軸突通過(guò)細(xì)胞膜內(nèi)外的納鉀離子交換讓膜電位發(fā)生變化,使得整個(gè)電信號(hào)不衰減地傳遞下去。 最終這些信號(hào)傳遞到其他的軸突與樹(shù)突,再激發(fā)他們產(chǎn)生信號(hào),成為二級(jí)神經(jīng)元。 像人類的視覺(jué)系統(tǒng),便是通過(guò)1億3千萬(wàn)光感受細(xì)胞接受光信號(hào),在通過(guò)120萬(wàn)節(jié)細(xì)胞軸突將信息從視網(wǎng)膜傳遞到大腦,形成了三維圖形。 而機(jī)器學(xué)習(xí),便是要教給計(jì)算機(jī),怎么把它接受的輸入結(jié)果和我們想要的輸出結(jié)果關(guān)聯(lián)起來(lái)。 諸如看到一張圖片,它能夠理解這便是我們需要的數(shù)字1. 而這依賴的便是感知器,這也是名為神經(jīng)網(wǎng)絡(luò)的原因。 感知器,本身便是模擬神經(jīng)細(xì)胞,原先的生物學(xué)名詞都有了對(duì)應(yīng)的新名字—— 權(quán)量(突觸)、偏置(閾值)及激活函數(shù)(細(xì)胞體)。 機(jī)器無(wú)法理解一副圖片,但是它可以把圖片翻譯為“像素點(diǎn)陣”,然后這些點(diǎn)陣以0與1輸入。 林奇默默在地面上化了一個(gè)初中生熟悉的xy坐標(biāo)軸,同時(shí)在上面點(diǎn)出了(1,1)(-1,1)(-1,-1)(1,-1)這四個(gè)左邊,它們連接起來(lái)便是一個(gè)正方形,而這四個(gè)左邊分別坐落在四個(gè)象限。 機(jī)器學(xué)習(xí)需要的便是讓機(jī)器知曉諸如(2,2)這種應(yīng)該算作哪一個(gè)象限? 這便需要神經(jīng)網(wǎng)絡(luò)算法的“分類”作用。 這里輸入是一個(gè)(2,2)的坐標(biāo),它是一個(gè)1乘2的矩陣,這是輸入層。 設(shè)定50個(gè)神經(jīng)元,所以它便是一個(gè)1乘50的矩陣,這是隱藏層。 而結(jié)果1-4象限,則是一個(gè)1乘4的矩陣,這是輸出層。 根據(jù)線性代數(shù)的知識(shí),可以知道矩陣之間是能夠溝通的,所以一個(gè)輸出層的1乘4矩陣可以用最初的1乘2輸入層矩陣表達(dá)。 這其中的cao作,便在于為這個(gè)矩陣運(yùn)算添加激活層以及輸出正規(guī)化,再通過(guò)交叉熵?fù)p失來(lái)量化當(dāng)前網(wǎng)絡(luò)的優(yōu)劣,最后再進(jìn)行參數(shù)優(yōu)化。 這個(gè)過(guò)程所需要的便是反復(fù)迭代。 重新走完這個(gè)過(guò)程后,林奇也不禁感慨地嘆息數(shù)分。 他還記得大學(xué)的畢業(yè)論文課題,當(dāng)時(shí)都是由各個(gè)導(dǎo)師根據(jù)自己的專業(yè)范圍制定題目,然后再由學(xué)生們報(bào)名選擇。 當(dāng)時(shí)林奇選的慢了,最后剩下的都是若干不好啃的“算法題”。 畢竟做算法,墓地就是優(yōu)化它的參數(shù),讓整個(gè)計(jì)算時(shí)間短一些,效果更精確,最終更優(yōu)化些,可是每年一代又一代的學(xué)生,早已把沙漠上明顯的寶石撿走了,剩下的方法也就研究生博士生的路子,自己圈一塊地,繼續(xù)往下深挖,想要靠著視野一眼就挑出鉆石,那根本是無(wú)稽之談。 而林奇最終思索數(shù)番,選擇的是一道遺傳算法做全局最優(yōu)的題目,結(jié)果當(dāng)時(shí)matlab早就有一整套成熟的工具包,林奇還是老老實(shí)實(shí)地自己編寫(xiě)函數(shù),最終湊出一篇勉強(qiáng)的論文。 最終面對(duì)評(píng)審專家提問(wèn)創(chuàng)新之處時(shí),林奇也只能面前回答,他用的這幾個(gè)參數(shù)組合,未見(jiàn)與前人文章,這才勉強(qiáng)劃水過(guò)去。 而他那位選擇了神經(jīng)網(wǎng)絡(luò)算法的舍友,當(dāng)場(chǎng)被質(zhì)疑模擬數(shù)據(jù)造假,差點(diǎn)延畢。 后來(lái)為了幫助舍友,林奇當(dāng)時(shí)算是第一次接觸神經(jīng)網(wǎng)絡(luò)算法。 毋庸置疑,在神經(jīng)網(wǎng)絡(luò)算法里,秘能場(chǎng)參數(shù)便是“輸入矩陣”,法術(shù)模型結(jié)果便是“輸出矩陣”。 隨即,林奇在地面是書(shū)寫(xiě)了一段文字—— 神經(jīng)網(wǎng)絡(luò)(nn)。 人工神經(jīng)網(wǎng)絡(luò)(ann)。 以大量的簡(jiǎn)單計(jì)算單元(神經(jīng)元)構(gòu)成非線性系統(tǒng)。 一定程度上模擬大腦的信息處理、存儲(chǔ)和檢索等功能。 bp網(wǎng)絡(luò)的誤差反向后傳學(xué)習(xí)算法。 輸出后誤差來(lái)估計(jì)輸出層的直接前導(dǎo)層誤差,再以誤差更新前一層的誤差,如此反傳下去獲得所有其他各層的誤差估計(jì)。 …… 他一步一步地重新將整個(gè)神經(jīng)網(wǎng)絡(luò)的知識(shí)梳理一遍。 他相信,這也是對(duì)面那位神孽所等待的內(nèi)容。 這也是兩者之間的交換! 一種無(wú)須言說(shuō)的默契。