真·機(jī)械朋克:物理學(xué)家用揚(yáng)聲器搭建神經(jīng)網(wǎng)絡(luò),登上今日Nature
用喇叭識別手寫數(shù)字?
聽起來好像是玄學(xué),但這其實(shí)是正經(jīng)的Nature論文啊。
下面的圖,表面上看起來是個改造過的喇叭,其實(shí)用它來識別手寫數(shù)字,正確率接近90%。
這就是來自康奈爾大學(xué)的物理學(xué)家們整出的新花樣。
他們用揚(yáng)聲器、電子器件、激光器,分別造出了聲學(xué)、電學(xué)、光學(xué)版的物理神經(jīng)網(wǎng)絡(luò)(PNN)。
而且以上這些神經(jīng)網(wǎng)絡(luò)還能用反向傳播算法執(zhí)行訓(xùn)練。
物理學(xué)家整出PNN的原因是:摩爾定律已死,我們要用物理系統(tǒng)拯救機(jī)器學(xué)習(xí)。
據(jù)這篇文章所說,和軟件實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)相比,PNN有希望將機(jī)器學(xué)習(xí)的能效和速度提高好幾個數(shù)量級。
如何用物理反向傳播
科學(xué)家之所以能用物理設(shè)備搭建神經(jīng)網(wǎng)絡(luò),是因?yàn)槲锢韺?shí)驗(yàn)與機(jī)器學(xué)習(xí)的本質(zhì)都是一樣的——調(diào)參、優(yōu)化。
物理學(xué)中存在著非常多的非線性系統(tǒng)(聲學(xué)、電學(xué)、光學(xué)都有),能和人工神經(jīng)網(wǎng)絡(luò)一樣用來逼近任意函數(shù)。
聲學(xué)的神經(jīng)網(wǎng)絡(luò)就是這樣的。
兩位做實(shí)驗(yàn)的博士后拆掉了揚(yáng)聲器上方的振膜,將方形的鈦金屬板和喇叭動圈相連。
來自計算機(jī)的接收控制信號以及金屬板震蕩產(chǎn)生輸入信號,再把信號輸出到揚(yáng)聲器上,由此制造了一個反饋閉環(huán)。
至于如何進(jìn)行反向傳播,作者提出了一種混合物理世界與計算機(jī)的算法,稱為“物理感知訓(xùn)練” (PAT),可以反向傳播直接訓(xùn)練任何物理系統(tǒng)來執(zhí)行深度神經(jīng)網(wǎng)絡(luò)的通用框架。
在聲學(xué)神經(jīng)網(wǎng)絡(luò)系統(tǒng)中,振蕩板接收由MNIST圖像改造的聲音輸入樣本(紅),在驅(qū)動振動板后,信號由麥克風(fēng)記錄(灰),并及時數(shù)模轉(zhuǎn)換為輸出信號(藍(lán))。
整個物理系統(tǒng)的流程如下圖:先將數(shù)字信號轉(zhuǎn)換為模擬信號,輸入進(jìn)物理系統(tǒng)中,然后將輸出與真實(shí)結(jié)果對比,經(jīng)過反向傳播后,調(diào)整物理系統(tǒng)的參數(shù)。
通過對揚(yáng)聲器參數(shù)的反復(fù)調(diào)試,他們在MNIST數(shù)據(jù)集上達(dá)到了87%的正確率。
也許你會問,訓(xùn)練過程中還是要用到計算機(jī)啊,這有什么優(yōu)勢?
的確,PNN在訓(xùn)練上可能并不占優(yōu)勢,但PNN的運(yùn)行靠的是物理定律,一旦網(wǎng)絡(luò)訓(xùn)練完成,就無需計算機(jī)介入,在推理延時和功耗上都具有優(yōu)勢。
而且PNN在結(jié)構(gòu)上比軟件版的神經(jīng)網(wǎng)絡(luò)簡單多了。
還有電學(xué)和光學(xué)版
除了聲學(xué)版,研究人員還打造了電學(xué)版和光學(xué)版神經(jīng)網(wǎng)絡(luò)。
電學(xué)版使用了四個電子元器件電阻、電容、電感和三級管,就像中學(xué)物理實(shí)驗(yàn)一樣,電路極其簡單。
這套模擬電路PNN能夠以93%的測試準(zhǔn)確率執(zhí)行MNIST圖像分類任務(wù)。
而光學(xué)版最為復(fù)雜,近紅外激光通過倍頻晶體被轉(zhuǎn)化為藍(lán)光,不過這套系統(tǒng)的準(zhǔn)確率最高,能夠達(dá)到97%。
另外,這套光學(xué)系統(tǒng)還能對語音進(jìn)行簡單的分類。
以上所用到的物理系統(tǒng)訓(xùn)練算法PAT可以用于任何系統(tǒng),你甚至可以用它來打造流體乃至機(jī)械朋克版神經(jīng)網(wǎng)絡(luò)。
參考鏈接:
[1]https://www.nature.com/articles/s41586-021-04223-6
[2]https://github.com/mcmahon-lab/Physics-Aware-Training
[3]https://news.cornell.edu/stories/2022/01/physical-systems-perform-machine-learning-computations
本文來自微信公眾號“量子位”(ID:QbitAI),作者:曉查,36氪經(jīng)授權(quán)發(fā)布。
標(biāo)簽: 神經(jīng)網(wǎng)絡(luò) 物理學(xué) 揚(yáng)聲器