理解大腦如何組織和訪問(wèn)空間信息，例如“我們?cè)谀睦铩薄ⅰ肮战翘幱惺裁础薄ⅰ叭绾蔚竭_(dá)那里”，仍是一項(xiàng)巨大的挑戰(zhàn)。該過(guò)程涉及從上百億個(gè)神經(jīng)元中調(diào)取一系列的記憶及存儲(chǔ)其中的空間數(shù)據(jù)，而每個(gè)神經(jīng)元又連接著上千個(gè)其他神經(jīng)元。神經(jīng)科學(xué)家已經(jīng)確認(rèn)了空間認(rèn)知的關(guān)鍵元素，例如映射位置的網(wǎng)格細(xì)胞[1]。然而，要想對(duì)此進(jìn)行更深入的研究，事情就變得棘手了：研究人員想要觀察基于位置的有關(guān)圖像、聲音、和味道的記憶是如何流動(dòng)和互相連接的，卻不可能通過(guò)取出并研究人的大腦灰質(zhì)切片來(lái)達(dá)此目的。

(相關(guān)資料圖)

人工智能為此提供了另一條出路。多年來(lái)，神經(jīng)科學(xué)家們利用了多種類(lèi)型的神經(jīng)網(wǎng)絡(luò)（神經(jīng)網(wǎng)絡(luò)為大多數(shù)深度學(xué)習(xí)的應(yīng)用提供了動(dòng)力）來(lái)模擬大腦中神經(jīng)元的放電。于近期的研究中，研究人員發(fā)現(xiàn)海馬體作為一個(gè)對(duì)記憶至關(guān)重要的腦部結(jié)構(gòu)其實(shí)是一種變相的特殊神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)被稱(chēng)為T(mén)ransformer[2]。他們的新模型以一種類(lèi)似大腦內(nèi)部運(yùn)作的方式來(lái)追蹤空間信息，并且已經(jīng)取得了顯著成效。

-Kristina Armitage-

同時(shí)就職于斯坦福大學(xué)和牛津大學(xué)蒂姆·貝倫斯（Tim Behrens）實(shí)驗(yàn)室的認(rèn)知神經(jīng)科學(xué)家詹姆斯·惠廷頓（James Whittington）說(shuō)：“現(xiàn)在我們知道了，這些大腦模型與Transformer模型相當(dāng)，這就意味著我們的模型表現(xiàn)得更好并且更容易訓(xùn)練。”

惠廷頓及同事所做的研究提示我們，Transformer可以極大地促進(jìn)神經(jīng)網(wǎng)絡(luò)模型模擬網(wǎng)格細(xì)胞及大腦其他部分進(jìn)行運(yùn)算的能力。惠廷頓表示，這些模型可以推動(dòng)我們對(duì)人工神經(jīng)網(wǎng)絡(luò)的工作原理、甚至對(duì)大腦運(yùn)算機(jī)制的理解。

在谷歌大腦（Google Brain）研究Transformer模型的計(jì)算機(jī)科學(xué)家大衛(wèi)·哈（David Ha）表示：“我們并不是在嘗試重新建造一個(gè)大腦，但我們能否創(chuàng)造出足以復(fù)制大腦所作所為的機(jī)制呢？”

Transformers在2017年作為一種處理語(yǔ)言的新型AI模型首次出現(xiàn)。這一模型是BERT[3]和GPT-3等引人注目的能夠補(bǔ)全句子的程序中的秘密武器，而這些程序可以生成以假亂真的歌詞、創(chuàng)作莎士比亞十四行詩(shī)并模仿客服代表。

Transformer的工作原理是一種被稱(chēng)為“自注意力”（self-attention）的機(jī)制，其中每個(gè)輸入，不管是一個(gè)單詞、一個(gè)像素、還是序列中的一個(gè)數(shù)字，總是與其余每個(gè)輸入相連。而別的神經(jīng)網(wǎng)絡(luò)僅將輸入與某些特定的輸入相連。雖然Transformers最初是為語(yǔ)言任務(wù)而設(shè)計(jì)的，但后來(lái)它們?cè)趧e的任務(wù)（比如圖像分類(lèi)和如今的大腦建模）中都表現(xiàn)得相當(dāng)出色。

-Avalon Nuovo-

在2020年，由奧地利林茨大學(xué)（Johannes Kepler University Linz）的計(jì)算機(jī)科學(xué)家塞普?霍克瑞特（Sepp Hochreiter）帶領(lǐng)的團(tuán)隊(duì)用Transformer改造了一個(gè)強(qiáng)大的、存在已久的記憶檢索模型。這個(gè)被改造的模型名叫Hopfield網(wǎng)絡(luò)（Hopfield network），在40年前由普林斯頓的物理學(xué)家約翰·霍普菲爾德（John Hopfield）首次提出。這些網(wǎng)絡(luò)遵循一條通則：同時(shí)活躍的神經(jīng)元在彼此之間建立更牢固的連接。

霍克瑞特和他的合作者留意到研究人員一直在尋找更好的記憶檢索模型，在此之后，他們發(fā)現(xiàn)了一類(lèi)新型Hopfield網(wǎng)絡(luò)[4]檢索記憶的方式和Transformers執(zhí)行注意力的方式之間的聯(lián)系。這些新型Hopfield網(wǎng)絡(luò)由MIT-IBM沃森人工智能實(shí)驗(yàn)室（MIT-IBM Watson AI Lab）的霍普菲爾德和德米特里·克羅托夫（Dmitry Krotov）開(kāi)發(fā)。與標(biāo)準(zhǔn)的Hopfield網(wǎng)絡(luò)相比，新型Hopfield網(wǎng)絡(luò)由于有更高效的連接而可以存儲(chǔ)和檢索更多的記憶。霍克瑞特的團(tuán)隊(duì)通過(guò)添加一個(gè)類(lèi)似Transformers里注意力機(jī)制的規(guī)則來(lái)升級(jí)這些網(wǎng)絡(luò)。

之后，在今年早些時(shí)候[5]，惠廷頓和貝倫斯進(jìn)一步改進(jìn)了這種方法。他們修改了這些Transformer，使得模型不再將記憶視為線性序列（就像句子里的一串單詞那樣），而是將它們編碼為高維空間中的坐標(biāo)。研究人員口中的這一“扭轉(zhuǎn)”進(jìn)一步提升了模型在神經(jīng)科學(xué)任務(wù)中的表現(xiàn)。他們還表明，該模型的數(shù)學(xué)基礎(chǔ)和神經(jīng)科學(xué)家在功能性磁共振成像（fMRI）掃描中觀測(cè)到的網(wǎng)格細(xì)胞放電模式的模型一致。

貝倫斯（左）和惠廷頓（右）幫助證明了我們大腦中的結(jié)構(gòu)在數(shù)學(xué)上與“Transformer”相似。

倫敦大學(xué)學(xué)院的神經(jīng)科學(xué)家卡斯維爾? 巴里（Caswell Barry）說(shuō)道：“網(wǎng)格細(xì)胞有這種令人激動(dòng)的、美麗的、規(guī)則的結(jié)構(gòu)，并具有那些不太可能隨機(jī)產(chǎn)生的、醒目的放電模式。”上述的新研究則向我們展示了Transformer如何精確地復(fù)刻這些在海馬體觀測(cè)到的模式。巴里說(shuō)：“他們認(rèn)識(shí)到，Transformer可以根據(jù)以前的狀態(tài)及其移動(dòng)情況確定位置，而這正是傳統(tǒng)的網(wǎng)格細(xì)胞模型描述的定位方式。”

近期的其他研究表明，Transformer也可以促進(jìn)我們對(duì)大腦中其他功能的理解。2021年，麻省理工學(xué)院的計(jì)算神經(jīng)科學(xué)家馬丁·施林普夫（Martin Schrimpf）分析了43例不同種類(lèi)的神經(jīng)網(wǎng)絡(luò)模型[6]，來(lái)觀察它們?cè)陬A(yù)測(cè)由fMRI和腦皮層電圖報(bào)告的人類(lèi)神經(jīng)活動(dòng)測(cè)量結(jié)果上表現(xiàn)如何。他發(fā)現(xiàn)Transformer作為目前領(lǐng)先的、最先進(jìn)的神經(jīng)網(wǎng)絡(luò)，幾乎可以預(yù)測(cè)神經(jīng)成像報(bào)告的所有變化。

此外，哈和計(jì)算機(jī)科學(xué)家同事Yujin Tang最近設(shè)計(jì)了一個(gè)模型[7]，該模型可以通過(guò)Transformer有意地以一種隨機(jī)、無(wú)序的方式發(fā)送大量數(shù)據(jù)，來(lái)模擬人體向大腦傳遞感覺(jué)信號(hào)。他們的Transformer可以像我們的大腦一樣成功處理無(wú)序的信息流。

Yujin Tang表示：“神經(jīng)網(wǎng)絡(luò)只能硬性地接收特定的輸入。”但在現(xiàn)實(shí)生活中，數(shù)據(jù)集通常變幻莫測(cè)，而大多數(shù)的AI模型無(wú)法據(jù)此調(diào)整。“我們想要試驗(yàn)一種具有快速適應(yīng)性的架構(gòu)。”

論文題目：The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning

DOI：https://doi.org/10.48550/arXiv.2109.02869

盡管存在這些進(jìn)步的跡象，貝倫斯認(rèn)為T(mén)ransformer只是我們向最精確的大腦模型邁出的一步而已，而非探索的終點(diǎn)。他說(shuō)：“我在這里必須要做一個(gè)持懷疑態(tài)度的神經(jīng)科學(xué)家。例如，我不認(rèn)為T(mén)ransformers最終會(huì)是我們?cè)诖竽X中處理語(yǔ)言的方式，即使它們是當(dāng)前最好的語(yǔ)句模型。”

巴里說(shuō)：“在預(yù)測(cè)‘我在哪兒’以及‘我將會(huì)看到什么’這方面，Transformer會(huì)是那個(gè)最高效的機(jī)制嗎？老實(shí)說(shuō)，現(xiàn)在就下定論還為時(shí)尚早。”

施林普夫也指出，即便是表現(xiàn)最好的Transformers也是有局限的。例如，它們?cè)趩卧~和短語(yǔ)方面表現(xiàn)良好，但在像講故事這種更大規(guī)模的語(yǔ)言任務(wù)中卻并不出色。

施林普夫說(shuō)：“我感到這種Transformer的架構(gòu)已經(jīng)讓我們處于理解大腦結(jié)構(gòu)的正確框架中了，并且它還可以隨著訓(xùn)練得到改善。這是一個(gè)很好的方向，只是這個(gè)領(lǐng)域太過(guò)復(fù)雜。”

參考文獻(xiàn)

[1]https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/

[2]https://www.quantamagazine.org/will-transformers-take-over-artificial-intelligence-20220310/

[3]https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

[4]https://papers.nips.cc/paper/2016/hash/eaae339c4d89fc102edd9dbdb6a28915-Abstract.html

[5]https://openreview.net/forum?id=B8DVo9B1YE0

[6]https://www.pnas.org/doi/10.1073/pnas.2105646118

[7]https://arxiv.org/abs/2109.02869

原文

https://www.quantamagazine.org/how-ai-transformers-mimic-parts-of-the-brain-20220912/

本文來(lái)自微信公眾號(hào)“神經(jīng)現(xiàn)實(shí)”（ID：neureality），作者：Stephen Ornes，，譯者：Lemon，校對(duì)：P，編輯：M.W. l，36氪經(jīng)授權(quán)發(fā)布。