人們觀察場(chǎng)景通常是觀察場(chǎng)景中的物體和物體之間的關(guān)系。比如我們經(jīng)常這樣描述一個(gè)場(chǎng)景：桌面上有一臺(tái)筆記本電腦，筆記本電腦的右邊是一個(gè)手機(jī)。

但這種觀察方式對(duì)深度學(xué)習(xí)模型來說很難實(shí)現(xiàn)，因?yàn)檫@些模型不了解每個(gè)對(duì)象之間的關(guān)系。如果不了解這些關(guān)系，功能型機(jī)器人就很難完成它們的任務(wù)，例如一個(gè)廚房機(jī)器人將很難執(zhí)行這樣的命令：「拿起炒鍋?zhàn)髠?cè)的水果刀并將其放在砧板上」。

為了解決這個(gè)問題，在一篇 NeurIPS 2021 Spotlight 論文中，來自 MIT 的研究者開發(fā)了一種可以理解場(chǎng)景中對(duì)象之間潛在關(guān)系的模型。該模型一次表征一種個(gè)體關(guān)系，然后結(jié)合這些表征來描述整個(gè)場(chǎng)景，使得模型能夠從文本描述中生成更準(zhǔn)確的圖像。

論文地址：https://arxiv.org/abs/2111.09297

現(xiàn)實(shí)生活中人們并不是靠坐標(biāo)定位物體，而是依賴于物體之間的相對(duì)位置關(guān)系。這項(xiàng)研究的成果將應(yīng)用于工業(yè)機(jī)器人必須執(zhí)行復(fù)雜的多步驟操作任務(wù)的情況，例如在倉(cāng)庫(kù)中堆疊物品、組裝電器。此外，該研究還有助于讓機(jī)器能夠像人類一樣從環(huán)境中學(xué)習(xí)并與之交互。

每次表征一個(gè)關(guān)系

該研究提出使用 Energy-Based 模型將個(gè)體關(guān)系表征和分解為非規(guī)一化密度。關(guān)系場(chǎng)景描述被表征為關(guān)系中的獨(dú)立概率分布，每個(gè)個(gè)體關(guān)系指定一個(gè)單獨(dú)的圖像上的概率分布。這樣的組合方法可以建模多個(gè)關(guān)系之間的交互。

該研究表明所提框架能夠可靠地捕獲和生成帶有多個(gè)組合關(guān)系的圖像，并且能夠推斷潛在的關(guān)系場(chǎng)景描述，并且能夠穩(wěn)健地理解語義上等效的關(guān)系場(chǎng)景描述。

在泛化方面，該方法可以推廣到以前未見過的關(guān)系描述上，包括對(duì)象和描述來自訓(xùn)練期間未見過的數(shù)據(jù)集。這種泛化對(duì)于通用人工智能系統(tǒng)適應(yīng)周圍世界的無限變化至關(guān)重要。

以往的一些系統(tǒng)可能會(huì)從整體上獲取所有關(guān)系，并從描述中一次性生成圖像。然而這些模型不能真正適應(yīng)添加更多關(guān)系的圖像。相比之下，該研究的方法將單獨(dú)的、較小的模型組合在一起，能夠?qū)Ω嗟年P(guān)系進(jìn)行建模并適應(yīng)新的關(guān)系組合。

此外，該系統(tǒng)還可以反向工作——給定一張圖像，它可以找到與場(chǎng)景中對(duì)象之間的關(guān)系相匹配的文本描述。該模型還可通過重新排列場(chǎng)景中的對(duì)象來編輯圖像，使它們與新的描述相匹配。

研究人員將他們的模型與幾種類似深度學(xué)習(xí)方法進(jìn)行了比較，實(shí)驗(yàn)表明在每種情況下，他們的模型都優(yōu)于基線。

他們還邀請(qǐng)人們?cè)u(píng)估生成的圖像是否與原始場(chǎng)景描述匹配。在描述包含三個(gè)關(guān)系的示例中，91% 的參與者認(rèn)為該模型的性能比以往模型更好。

這些早期結(jié)果令人鼓舞，研究人員希望未來該模型能夠在更復(fù)雜的真實(shí)世界圖像上運(yùn)行，這需要解決物體遮擋、場(chǎng)景混亂等問題。

他們也期待模型最終能夠整合到機(jī)器人系統(tǒng)中，使機(jī)器人能夠推斷現(xiàn)實(shí)世界中的物體關(guān)系，更好地完成交互任務(wù)。

本文來自微信公眾號(hào)“機(jī)器之心”（ID:almosthuman2014），編輯：小舟，36氪經(jīng)授權(quán)發(fā)布。