一張貼紙便可迷惑自動駕駛系統?
來源:科技日報
?
2019-05-13 09:20:22
自動駕駛的安全性一直以來受到各方的關注。而據新智元報道,近日由北京航空航天大學、悉尼大學和劍橋大學的一項新研究表明,一張紙便可以“迷惑”AI自動駕駛系統,將一張用打印機打印出來的涂鴉貼畫貼在路牌上就可以導致AI自動駕駛系統分類錯誤。目前該論文已在全球人工智能頂級會議AAAI 2019上發表。
在實驗中,研究人員將生成的涂鴉貼畫貼在北航校園中標為“限速20km/h”的真實路牌上后,AI自動駕駛系統完全被誤分類,將其識別為“No Entry”(禁行)。該涂鴉貼畫在論文中被稱為“對抗補丁”,正是這塊補丁“欺騙”了AI自動駕駛系統,讓系統將該路牌誤分類。
經實驗證實,用該方法生成的對抗補丁具有穩定的攻擊效果,將其貼在路牌上后,不會影響人類對于路牌語義信息的認知,且由于場景語義相關性人類也不會感覺到違和。但是,該對抗補丁對于AI自動駕駛系統則是毀滅性的。例如,這種攻擊可能被惡意地用來攻擊自動駕駛系統,入侵者只要將一小片貼畫貼在路牌上,當自動駕駛汽車駛過時就可能會造成系統的致命錯誤,導致車禍產生。