“AI將無(wú)處不在”的預(yù)言正在成為現(xiàn)實(shí)。從智能手機(jī)到智能家居，再到工作、出行，我們的生活正在被AI全面滲透。

但是，今天的智能手機(jī)真的足夠“智能”了嗎？

一部普通的智能手機(jī)，已經(jīng)可以識(shí)別你的表情、聲音甚至是手勢(shì)，但卻很難真正成為實(shí)時(shí)陪伴你、為你“主動(dòng)”提供很多個(gè)性化服務(wù)的得力助手。

這背后，越豐富、復(fù)雜的功能，就需要越強(qiáng)大的AI算力和算法做支撐，而移動(dòng)端的AI性能仍然有很大提升空間。

僅僅在智能手機(jī)領(lǐng)域，AI技術(shù)已經(jīng)深入移動(dòng)游戲、視覺(jué)識(shí)別、音頻交互、通信優(yōu)化、智能充電等各個(gè)角落。為了滿足日益增長(zhǎng)的AI算力需求，高通、蘋果、三星、聯(lián)發(fā)科等主流廠商都在SoC中集成了專門的AI模塊，提升芯片的AI性能。

前不久，高通旗艦驍龍8移動(dòng)平臺(tái)搭載的第7代AI引擎，其4倍的AI性能提升，以及1.7倍的能效比提升，無(wú)疑再次拓展了智能手機(jī)AI體驗(yàn)的想象邊界。

芯片AI能力的提升到底能給我們的生活帶來(lái)怎樣的實(shí)際改變，手機(jī)AI性能提升背后又有哪些值得挖掘的硬核技術(shù)？移動(dòng)領(lǐng)域AI的應(yīng)用和體驗(yàn)或?qū)⒈惶列碌碾A段。

01.“軟硬協(xié)同”實(shí)現(xiàn)4倍性能提升，通用平臺(tái)兼顧更多場(chǎng)景

越來(lái)越復(fù)雜的功能，意味著AI算法模型也對(duì)算力提出了更高的要求，算力是實(shí)現(xiàn)AI能力的基礎(chǔ)。這次從硬件規(guī)格上來(lái)看，驍龍8的第7代AI引擎可以說(shuō)是“堆料豪華”。

如今，在AI模型運(yùn)行要進(jìn)行大量的張量運(yùn)算，在驍龍8第7代AI引擎中，計(jì)算主力Hexagon處理器中的Tensor模塊性能提升了2倍，張量加速器計(jì)算性能得以翻倍。

于此同時(shí)，Hexagon處理器中的共享內(nèi)存容量也進(jìn)行了翻倍，以應(yīng)對(duì)當(dāng)下日益提高的AI模型深度和規(guī)模。基于此，Hexagon處理器能夠完整載入一個(gè)深度神經(jīng)網(wǎng)絡(luò)，而無(wú)需將神經(jīng)網(wǎng)絡(luò)分塊運(yùn)行并來(lái)回傳輸數(shù)據(jù)。這不僅提升了性能，同時(shí)也節(jié)省了功耗。

根據(jù)實(shí)際表現(xiàn)來(lái)看，驍龍8在運(yùn)行在業(yè)內(nèi)常見(jiàn)VDSR、Resnet50、Inceptionv3等AI模型時(shí)，相比上代驍龍888提升比較明顯，最高性能提升幅度達(dá)到了4倍左右。

當(dāng)然，想烹飪好一道佳肴，有了硬件高質(zhì)量“炊具”還不夠，軟件層面的“烹飪技巧”也必不可少，軟件部分的優(yōu)化對(duì)于芯片AI能力的提升至關(guān)重要。

據(jù)高通官方數(shù)據(jù)顯示，驍龍8單從軟件升級(jí)中獲得的AI性能提升就達(dá)到了2倍左右，結(jié)合Hexagon處理器的硬件提升，才有前文提到的綜合4倍AI性能提升。

值得一提的是，在AI性能提升的同時(shí)，驍龍8還兼顧了AI能效比，相比上代驍龍888，提升幅度達(dá)到了1.7倍。

在移動(dòng)領(lǐng)域，目前算力和能效比的提升其實(shí)是制約智能手機(jī)AI能力發(fā)展的主要瓶頸，而為了提升手機(jī)芯片的AI算力，業(yè)內(nèi)也有不少?gòu)S商在積極探索新的方法和思路。

甚至近來(lái)有的廠商還采用了獨(dú)立外掛NPU芯片的方式提升AI算力，但是這樣做也是一把雙刃劍，對(duì)于功耗的挑戰(zhàn)、對(duì)于異構(gòu)計(jì)算的挑戰(zhàn)以及外置NPU如何與SoC良好協(xié)同，都是需要解決的問(wèn)題。

高通作為移動(dòng)SoC頭部玩家，也洞察了手機(jī)對(duì)于AI算力的高需求。正如前文我們看到的，高通選擇內(nèi)置AI計(jì)算模塊的方式來(lái)提升SoC的AI算力，同時(shí)可以更好地兼顧功耗。

由于這是一種通用性解決方案，其實(shí)用性也更廣，能夠滿足更多安卓生態(tài)廠商的需求，同時(shí)兼容性更好。這種通用AI模塊相比專用AI芯片，也可以應(yīng)對(duì)更多實(shí)際應(yīng)用場(chǎng)景。

02.影像、游戲、通信、交互，AI已經(jīng)融入手機(jī)的方方面面

曾經(jīng)，智能手機(jī)的“智能”更多來(lái)自于用戶可以借助手機(jī)拓展信息交互的渠道，手機(jī)變得“什么都可以知道”。

但今天，手機(jī)的智能更多是AI的深度介入，AI已經(jīng)在移動(dòng)影像、游戲、通信、健康監(jiān)測(cè)、交互連接等各個(gè)領(lǐng)域發(fā)揮著關(guān)鍵作用。

在影像領(lǐng)域，相比上代Spectra ISP采用預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)自動(dòng)曝光和自動(dòng)對(duì)焦，驍龍8直接利用AI實(shí)現(xiàn)了實(shí)時(shí)的人臉識(shí)別，這就意味著，即使我們的臉被部分遮擋、甚至是帶著面具，驍龍8也可以更準(zhǔn)確地進(jìn)行識(shí)別。

同時(shí)，得益于更好的自動(dòng)曝光、自動(dòng)對(duì)焦和自動(dòng)白平衡，在暗光環(huán)境下，驍龍8也可以實(shí)現(xiàn)更好的拍照對(duì)比度表現(xiàn)和膚色表現(xiàn)。

這次驍龍8的人臉特征引擎可以檢測(cè)300個(gè)左右的面部特征點(diǎn)，是上代驍龍888的2.6倍，檢測(cè)速度也提升300%，并且所用到的神經(jīng)網(wǎng)絡(luò)可以針對(duì)更多人臉特征進(jìn)行訓(xùn)練，從而判斷用戶眼睛的睜開狀態(tài)以及是否在微笑，實(shí)現(xiàn)更準(zhǔn)確的情緒理解。

當(dāng)下，各家手機(jī)廠商都越來(lái)越重視超廣角的拍照效果，而驍龍8可以很好地解決超廣角人像拍攝中人臉尺寸變小的問(wèn)題，因?yàn)轵旪?實(shí)現(xiàn)準(zhǔn)確人臉檢測(cè)所需要的最小人臉尺寸相比上代要小很多。

同時(shí)驍龍8對(duì)于用戶肢體動(dòng)作的檢測(cè)也更加準(zhǔn)確，支持手勢(shì)檢測(cè)拍照等便捷功能，提升用戶日常的使用體驗(yàn)。

在變焦拍照方面，通過(guò)“視頻超級(jí)分辨率”AI技術(shù)，驍龍8能讓數(shù)字變焦更清晰并保留更多細(xì)節(jié)。根據(jù)實(shí)際拍照對(duì)比，在變焦高2倍的情況下，驍龍8呈現(xiàn)的細(xì)節(jié)仍然多12%。

在全球新冠疫情沒(méi)有得到徹底緩解的當(dāng)下，視頻會(huì)議需求仍然高漲，驍龍8在ISP中內(nèi)置了支持實(shí)時(shí)視頻背景虛化的專用AI引擎，實(shí)現(xiàn)實(shí)時(shí)的會(huì)議背景虛化，要注意的是，這是在移動(dòng)端實(shí)現(xiàn)這樣的實(shí)時(shí)AI視頻處理技術(shù)。

值得一提的是，此次高通還與徠卡合作，將拍照時(shí)所用到的圖像處理算法寫入了驍龍8的AI引擎中，比如有代表性的徠卡風(fēng)格濾鏡算法。

高通一邊聯(lián)合索尼提升ISP能力，一邊聯(lián)合徠卡提升拍照AI算法，這樣的產(chǎn)業(yè)鏈整合能力，也成為了高通的核心優(yōu)勢(shì)之一。

▲徠卡風(fēng)格算法成片

可以看到，僅僅是在影像領(lǐng)域，AI能力的提升已經(jīng)可以給用戶體驗(yàn)帶來(lái)許多改善，AI讓手機(jī)拍照能夠擺脫硬件的束縛，拍的更快、更準(zhǔn)，也更真實(shí)。

與影像類似，其實(shí)移動(dòng)游戲應(yīng)用面對(duì)的主要任務(wù)也是進(jìn)行大量的圖像處理，在該領(lǐng)域，驍龍8的AI能力能夠提升手機(jī)的渲染效率，同時(shí)進(jìn)行更加有效的防作弊檢測(cè)。

第7代AI引擎中的Hexagon處理器，利用多個(gè)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)圖形更高的保真度，同時(shí)適應(yīng)游戲操作的實(shí)時(shí)變化，讓游戲保持更高幀率運(yùn)行。

在通信方面，高通將自家首個(gè)AI天線調(diào)諧技術(shù)融入驍龍8移動(dòng)平臺(tái)，能夠通過(guò)算法檢測(cè)用戶握持終端時(shí)手部的位置，增強(qiáng)天線調(diào)諧能力，從而優(yōu)化手機(jī)信號(hào)狀況，也側(cè)面對(duì)手機(jī)續(xù)航起到了一定提升作用。

可以說(shuō)，AI能力對(duì)于智能手機(jī)使用體驗(yàn)的提升并非單點(diǎn)突破，而是全方位的賦能。

目前AI技術(shù)的落地不斷加速，而作為與每個(gè)人生活密切相關(guān)的智能手機(jī)品類，其也成為了AI技術(shù)在消費(fèi)端應(yīng)用落地的橋頭堡，手機(jī)芯片AI能力的提升，勢(shì)必會(huì)進(jìn)一步催化AI技術(shù)的應(yīng)用成熟。

03.增加專用低功耗AI模塊，“常伴式”AI成為可能

除了對(duì)于峰值A(chǔ)I算力和能效比的需求，其實(shí)日常生活中還有很多應(yīng)用場(chǎng)景，需要的是更加節(jié)能、但又時(shí)刻保持工作的AI能力。

比如一些待機(jī)狀態(tài)下的識(shí)別功能、傳感器功能。這也是目前在移動(dòng)AI領(lǐng)域“魚和熊掌不可兼得”的現(xiàn)象最為凸顯的一部分。

手機(jī)需要收集更多數(shù)據(jù)并進(jìn)行分析才會(huì)更加智能，但這又會(huì)增加功耗導(dǎo)致續(xù)航體驗(yàn)的下降。

在現(xiàn)有工藝制程和芯片架構(gòu)之下，如何能夠兼顧？始終是廠商們面對(duì)的一道難題。

高通這次提供了一種新思路，他們?cè)谠蠥I引擎之外，給驍龍8的第3代傳感器中樞里增加了一個(gè)全新的低功耗AI子系統(tǒng)，也可以簡(jiǎn)單理解成一顆特殊的低功耗AI處理器。

該AI子系統(tǒng)為多核架構(gòu)，由專用AI處理器、DSP以及自有內(nèi)存組成，用于處理情境數(shù)據(jù)流，包括語(yǔ)音、音頻、傳感器數(shù)據(jù)等等。

既然是“低功耗”系統(tǒng)，功耗優(yōu)化自然是重點(diǎn)，該AI處理器與前代相比，AI性能提升75 %，功耗降低50%。得益于這樣的能效比提升，它可以幫助手機(jī)支持更多需要“長(zhǎng)時(shí)間運(yùn)行”的功能，比如語(yǔ)音助手、活動(dòng)檢測(cè)以及環(huán)境理解。

當(dāng)我們平時(shí)鍛煉的時(shí)候，手機(jī)能夠自動(dòng)追蹤我們的鍛煉活動(dòng)，通過(guò)一系列傳感器，AI能夠“理解”我們?cè)谶M(jìn)行哪種運(yùn)動(dòng)，比如在慢跑還是騎車？在得知運(yùn)動(dòng)狀態(tài)后，AI會(huì)自動(dòng)開始追蹤和統(tǒng)計(jì)你的各項(xiàng)數(shù)據(jù)，甚至還能為你播放你喜愛(ài)的歌曲。

還有一個(gè)典型應(yīng)用場(chǎng)景就是日常通勤，比如AI檢測(cè)到用戶在開車時(shí)，它就會(huì)自動(dòng)打開導(dǎo)航APP并開啟語(yǔ)音控制模式，用戶并不需要冒著交通安全風(fēng)險(xiǎn)手動(dòng)開啟各類駕駛模式，當(dāng)然，它也能在你駕車時(shí)為你挑選合適的歌曲進(jìn)行播放。

此外，用戶現(xiàn)在可以用自己的聲音來(lái)搜索視頻和錄音文件，通過(guò)與三方APP廠商進(jìn)行合作，APP可以利用高通傳感器中樞的AI能力對(duì)視頻中的聲音進(jìn)行“標(biāo)記”，用戶則可以基于自己的笑聲、歌聲等語(yǔ)音特征來(lái)搜索這些對(duì)應(yīng)的視頻或音頻。

值得一提的是，高通第一次將視覺(jué)能力加入到了這類長(zhǎng)時(shí)間運(yùn)行的AI功能中，讓手機(jī)的前置攝像頭變得更加“智能”。比如當(dāng)手機(jī)前置攝像頭檢測(cè)到有除了你之外人窺探屏幕時(shí)，就會(huì)自動(dòng)將屏幕上的通知信息進(jìn)行隱藏，從而更好地保護(hù)隱私。

當(dāng)然，上面這些便捷的AI功能背后，所獲取和使用的全部數(shù)據(jù)都獨(dú)立保存在高通傳感器中樞內(nèi)存中，實(shí)現(xiàn)了本地化處理，進(jìn)一步保證了數(shù)據(jù)的安全性。

能夠看到，得益于這種低功耗AI模塊的加入，AI能力在用戶體驗(yàn)中的交融，開始從“偶爾體驗(yàn)”變?yōu)椤俺０樽笥摇薄６@種伴隨式的AI交互體驗(yàn)其實(shí)一直是AI產(chǎn)業(yè)落地所追求的方向之一。

04.開發(fā)者生態(tài)建設(shè)助力AI技術(shù)落地

AI軟硬件技術(shù)的提升讓AI落地具有可能性，而應(yīng)用生態(tài)的建設(shè)則需要開發(fā)者們的助力才能真正實(shí)現(xiàn)。

今年從各大科技巨頭舉辦的開發(fā)者大會(huì)上我們可以清楚的看到一種趨勢(shì)：AI技術(shù)已經(jīng)成為“硬核技術(shù)”中的代表，所有頭部玩家都在加碼自研AI技術(shù)的探索。

并且各家廠商都在向開發(fā)者門開放各類AI服務(wù)平臺(tái)，力求讓開發(fā)者們更快捷地將AI能力部署在應(yīng)用中。

高通的神經(jīng)網(wǎng)絡(luò)處理SDK據(jù)稱是目前業(yè)內(nèi)最受歡迎的AI SDK之一。這次的驍龍8更新了算子支持和最新的訓(xùn)練框架，讓AI加速器更易用、更可靠、更快，并且這些更新兼容Android NN和最新的TensorFlow Lite。

雖然這些軟件升級(jí)不如硬件那樣“觸手可及”，但對(duì)于提升用戶體驗(yàn)而言卻至關(guān)重要。

通過(guò)與Hugging Face合作，高通在第7代AI引擎中支持了Transformer網(wǎng)絡(luò)，情感分析、分類這樣的基于自然語(yǔ)言處理的技術(shù)帶到了驍龍8上。據(jù)稱在Hexagon上運(yùn)行情感分析模型，與在CPU上運(yùn)行相比，性能提升接近30倍。

借助這些基于自然語(yǔ)言處理的解決方案，用戶能夠得到經(jīng)過(guò)分級(jí)處理的新聞、推送和郵件通知，這樣用戶就可以專注于更重要的事項(xiàng)。

在生態(tài)建設(shè)方面，高通與谷歌進(jìn)行合作，將神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）引入，并將其集成進(jìn)第7代高通AI引擎。

目前AI能夠自動(dòng)化設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)模型，針對(duì)用戶特定的硬件或性能目標(biāo)創(chuàng)建最佳神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。得益于NAS的引入，開發(fā)者和工程師們可以更高效地開發(fā)AI解決方案，推動(dòng)應(yīng)用的落地。

05.結(jié)語(yǔ)：移動(dòng)AI能力的邊界被不斷拓寬

智能手機(jī)對(duì)于AI算力的需求日益增長(zhǎng)，以驍龍8為代表的移動(dòng)SoC，在AI算力、AI能效比提升以及AI應(yīng)用場(chǎng)景落地、開發(fā)者生態(tài)建設(shè)等方面不斷發(fā)力，讓智能手機(jī)側(cè)的AI體驗(yàn)邊界不斷拓展。

當(dāng)下，以各類智能硬件產(chǎn)品、服務(wù)為代表的邊緣及端側(cè)AI市場(chǎng)正在快速增長(zhǎng)并惠及越來(lái)越多的人，AI對(duì)于終端體驗(yàn)的改變，逐漸從量變積累走向質(zhì)變。

正如高通CEO安蒙所說(shuō)，高通在移動(dòng)領(lǐng)域一直在布局底層技術(shù)，而這些也是面向未來(lái)“元宇宙”時(shí)代的關(guān)鍵技術(shù)。元宇宙需要AI學(xué)習(xí)和適應(yīng)不斷變化的環(huán)境并執(zhí)行各種任務(wù)，AI將會(huì)無(wú)處不在，這也讓我們對(duì)高通未來(lái)AI技術(shù)的發(fā)展，抱有更多期待。

本文來(lái)自微信公眾號(hào)“智東西”（ID：zhidxcom），作者：云鵬，36氪經(jīng)授權(quán)發(fā)布。