但實(shí)踐下來(lái)發(fā)現(xiàn)，這種模式問(wèn)題還是不少：

比如語(yǔ)言控制不如屏幕控制那么精準(zhǔn)，很多時(shí)候會(huì)誤判指令和錯(cuò)誤喚醒，比較語(yǔ)言充滿了不確定性；

再比如，語(yǔ)音交互的物聯(lián)網(wǎng)設(shè)備還是缺乏主動(dòng)服務(wù)的能力，只是換了操作方式而已，用戶體驗(yàn)沒(méi)有本質(zhì)提升。

僅僅是“能聽(tīng)”，并且還經(jīng)常聽(tīng)錯(cuò)的物聯(lián)網(wǎng)設(shè)備，就像是兩個(gè)人談戀愛(ài)，其中一方從來(lái)不看你，不會(huì)知冷知熱、噓寒問(wèn)暖，還經(jīng)常搞錯(cuò)對(duì)方的意思，那另一方當(dāng)然表示我懶得理你……

目前來(lái)看，把按鈕換成了語(yǔ)音命令平臺(tái)，隱藏的不確定性太多，而實(shí)際價(jià)值太少，很難成為物聯(lián)網(wǎng)爆發(fā)的真正依托。

這種“你不溫柔我不主動(dòng)”的人機(jī)關(guān)系究竟怎么改變呢？

答案也許是讓機(jī)器能夠聽(tīng)和說(shuō)之外，還要能看，能感覺(jué)，甚至能將五感聯(lián)系到一起進(jìn)行思考。

感知到交互：機(jī)器的五感俱全

所謂“模態(tài)modality”，是德國(guó)生理學(xué)家赫爾姆霍茨提出一種生物學(xué)概念。即生物憑借感知器官與經(jīng)驗(yàn)來(lái)接受信息的通道，比如人類有視覺(jué)模態(tài)、聽(tīng)覺(jué)模態(tài)等等。

后來(lái)這個(gè)概念引申到人文科學(xué)領(lǐng)域，成為哲學(xué)和文學(xué)上的一種話語(yǔ)批評(píng)方式；而來(lái)到機(jī)器人和計(jì)算機(jī)科學(xué)領(lǐng)域，就成了機(jī)器與物理世界聯(lián)系的通道。

假如我們把“模態(tài)”通俗地理解為感官，那么智能音箱就是只具備聽(tīng)覺(jué)模態(tài)的物聯(lián)網(wǎng)設(shè)備，而加載AI分析能力的攝像頭可以視為視覺(jué)模態(tài)的物聯(lián)網(wǎng)設(shè)備。把聽(tīng)覺(jué)、視覺(jué)甚至更多模態(tài)組合到一起，多模態(tài)物聯(lián)網(wǎng)也就誕生了。

事實(shí)上，在AI研究當(dāng)中多模態(tài)轉(zhuǎn)換是非常普遍的課題。比如一個(gè)很出名的AI研究方向是讓智能體根據(jù)看到的某張圖片來(lái)生成文字（也有看到文字生成圖片和視頻的），這就是讓AI模型完成在視覺(jué)和語(yǔ)義之間的模態(tài)轉(zhuǎn)換。

運(yùn)用到物聯(lián)網(wǎng)設(shè)備當(dāng)中，今天主要的AI感知模態(tài)有三種：

1.語(yǔ)音交互，包括語(yǔ)音指令控制、語(yǔ)義理解、多輪對(duì)話、NLP、語(yǔ)音精準(zhǔn)識(shí)別等領(lǐng)域；

2. 機(jī)器視覺(jué)，包括自然物體識(shí)別、人臉識(shí)別、肢體動(dòng)作識(shí)別等；

3. 傳感器智能，包括AI對(duì)熱量、紅外捕捉信號(hào)、空間信號(hào)的閱讀與理解。

把這三種東西融合在一起，物聯(lián)網(wǎng)設(shè)備就可以在單純的能聽(tīng)會(huì)說(shuō)之外，同時(shí)還用攝像頭觀察、用傳感器判斷。而比較前沿的多模態(tài)感知研究當(dāng)中，還包括機(jī)器嗅覺(jué)，機(jī)器觸覺(jué)和情緒理解等內(nèi)容。

我們?cè)诘却�的下一代物�?lián)網(wǎng)設(shè)備，很可能訣竅就是把這些模態(tài)給揉在一起，完成從多模態(tài)感知到多模態(tài)交互的體驗(yàn)。用一句我們十分熟悉的話說(shuō)，就是要讓機(jī)器身上的五感“生態(tài)化反”……

今天讓人樂(lè)觀的多模態(tài)交互型IoT

又能聽(tīng)，又能看，又有傳感器的設(shè)備，聽(tīng)上去似乎有點(diǎn)過(guò)分樂(lè)觀了。但好在綜合了較多采訪與觀察之后，我們發(fā)現(xiàn)今年確實(shí)是值得為多模態(tài)物聯(lián)網(wǎng)設(shè)備樂(lè)觀一下的時(shí)候。

可以看到，很多雙模態(tài)交互，甚至多模態(tài)混合交互的解決方案都在從實(shí)驗(yàn)室里走出來(lái)，甚至已經(jīng)可以在我們生活中看到。這些解決方案更重要價(jià)值是作為案例，可以讓更多企業(yè)、開(kāi)發(fā)者和垂直行業(yè)看到多模態(tài)物聯(lián)網(wǎng)的可復(fù)制價(jià)值。

舉例來(lái)說(shuō)，離我們最近的多模態(tài)AI交互技術(shù)投射在物聯(lián)網(wǎng)設(shè)備上，大概就是用機(jī)器視覺(jué)技術(shù)進(jìn)行嘴唇識(shí)別，來(lái)分離語(yǔ)音交互指令。我們可以看到很多實(shí)驗(yàn)室和科技公司，都在嘗試用機(jī)器視覺(jué)來(lái)讀取說(shuō)話人的唇語(yǔ)和動(dòng)作，從而判斷每個(gè)聲音指令的來(lái)源。

這種技術(shù)已經(jīng)在國(guó)內(nèi)被運(yùn)用到地鐵售票解決方案中，通過(guò)機(jī)器視覺(jué)來(lái)識(shí)別買票人，從而在地鐵站的嘈雜環(huán)境中完成語(yǔ)音售票。

另一個(gè)我們能看到的例子是空調(diào)。在一些新的智能空調(diào)解決方案中，空調(diào)會(huì)在語(yǔ)音交互的基礎(chǔ)上通過(guò)機(jī)器視覺(jué)來(lái)判斷用戶的位置，提供智能送冷，并且會(huì)結(jié)合傳感器判斷屋內(nèi)溫度和濕度，提供更精準(zhǔn)的環(huán)境方案。

同樣是在家電上，今年電視背后的AI平臺(tái)戰(zhàn)打得風(fēng)生水起，把機(jī)器視覺(jué)技術(shù)引入電視成為了新的趨勢(shì)。通過(guò)機(jī)器視覺(jué)來(lái)讓電視觀察屋內(nèi)照明情況、用戶與電視的距離，電視可以主動(dòng)調(diào)節(jié)屏幕光線強(qiáng)度，輸出比較護(hù)眼的模式。還有的AI應(yīng)用是讓電視在觀察到兒童看電視后主動(dòng)開(kāi)啟童鎖。