文章詳情

在自動(dòng)駕駛汽車成為常態(tài)之前，人類和機(jī)器人將不得不共享道路。在這種共享的場(chǎng)景中，車輛之間的通信對(duì)于向其他車輛發(fā)出緊急或危險(xiǎn)的演習(xí)警報(bào)至關(guān)重要。因此，對(duì)人類意圖的社會(huì)理解對(duì)自我驅(qū)動(dòng)的進(jìn)步至關(guān)重要。這給自動(dòng)駕駛系統(tǒng)帶來了額外的復(fù)雜性，因?yàn)檫@種交互通常很難學(xué)習(xí)模仿。司機(jī)們相互交流意圖，以便做出臨時(shí)決策的動(dòng)作，以便在更早的時(shí)候發(fā)出警告，而不是通過運(yùn)動(dòng)來推斷。雖然駕駛員的動(dòng)作傳達(dá)了意圖，例如，當(dāng)駕駛員減速以表示其他車輛可以并道，或接近車道邊界以表示所需的合并位置時(shí)，駕駛員的動(dòng)作提示是微妙的、全動(dòng)作相關(guān)的、并且是短期瞬時(shí)的。相比之下，視覺信號(hào)，尤其是信號(hào)燈，是清晰的，可以提前很長(zhǎng)時(shí)間發(fā)出警告，這種警告表示可能出現(xiàn)的意外動(dòng)作。

例如，如果沒有檢測(cè)到轉(zhuǎn)彎信號(hào)，一輛停著的汽車在駛?cè)胗�面而來的車流時(shí)，同樣有可能保持停著不動(dòng)。類似地，當(dāng)司機(jī)計(jì)劃在另一輛車前面停車時(shí)，他們通常會(huì)提前發(fā)出安全信號(hào)。公共汽車在停車接送乘客時(shí)也會(huì)發(fā)出閃光信號(hào)，允許從后面駛來的車輛改變車道，從而減少了延誤和擁堵。當(dāng)司機(jī)了解其他交通參與者的意圖，這些日常行為是安全的；但如果忽視視覺信號(hào)是危險(xiǎn)的。因此，人類希望自動(dòng)駕駛汽車做出反應(yīng)，通過視覺信號(hào)預(yù)測(cè)駕駛員意圖的問題，并特別關(guān)注于解釋信號(hào)燈。

圖2 來自1，257，591個(gè)標(biāo)記幀的數(shù)據(jù)集的挑戰(zhàn)性場(chǎng)景。

研究人員在一個(gè)全新的、具有挑戰(zhàn)性的真實(shí)數(shù)據(jù)集上展示了他們的方法的有效性，該數(shù)據(jù)集包含來自他們實(shí)驗(yàn)室的自動(dòng)駕駛平臺(tái)的34小時(shí)視頻。該數(shù)據(jù)集包括在真實(shí)的（黑夜白天）城市駕駛場(chǎng)景中發(fā)現(xiàn)的不利條件，包括擁堵、遠(yuǎn)距離和不常見的車輛、惡劣天氣等各種場(chǎng)景（參見圖2）。

圖3 在這項(xiàng)工作中，研究人員建議使用一個(gè)卷積循環(huán)架構(gòu)來分類車輛的轉(zhuǎn)彎信號(hào)狀態(tài)。對(duì)于每個(gè)輸入幀，使用全卷積網(wǎng)絡(luò)預(yù)測(cè)掩碼（a），然后使用原始輸入圖像獲取element－wise，并使用基于vgg16的CNN提取空間特征（b），然后合并使用卷積LSTM時(shí)序特性（c），從最終隱藏狀態(tài)出發(fā)，預(yù)測(cè)了車輛轉(zhuǎn)彎信號(hào)狀態(tài)和視場(chǎng)面的概率分布（d）。

該模型的建立是為了解決三個(gè)問題：attention意圖，識(shí)別行為人的信號(hào)燈； understanding語義理解，識(shí)別遮擋和觀察行動(dòng)者的方向； temporal reasoning時(shí)間推理，以區(qū)別閃爍燈和持久燈。針對(duì)這些問題研究人員設(shè)計(jì)了一個(gè)深度學(xué)習(xí)體系結(jié)構(gòu)。請(qǐng)參考圖3以獲得詳細(xì)說明。輸入幀首先由應(yīng)用空間掩碼的attention模塊進(jìn)行處理，然后使用深度卷積網(wǎng)絡(luò)恢復(fù)空間概念。然后，將每幀的信息輸入卷積LSTM，將轉(zhuǎn)彎信號(hào)和緊急閃光的時(shí)間模式與其他內(nèi)容區(qū)分開來。生成的時(shí)空特征被傳遞到完全連接的層中進(jìn)行分類。

研究人員使用多任務(wù)丟失來訓(xùn)練模型。具體來說，在任務(wù)上定義了加權(quán)交叉熵?fù)p失。給定模型輸入x，地面真值標(biāo)簽y，模型權(quán)值θ，任務(wù)權(quán)值γ，網(wǎng)絡(luò)函數(shù)σ，損失函數(shù)為：

其中每個(gè)任務(wù)損失使用交叉熵定義為：

由于沒有用于轉(zhuǎn)彎信號(hào)分類的公共數(shù)據(jù)集，研究人員在自主駕駛平臺(tái)上記錄了超過10000條10赫茲下的車輛軌跡，并將其標(biāo)記為轉(zhuǎn)彎信號(hào)狀態(tài)，總共標(biāo)記了1，257，591幀。每一幀都被標(biāo)記為左轉(zhuǎn)彎和右轉(zhuǎn)彎燈的ON打開，OFF關(guān)閉或UNKNOWN未知。注意，標(biāo)簽標(biāo)識(shí)了每盞燈的概念狀態(tài)，ON表示即使燈泡沒有被點(diǎn)亮，信號(hào)也是活動(dòng)的。這些較低層次的標(biāo)簽被用來推斷高層次的動(dòng)作意圖：左轉(zhuǎn)、右轉(zhuǎn)、閃光、關(guān)閉和未知。圖4a顯示了標(biāo)簽的數(shù)量，它證明了數(shù)據(jù)集中對(duì)OFF類有相當(dāng)大的偏向。還顯示了距離上的分布（圖4c）和視點(diǎn)（圖4d）。