訂閱
糾錯(cuò)
加入自媒體
當(dāng)前位置： OFweek 人工智能網(wǎng)   >   自然語(yǔ)言處理   >  正文

什么是文本摘要？為什么要有注意力機(jī)制？


什么是文本摘要？為什么要有注意力機(jī)制？

建立Tokenizer

通過(guò)分詞器生成詞匯表，并將單詞文本序列轉(zhuǎn)為數(shù)值序列，方便計(jì)算機(jī)計(jì)算。

模型建立

我們可以選擇是否讓LSTM在每個(gè)時(shí)間步都會(huì)生成隱藏狀態(tài)h和記憶單元狀態(tài)c。

選擇LSTM是否僅生成最后一個(gè)時(shí)間步的隱藏狀態(tài)h和記憶單元狀態(tài)c。

選擇LSTM相互堆疊提高模型效果。

選擇雙向LSTM，可以雙向處理文本數(shù)據(jù)，獲取更加豐富的上下文信息。

使用beam search strategy代替貪婪方法argmax。

根據(jù)BLEU分?jǐn)?shù)評(píng)估模型的性能。

可以選擇指針生成網(wǎng)絡(luò)，

因?yàn)檎麛?shù)序列采用獨(dú)熱編碼的方式，所以損失函數(shù)采用了稀疏交叉熵，對(duì)內(nèi)存友好。

數(shù)學(xué)理解注意力機(jī)制

編碼器為源文本序列每一個(gè)時(shí)間步j(luò)都生成了一個(gè)隱藏狀態(tài)值hj。

相似的工作，解碼器為目標(biāo)文本每一個(gè)時(shí)間步i都生成了隱藏狀態(tài)值si。

alignment score： 。用這個(gè)分?jǐn)?shù)表示源文本中的第j步單詞與目標(biāo)文本中第i步單詞的關(guān)聯(lián)度。可以用hj與si來(lái)計(jì)算這個(gè)分?jǐn)?shù)值 根據(jù)所使用的得分函數(shù)的類型，有不同類型的注意力機(jī)制。這里列舉一些流行的注意力機(jī)制：

什么是文本摘要？為什么要有注意力機(jī)制？

使用softmax函數(shù)對(duì)注意力參數(shù)的值進(jìn)行歸一化。

計(jì)算注意力權(quán)重與編碼器hj的隱藏狀態(tài)乘積的線性總和，以產(chǎn)生注意力上下文向量Ci。

什么是文本摘要？為什么要有注意力機(jī)制？

將注意力上一下文向量Ci與目標(biāo)隱藏層向量si級(jí)聯(lián)以產(chǎn)生新的注意力隱藏層向量Si。

將注意力隱藏層向量傳入密集層產(chǎn)生yi。


<上一頁(yè)  1  2  3  
聲明： 本文由入駐維科號(hào)的作者撰寫(xiě)，觀點(diǎn)僅代表作者本人，不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題，請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

共0條評(píng)論，0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁，請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清，點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

    掃碼關(guān)注公眾號(hào)
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯(cuò)
    x
    *文字標(biāo)題：
    *糾錯(cuò)內(nèi)容：
    聯(lián)系郵箱：
    *驗(yàn) 證 碼：

    粵公網(wǎng)安備 44030502002758號(hào)