使用Python可視化卷積神經(jīng)網(wǎng)絡(luò)方法匯總
2. 基于激活的方法2.1 最大激活為了了解我們的神經(jīng)網(wǎng)絡(luò)在做什么,我們可以對(duì)輸入圖像應(yīng)用濾波器,然后繪制輸出,這使我們能夠理解什么樣的輸入模式激活了一個(gè)特定的濾波器,例如,可能有一個(gè)人臉濾波器,當(dāng)它在圖像中出現(xiàn)一個(gè)人臉時(shí)會(huì)激活它。from vis.visualization import visualize_activationfrom vis.utils import utilsfrom keras import activations
from matplotlib import pyplot as plt%matplotlib inlineplt.rcParams['figure.figsize'] = (18, 6)
# 按名稱搜索圖層索引。# 或者,我們可以將其指定為-1,因?yàn)樗鼘?duì)應(yīng)于最后一層。layer_idx = utils.find_layer_idx(model, 'preds')
#用線性層替換softmaxmodel.layers[layer_idx].a(chǎn)ctivation = activations.linearmodel = utils.a(chǎn)pply_modifications(model)
# 這是我們要最大化的輸出節(jié)點(diǎn)。filter_idx = 0img = visualize_activation(model, layer_idx, filter_indices=filter_idx)plt.imshow(img[..., 0])
我們可以把這個(gè)想法轉(zhuǎn)移到所有的類中,并檢查每個(gè)類。PS:運(yùn)行下面的腳本來(lái)檢查它。for output_idx in np.a(chǎn)range(10): # 讓我們這次關(guān)閉詳細(xì)輸出以避免混亂 img = visualize_activation(model, layer_idx, filter_indices=output_idx, input_range=(0., 1.)) plt.figure() plt.title('Networks perception of {}'.format(output_idx)) plt.imshow(img[..., 0])2.2 圖像遮擋在一個(gè)圖像分類問(wèn)題中,一個(gè)簡(jiǎn)單問(wèn)題是模型是否真正識(shí)別了圖像中對(duì)象的位置,或者僅僅使用了周圍的上下文。我們?cè)谏厦婊谔荻鹊姆椒ㄖ袑?duì)此做了簡(jiǎn)要的介紹;谡趽醯姆椒ㄔ噲D通過(guò)系統(tǒng)地用一個(gè)灰色正方形遮擋輸入圖像的不同部分來(lái)回答這個(gè)問(wèn)題,并監(jiān)視分類器的輸出。示例清楚地表明,模型正在場(chǎng)景中定位對(duì)象,因?yàn)楫?dāng)對(duì)象被遮擋時(shí),正確類的概率顯著降低。
為了理解這個(gè)概念,讓我們從數(shù)據(jù)集中隨機(jī)抽取一張圖像,并嘗試?yán)L制圖像的熱圖。這將給我們一個(gè)直覺,圖片的哪些部分是重要的,可以明確區(qū)分類別。def iter_occlusion(image, size=8):
occlusion = np.full((size * 5, size * 5, 1), [0.5], np.float32) occlusion_center = np.full((size, size, 1), [0.5], np.float32) occlusion_padding = size * 2
# print('padding...') image_padded = np.pad(image, ( (occlusion_padding, occlusion_padding), (occlusion_padding, occlusion_padding), (0, 0) ), 'constant', constant_values = 0.0)
for y in range(occlusion_padding, image.shape[0] + occlusion_padding, size):
for x in range(occlusion_padding, image.shape[1] + occlusion_padding, size): tmp = image_padded.copy()
tmp[y - occlusion_padding:y + occlusion_center.shape[0] + occlusion_padding, x - occlusion_padding:x + occlusion_center.shape[1] + occlusion_padding] = occlusion
tmp[y:y + occlusion_center.shape[0], x:x + occlusion_center.shape[1]] = occlusion_center
yield x - occlusion_padding, y - occlusion_padding, tmp[occlusion_padding:tmp.shape[0] - occlusion_padding, occlusion_padding:tmp.shape[1] - occlusion_padding]
i = 23 # 例如data = val_x[i]correct_class = np.a(chǎn)rgmax(val_y[i])
# model.predict的輸入向量inp = data.reshape(1, 28, 28, 1)
# matplotlib imshow函數(shù)的圖片img = data.reshape(28, 28)
# 遮蓋img_size = img.shape[0]occlusion_size = 4
print('occluding...')
heatmap = np.zeros((img_size, img_size), np.float32)class_pixels = np.zeros((img_size, img_size), np.int16)
from collections import defaultdictcounters = defaultdict(int)
for n, (x, y, img_float) in enumerate(iter_occlusion(data, size=occlusion_size)):
X = img_float.reshape(1, 28, 28, 1) out = model.predict(X) #print('#{}: {} @ {} (correct class: {})'.format(n, np.a(chǎn)rgmax(out), np.a(chǎn)max(out), out[0][correct_class])) #print('x {} - {} | y {} - {}'.format(x, x + occlusion_size, y, y + occlusion_size))
heatmap[y:y + occlusion_size, x:x + occlusion_size] = out[0][correct_class] class_pixels[y:y + occlusion_size, x:x + occlusion_size] = np.a(chǎn)rgmax(out) counters[np.a(chǎn)rgmax(out)] += 1

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
-
機(jī)器人奧運(yùn)會(huì)戰(zhàn)報(bào):宇樹機(jī)器人摘下首金,天工Ultra搶走首位“百米飛人”
-
存儲(chǔ)圈掐架!江波龍起訴佰維,索賠121萬(wàn)
-
長(zhǎng)安汽車母公司突然更名:從“中國(guó)長(zhǎng)安”到“辰致科技”
-
豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
-
字節(jié)AI Lab負(fù)責(zé)人李航卸任后返聘,Seed進(jìn)入調(diào)整期
-
員工持股爆雷?廣汽埃安緊急回應(yīng)
-
中國(guó)“智造”背后的「關(guān)鍵力量」
-
小米汽車研發(fā)中心重磅落地,寶馬家門口“搶人”
最新活動(dòng)更多
-
10月23日火熱報(bào)名中>> 2025是德科技創(chuàng)新技術(shù)峰會(huì)
-
10月23日立即報(bào)名>> Works With 開發(fā)者大會(huì)深圳站
-
10月24日立即參評(píng)>> 【評(píng)選】維科杯·OFweek 2025(第十屆)物聯(lián)網(wǎng)行業(yè)年度評(píng)選
-
11月27日立即報(bào)名>> 【工程師系列】汽車電子技術(shù)在線大會(huì)
-
12月18日立即報(bào)名>> 【線下會(huì)議】OFweek 2025(第十屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
精彩回顧立即查看>> 【限時(shí)福利】TE 2025國(guó)際物聯(lián)網(wǎng)展·深圳站
推薦專題
- 1 人形機(jī)器人,正狂奔在批量交付的曠野
- 2 宇樹機(jī)器人撞人事件的深度剖析:六維力傳感器如何成為人機(jī)安全的關(guān)鍵屏障
- 3 解碼特斯拉新AI芯片戰(zhàn)略 :從Dojo到AI5和AI6推理引擎
- 4 AI版“四萬(wàn)億刺激”計(jì)劃來(lái)了
- 5 2025年8月人工智能投融資觀察
- 6 7 一家被嚴(yán)重低估的國(guó)產(chǎn)AI巨頭
- 8 a16z最新AI百?gòu)?qiáng)榜:硅谷頂級(jí)VC帶你讀懂全球生成式AI賽道最新趨勢(shì)
- 9 Manus跑路,大廠掉線,只能靠DeepSeek了
- 10 地平線的野心:1000萬(wàn)套HSD上車