當(dāng)前位置:首頁 > 科技文檔 > 教育理論 > 正文

一種課程學(xué)習(xí)范式下的知識蒸餾方法

計算機集成制造系統(tǒng) 頁數(shù): 8 2022-07-15
摘要: 隨著工業(yè)4.0時代的到來,神經(jīng)網(wǎng)絡(luò)在實現(xiàn)整個工業(yè)系統(tǒng)自動化的各個環(huán)節(jié)獲得了廣泛的應(yīng)用。
然而大規(guī)模神經(jīng)網(wǎng)絡(luò)往往消耗了大量的存儲、內(nèi)存帶寬和計算資源,在計算受限的工業(yè)場景中很難高效利用,相比之下,輕量級網(wǎng)絡(luò)具有更加廣泛的應(yīng)用前景。
知識蒸餾提取一個大規(guī)模高性能教師網(wǎng)絡(luò)的知識來指導(dǎo)一個輕量化低性能學(xué)生網(wǎng)絡(luò)的訓(xùn)練,在提升輕量級網(wǎng)絡(luò)性能方面已獲得成功驗證。 (共8頁)

知識蒸餾教師網(wǎng)絡(luò)學(xué)生網(wǎng)絡(luò)隨機采樣課程學(xué)習(xí)難度判斷

開通會員,享受整站包年服務(wù)立即開通 >