面向深度學習訓練的內(nèi)存交換機制綜述

摘要： 隨著深度學習技術的快速發(fā)展和深入應用,深度學習訓練規(guī)模持續(xù)增大,內(nèi)存不足已成為影響深度學習可用性的主要瓶頸之一.內(nèi)存交換機制是應對深度學習訓練內(nèi)存問題的關鍵技術,該機制利用深度學習訓練內(nèi)存需求的“時變”特征,在專用計算加速設備內(nèi)存與外部存儲之間按需移動數(shù)據(jù),通過瞬時內(nèi)存需求替代累積內(nèi)存需求,保障深度學習訓練任務的運行.對面向深度學習訓練的內(nèi)存交換機制進行綜述,以深度學習訓練內(nèi)存... （共25頁）