填充性載荷：減少集群資源浪費與深度學習訓練成本的負載

摘要： 近年來，大模型在生物信息學、自然語言處理和計算機視覺等多個領域取得了顯著成功。然而，這些模型在訓練和推理階段需要大量的計算資源，導致計算成本高昂。同時，計算集群中存在資源利用率低、任務調(diào)度難的供需失衡問題。為了解決這一問題，提出了填充性載荷的概念，即一種在計算集群中利用空閑資源進行計算的負載。填充性載荷的計算資源隨時可能被其他負載搶占，但其使用的資源優(yōu)先級較低，資源成本也相對較... （共9頁）