HBM解決GPU內存牆問題
至於易失性儲存器將資料儲在記憶體內,但相對非易失儲存器,易失性儲存器好處是能即時滿足CPU及GPU運算需求,但缺點是電源關閉後,資料也會消失,當中高帶寬內存(HBM)、主機內存(DRAM)便是易失性儲存器代表,本文將集中討論HBM環節。
GPU與TPU最佳拍檔是DRAM,但問題在於GPU與TPU運算速度太快,儲存晶片存取速度卻未能同步追上,造成內存牆(Memory Wall)問題,拖慢整組AI晶片運算。為解決此問題,HBM代替DRAM掛帥,以解決內存牆問題。
HBM其實是DRAM,是將多片DRAM堆疊向高空發展,每層DRAM通過硅通孔(TSV)互連,令傳輸速度大幅提升。例如在過往DRAM年代每秒只能傳輸50GB資料,換上HBM年代後,傳輸速度大增至每秒超過1TB,由於搬運資料速度大幅提升,因此HBM變成GPU與TPU的新最佳新拍檔。










