全球 AI 晶片產業正面對一項重大技術瓶頸，記憶體堆疊技術已逐步逼近物理極限。根據韓國媒體最新報導，記憶體與封裝業界正積極評估一種全新架構，將原本緊貼 GPU 配置嘅 HBM 高頻寬記憶體拉開距離，改用光學互連技術橋接兩者，從而突破現有晶片邊界限制，安裝更多記憶體容量，徹底解決 AI 運算爆發性成長帶來嘅「記憶體牆」問題。

消息曝光後，迅速引起半導體業界高度關注。報導引述記憶體廠研究人員指出，目前擴展 HBM 頻寬同容量方面遇到重大困難，因此正同客戶討論透過光學互連，突破 GPU shoreline（晶片周邊邊界）限制。所謂 shoreline，就係 GPU 晶片周圍可用嚟配置 HBM 嘅邊界長度。傳統 2.5D 封裝架構下，GPU 同 HBM 必須緊密安裝喺同一塊基板上，可放置 HBM 數量完全受限於呢個有限邊界。即使市場急需更多記憶體，實際空間根本唔夠用，導致產業陷入結構性瓶頸。

事實上，GPU 性能每一代都大幅躍升，但記憶體儲存同供應資料嘅速度卻未能同步跟上，形成嚴重記憶體牆。雖然 HBM 具備更寬資料通道，但業界普遍認為，其頻寬同傳輸速度仍不足以應付 AI 大模型訓練同推理嘅爆炸需求。過去幾年，業界主要靠不斷增加 HBM 堆疊層數嚟提升容量同頻寬，由 12 層、16 層逐步推向 20 層以上。但隨著堆疊層數增加，製程難度呈指數級上升。目前固定高度規範越來越難滿足等物理限制，連 JEDEC 標準都已放寬 HBM 高度規範，以緩解垂直堆疊技術嘅極限挑戰。

更大問題係，如果無法再向上堆疊，另一種方法就係喺 GPU 周圍橫向增加更多 HBM，但呢個方案同樣受制於 shoreline 長度。業界近日提出嘅替代方案，就係將 GPU 同 HBM 分離封裝，徹底顛覆過去「晶片必須靠近先降低延遲」嘅傳統設計原則。新架構唔再要求兩者緊鄰，而是透過超高速光學訊號連接，克服距離增加帶來嘅問題。透過將 HBM 從 GPU 周圍稍微移開，就可解除 shoreline 空間限制。少了呢項枷鎖，HBM 便能以橫向方式大幅擴展，喺同一塊電路板上安裝數倍於現有架構嘅記憶體容量，而毋須極端提高堆疊層數。呢個改變意味住，AI 加速器系統整體記憶體容量同資料頻寬，將獲得遠超現有架構嘅提升。

業界已開始提出多種 HBM 喺 GPU 板上配置嘅新方案，其中一個討論方向係善用 GPU 周圍空間，甚至將 HBM 獨立配置到 GPU 板下方。若然如此，就需要垂直擴展主機板，目前已同 GPU 廠商討論整體 form factor（外型規格）調整嘅可能性。一位業界人士透露：「我哋正開放所有可能性，同合作夥伴討論最佳配置方案。雖然尚未形成正式路線圖，但已做為下一代 AI 加速器嘅前期研究方向之一。」封裝測試產業亦正密切跟進呢股趨勢。

喺新架構下，HBM 可能改為距離 GPU 數公分外環繞排列，或者喺電路板中央另行建立獨立 HBM 區域。全球 OSAT 廠高層表示，光學互連已係明確發展方向，問題只剩時間點。未來會先由機架對機架、伺服器對伺服器連接導入光學技術，之後再逐步擴展至單一板卡內部嘅 chip-to-chip 光互連。大型系統會率先採用，但目前光學研究進展非常快，因此真正導入板內光互連嘅時間點，可能唔會太遙遠。

從技術層面睇，GPU 同 HBM 間嘅光學互連，原理同資料中心伺服器之間嘅光通訊一樣，但難度大幅提高，因為要將原本用喺大型設備間嘅光學轉換技術，縮小至單一電路板同晶片等級。一名韓國 CPO 元件廠主管指出，隨著 HBM 堆疊高度逐漸接近極限，業界開始討論透過橫向擴展記憶體，最大化可安裝容量。原理同現有資料中心光互連相同，但 HBM 光學互連需要在狹小板內空間運作，因此光學元件必須進一步微型化，並達到更高整合密度，技術挑戰亦因此更高。