產業洞察
CPO

AI:吞噬能源的巨獸

分享:

幾年前,一座超大規模資料中心 (Hyperscale Data Center) 的耗電量約為 50 至 100 百萬瓦 (MW)。然而,現今如微軟 (Microsoft) 與 Google 等科技巨頭,正計畫打造吉瓦 (Gigawatt, GW) 級別的集群。由美國政府提議的 Stargate 計畫,甚至預測其電力需求將高達 10 吉瓦 (GW)。

 

10GW 的能耗規模究竟代表什麼?

  • 新加坡年度耗電量: 2024 年約為 58 TWh(平均功耗約 6.6GW)。

    紐約市年度耗電量: 2024 年約為 50 TWh(平均功耗約 5.7GW)。

    換言之,單一由政府提議的 Stargate 計畫 資料中心,其電力需求將遠超過整個新加坡或紐約市的日常運作總和。

3-1

為什麼 AI 資料中心需要消耗如此龐大的能源?傳統伺服器機櫃的功耗約為 10kW,而現代化的 NVIDIA GB200 NVL72 機櫃功耗已飆升至 120kW,增幅超過 10 倍

資料搬移稅

在 AI 資料中心內,通訊(Communication)變得至關重要,因為它實現了共享記憶體 (Shared Memory)並行運算 (Parallelism)而這正是運行兆級參數模型的關鍵。NVIDIA 創辦人兼執行長黃仁勳在 GTC 2025 中表示,AI 伺服器機櫃正在傳輸海量數據,其規模已超過全球網路的巔峰流量(約 900Tbps)。這導致單純為了「搬移資料」就產生了巨大的功耗,這正是所謂的「資料搬移稅 (Data Movement Tax)」或「互連牆 (Interconnect Wall)」。

 

僅考慮 AI 資料中心內的 GPU 互連,一套 GB300 NVL72 系統透過尖端的擴充技術(Scale-up technology)連結了 72 顆 GPU,在單一機櫃內提供約 130 TB/s (約 1 Pbps) 的資料移動量。讓我們來看看在不同互連情境下的功耗表現:

 

3-3 

*估算值包含串列器/解串列器 (SerDes) 電路與模組功耗。

機櫃內部的通訊能耗已佔據運算功耗的 5-10%。其他資料搬移行為——包括記憶體存取 (Memory Access)板載 PCIe (On-board PCIe)、以及交換機托盤 (Switch Tray) 等——正嚴重阻礙著 AI 資料中心的進一步規模化發展。

為何傳統光學方案功耗過高?

儘管銅纜線徑粗大且可能阻礙散熱氣流,但可插拔光學模組 (Pluggable Optics) 仍非大規模擴張(Scale-up)的理想選擇,原因在於其極高的功耗與成本。

目前,可插拔光學模組的功耗約為 20 pJ/bit,這主要是因為數位訊號處理晶片 (DSP) 的存在。在標準的可插拔收發器(如 800G OSFP)中,電訊號必須經過長距離傳輸,從 GPU 穿過 PCB 板到達前方面板。當訊號抵達時,往往已產生失真與雜訊。為了修復此問題,光學模組需使用 DSP 來清理並重建訊號;然而,單是 DSP 就佔據了整個模組近 70% 的功耗。

共封裝光學 (Co-packaged Optics, CPO) 則是一項新技術。透過將光學引擎直接配置在緊鄰 GPU 的位置(距離僅數毫米),有效地將電學路徑縮短至趨近於零,使系統能在無需使用 DSP 的情況下運作。產業巨頭正積極開發其 CPO 技術,例如 NVIDIA 的 Quantum-X 交換機 以及 Broadcom 的 Tomahawk 乙太網路交換機。

 

3-2

RVi 次世代共封裝光學 (CPO)

RVi 的 XmartLink™ 技術是次世代的 CPO 解決方案,能提供優異的能效比與單模組頻寬。傳統的光學引擎多仰賴「外置雷射」搭配「矽光子調變器」,而 XmartLink™ 則採用高產率且高可靠度的 微型 VCSEL (Micro-VCSELs)。透過直接整合光源,我們顯著減少了光學插入損耗 (Optical Insertion Loss),使 XmartLink™ 的功耗表現優於目前市場上其他的 CPO 方案。

 
Language
依據歐盟施行的個人資料保護法,我們致力於保護您的個人資料並提供您對個人資料的掌握。
按一下「全部接受」,代表您允許我們置放 Cookie 來提升您在本網站上的使用體驗、協助我們分析網站效能和使用狀況,以及讓我們投放相關聯的行銷內容。您可以在下方管理 Cookie 設定。 按一下「確認」即代表您同意採用目前的設定。
管理Cookies

隱私權偏好設定中心

依據歐盟施行的個人資料保護法,我們致力於保護您的個人資料並提供您對個人資料的掌握。
按一下「全部接受」,代表您允許我們置放 Cookie 來提升您在本網站上的使用體驗、協助我們分析網站效能和使用狀況,以及讓我們投放相關聯的行銷內容。您可以在下方管理 Cookie 設定。 按一下「確認」即代表您同意採用目前的設定。

管理同意設定

必要的Cookie

一律啟用
網站運行離不開這些 Cookie 且您不能在系統中將其關閉。通常僅根據您所做出的操作(即服務請求)來設置這些 Cookie,如設置隱私偏好、登錄或填充表格。您可以將您的瀏覽器設置為阻止或向您提示這些 Cookie,但可能會導致某些網站功能無法工作。