SMC 資料庫

議題背景：

近年來因人工智慧熱潮，人工智慧演算法、技術與應用時常成為討論焦點。許多人工智慧裝置以節省能源為出發點，隨著相關技術日趨成熟，希望在提高效能的同時也可幫助節能減碳。然而，提高效能與能源的使用量，兩者如何權衡實為關鍵。同時，計算中心的數據及運算工作隨著科技潮流逐漸增加，這些大量的能源及電力需求，都將成為人工智慧所產生的隱形社會成本。

本次舉辦專家諮詢會，希望透過呈現多元的觀點及研究經驗的激盪，來解析運用人工智慧降低耗能的現況與困境，為未來面對新興科技與能源的衝突預作準備。

本次討論主題：

• AI究竟是耗電還是省電？兩者的案例為何？
• AI提升能源效率可以如何幫助節能？
• 新的AI設備實際工作情況、節省能源的效果及侷限？
• 新AI應用的產生可能抵銷省電效果嗎？目前要降低AI耗電的方法有哪些？

與會專家科學意見：

國立交通大學電子工程學系暨研究所教授 李鎮宜

整體而言，資料中心的全球耗電趨勢的確會逐漸上升，主要原因來自於大量且不斷累積的資料。除此之外，逐漸增加的資料使用者、需要用電的新興科技例如自駕車、無人機，以及為了蒐集用電資訊給AI計算所布建的感測器等，都將是未來耗電增加的原因。

不論從外部和內部來看，一個資料中心都需要消耗許多電能。外部的耗電是計算每傳輸一個位元需要多少能量，內部又分成計算（Computing）及儲存（Storage）兩大主要耗電的運作。資料中心會耗費大量電力的問題，其實牽涉的不只是技術層面，還會有管理層面。世界各國的資料中心建置時有其社會成本，會被要求提出配套措施，應避免特定的企業獲利但是將衍生的代價留給當地。為了獲得國際市場的認同，資料中心勢必會被要求投入永續經營，例如建置自己的綠電來使用，並考量結合資料中心周邊的整體生態系。

雖然整體而言使用AI會消耗電力，但若能夠運用AI結合智慧電網等管理技術應用在家庭的節電上，讓公眾看見生活中電費確實下降，或許AI幫助節能的方式可更普及化，在未來達到能源消耗與節省的平衡點。

在研究層面，為了省電而研發低耗電的電路，但其他周邊輔助電路可能為此耗更多電能，或是耗費電力在資料蒐集卻無法有效運用解決真實事業的問題，也是應該檢視及反思的問題。

就如同在邊緣運算中省電的例子：利用AI程式，在攝影鏡頭捕捉畫面時就能選出真正有用的區域（Region of interest）再做後續運算，可以避免不必要的傳輸頻寬與對應的電力消耗，未來如何讓有效的資料創造最大的價值，在資料驅動應用的時代，將是提升能源效率的關鍵。

凌華科技技術協理 梁文耀

從計算每一單位功率可以產生多少計算能力的效能指標：效能功耗比（performance per watt）來看，現今的超級電腦能源效率的確有所提升，然而CPU的計算和資料傳輸上仍非常耗能。因此隨著現在IC和計算機架構的技術進步，使用大量的平行運算架構、使用可動態調整降低電壓與頻率的技術來提升能源效率是趨勢。時常看到透過GPU、TPU、NPU等架構上進步的案例，用相對較低的能源作較多的運算。

廣泛使用AI來節能的趨勢正在發展，現階段一般企業僅利用AI演算法取代一些操作行為，尚未大量用於節能。其實AI可以有效幫助我們做能源管理，例如學習人的用電習慣，或是國外企業大樓節能的案例，幫助減少生活中的電力浪費。除此之外，電力傳輸和調度也十分耗電且需要時間，依靠AI預測的功能也可協助處理傳輸及調度問題。甚至運用邊緣運算將傳輸的資料做前處理，有價值的資料才輸送至後端，也可以節省整體能耗。這些案例多數有示範模型及技術，尚待實際應用的評估。

總結此次議題的兩個層面，衝突在於目標是透過AI幫助減緩耗能，但AI本身運算的過程很耗能。一般而言AI運算主要分成兩個階段，一是訓練階段，另一是推論階段。資料量、訓練及推論所需的時間，都會影響耗能。由此可見運算複雜度越高，訓練所需的耗能就越高。因此AI究竟能不能幫助我們省電，其實是仰賴我們如何去設計對應問題的解決方案，在設計運算系統時必須採用適當的架構，設計得當的情況下的確可以達到節能。

長庚大學資訊工程學系助理教授 張哲維

雖然AI計算的能源效率有所提升，但整體而言，資料使用者以及AI應用之需求量的增加更快速，因此用電需求會持續上升。目前計算相關的省電策略主要有兩個大方向：動態頻率電壓調節（Dynamic voltage and frequency scaling，DVFS）以及動態功率管理（Dynamic power management，DPM），主要的概念是透過即時的調整頻率和電壓，以及動態切換各硬體模組的工作模式，在滿足AI計算的效能需求前提之下，降低AI計算設備的耗電量。

以超級電腦為例，實際工作時，並不會每一個單元都隨時全速運作，此時可依靠機器學習來動態的調整及管理，暫時關閉沒有使用的區塊，或是切換到省電的模式。目前亦有在運行的機制是，偵測可以批次處理的大量工作，調控在離峰時間進行；另一策略則是利用邊緣運算，可根據需求找出所需的資訊，避開不必要的電力消耗。這些都是用軟體介入硬體來幫助伺服器省電的切入點，關鍵是如何在給予的運算條件上，同時達到效能需求及降低整體耗電量。除此之外，記憶體所耗的電量其實不容忽視。將使用比例高的資料放在近端或靠近核心，或是使用「非揮發性記憶體」都可能協助省電。非揮發性記憶體技術讓斷電後資料可以保留，不如以往揮發性記憶體中的資料會消失，在程式運行的時候也可直接存取資料，比起要多一個載入步驟的硬碟更快速，適合用在需要大容量記憶體而且記憶體耗電量大的電腦上。

綜合上述，AI讓降低耗能的方式更加多元，應考量的面向也越多。根據先前研究經驗發現，如果一個處理器的快取記憶體內部只要任何一個元件開啟，外圍元件也必須一同運作，此處理器的快取記憶體耗電量就很難調整並降低。因此，在研究前應先分析每一個元件的耗電，並盤點省電的技術是否實際作用在最耗電的元件上。不論是研究還是應用，事先盤點並確定哪些是最耗電的元件，評估省電可行性再著手處理，將會是關鍵。

國立交通大學電子工程學系暨研究所教授 張添烜

近幾年資料需求上升，耗電量增加無可避免。AI模型發展趨勢也從剛開始要求快速、高效能，後期逐漸轉向提高效率的運作模型，以及考慮是否有比較好的AI訓練方法，希望用比較少的資料和時間得到同樣好的結果。

從研究到實際應用，AI運算的模型大小其實會縮減，就可以放到近端，例如手機端做計算，避免在遠端資料中心運算。能源消耗比較分散的條件下，資料中心比較集中在AI訓練的功能，效率也可因此提高，同時帶動AI往新的架構設計、仿神經網路晶片等發展。例如，AI計算主要是矩陣乘法，所以可專門設計架構將矩陣運算做得出色，使用相同電力所達到的效能即可提高，有機會產生新型態的方式來省電。

除了新的AI架構，也有使用環境擷取能源的方案，然而目前此技術所得到電量不穩定，較適合蒐集環境中的溫度、振動等資訊。其中由於溫度會影響能源效率，將資料中心建置於溫度較低的地區也是未來趨勢。

本文歡迎媒體轉載使用，惟需附上資料來源，請註明新興科技媒體中心。
若有採訪需求或其他合作事宜，請聯絡媒體公關：