深入探討高效人工智能

人工智能 (AI) 在加速達成全球 30 年內實現淨零排放目標的必要轉型中扮演了巨大的角色,例如整合可再生能源和降低碳捕捉成本。然而,使用 AI 必須具備環境可持續性。用於 AI 的運算資源會產生兩種二氧化碳排放:從電力來源產生的營運排放和從製造過程中產生的隱含排放。為了減少這兩種排放,研究集中於提高 AI 模型在計算硬體上的效率,同時保持準確性。主要的雲端供應商將於 2030 年前轉型至使用 100% 的無碳能源。科技巨頭也正在開發工具,以幫助 AI 開發人員使其模型更具可持續性,並將 AI 的效率提升擴展到受限的邊緣硬體。

開發機器學習模型通常涉及幾個關鍵步驟,例如選擇模型架構和演算法、超參數調整、對現有數據集進行訓練,以及對新數據進行預測。在這裡,我們深入探討如何在每個關鍵步驟中提高 AI 的能源效率。

高效的模型架構和超參數調整

AI 研究行業正在使用自動優化技術,神經結構搜索(NAS)超參數優化(HPO),來尋找資源高效的機器學習模型。這些技術在組合搜索空間中尋找有具潛力的候選方案,而該空間太大而無法徹底搜索。儘管傳統上用於優化預測準確性,但它們也可以優化計算效率或成本。這些技術本身的高效運作非常重要。以研究為基礎的元學習技術,例如概率神經結構搜索(PARSEC),已經納入各大機器學習平台,以實現高效的模型選擇和超參數優化。PARSEC 使用一種記憶體高效的採樣程序,相比以往的方法大大降低了記憶體需求,而 Weightless PARSEC 以少 100 倍的計算成本實現了可比的結果。

大規模深度學習模型的增長推動了 Tensor Programs 的發展,實現了 µTransfer,一種可以在模型大小之間轉移訓練超參數的程序,可以直接將小模型的最優超參數應用於較大的目標模型中。與直接調整大型模型的超參數相比,µTransfer在使用至少一個數量級的計算時,仍可以實現相同的精確度,且隨著目標模型規模的增加,效率提升亦沒有限制。µTransfer 使得對於先前成本過高的非常大型模型進行超參數調整成為可能。它作為一個開源軟件包可用於任何大小的模型。這些優化技術和程序的進步使得機器學習模型更加高效和可持續。

高效的模型訓練

提高訓練大型語言模型的預訓練和微調階段的效率對於減少人工智能的碳足跡也至關重要。預訓練從大型數據集中提取資訊來產生一般模型,而微調則將該模型調整為針對專門任務。LoRA (Low-Rank Adaptation of Large Language Models) 使用可訓練的低秩分解矩陣,在微調過程中大大減少下游任務的可訓練參數數量,相比使用 Adam 微調的 GPT-3 175B,GPU 記憶體需求降低了 3 倍。EarlyBERT 提供了一種通用的、計算效率高的訓練算法,適用於大型語言模型的預訓練和微調,通過將模型修剪為原始模型的稀疏版本,可以實現與標準 BERT 相當的性能,並且需要的訓練計算時間減少了 35-45%。

LoRA 已成功應用於實踐中,使模型開發更具資源效率,例如減少 Power Apps Ideas 的存儲和硬件要求,利用人工智能讓人們使用普通語言便能創建應用程式。一個將 LoRA 整合到 PyTorch 模型上的套件已可在 GitHub 上找到。

高效的推論

有各種技術正在追求優化機器學習模型在推論期間的效率,這是對新數據進行預測的過程。目標是在最大化預測準確性的同時最小化計算成本、反應時間和碳排放。這些技術包括算法改進、模型壓縮、知識蒸餾、量化和因式分解。

可因式分解的神經運算符(FNO)使用低秩矩陣分解實現最昂貴的神經網絡層的硬件友好型壓縮,將記憶體使用量減少了 80%,預測時間減少了 50%,同時保持準確性。知識蒸餾是另一種方法,通過從較大的已訓練的教師模型提取知識到較小的學生模型通常用於語言任務的大規模預訓練模型壓縮。基於這種方法的幾個發展已經實現了顯著的參數計數、記憶體需求和推論延遲的降低。

通過將 FNO 與其他模型壓縮方法(例如蒸餾和量化)相結合,可以獲得進一步的改進,以下是一些可能引起您興趣的示例,如 XtremeDistilMiniLMAutoDistil。這些優化技術對於減少大規模人工智能的環境影響至關重要,因為大型模型可能每天處理數以萬億計的推論。

本文是在 AI 的協助下撰寫,並參考以下來源:

https://www.microsoft.com/en-us/research/project/reducing-ais-carbon-footprint/

https://www.microsoft.com/en-us/research/project/reducing-ais-carbon-footprint/articles/emit-less-carbon-from-ai/

https://www.microsoft.com/en-us/research/blog/%c2%b5transfer-a-technique-for-hyperparameter-tuning-of-enormous-neural-networks/

https://github.com/microsoft/LoRA/

https://www.microsoft.com/en-us/research/publication/initialization-and-regularization-of-factorized-neural-layers/

在此感謝 InnoHK、香港特別行政區政府及人工智能金融科技實驗室對本文的支援。
(AIFT 竭力但不能保證內容之準確和可靠,亦不會承擔因任何不準確或遺漏而引起的任何損失或損害。 )

分享此內容

地址

香港沙田香港科學園科技大道西 19 號
11樓 1101-1102 及 1121-1123 室

產品及解決方案

人才

工作機會

關於我們

地址

版權所有 © 2024 人工智能金融科技實驗室有限公司