CityU logo

深入探讨高效人工智能

人工智能 (AI) 在加速达成全球 30 年内实现净零排放目标的必要转型中扮演了巨大的角色,例如整合可再生能源和降低碳捕捉成本。然而,使用 AI 必须具备环境可持续性。用于 AI 的运算资源会产生两种二氧化碳排放:从电力来源产生的营运排放和从制造过程中产生的隐含排放。为了减少这两种排放,研究集中于提高 AI 模型在计算硬体上的效率,同时保持准确性。主要的云端供应商将于 2030 年前转型至100% 的无碳能源。科技巨头也正在开发工具,以帮助 AI 开发人员使其模型更具可持续性,并将 AI 的效率提升扩展到受限的边缘硬体。

开发机器学习模型通常涉及几个关键步骤,例如选择模型架构和演算法、超参数调整、对现有数据集进行训练,以及对新数据进行预测。在这里,我们深入探讨如何在每个关键步骤中提高 AI 的能源效率。

高效的模型架构和超参数调整

AI 研究行业正在使用自动优化技术,神经结构搜索(NAS)超参数优化(HPO),来寻找资源高效的机器学习模型。这些技术在组合搜索空间中寻找具潜力的候选方案,而该空间太大而无法彻底搜索。尽管传统上用于优化预测准确性,但它们也可以优化计算效率或成本。这些技术本身的高效运作非常重要。以研究为基础的元学习技术,例如概率神经结构搜索(PARSEC),已经纳入各大机器学习平台,以实现高效的模型选择和超参数优化。 PARSEC 使用一种内存高效的取样程序,相比以往的方法大大降低了内存需求,而 Weightless PARSEC 以少 100 倍的计算成本实现了可比的结果。

大规模深度学习模型的增长推动了 Tensor Programs 的发展,实现了µTransfer,一种可以在模型大小之间转移训练超参数的程序,可以直接将小模型的最优超参数应用于较大的目标扩模型中。与直接调整大型模型的超参数相比, µTransfer在使用至少一个数量级的计算时,仍可以实现相同的精确度,且随着目标模型规模的增加,效率提升亦没有限制。µTransfer 使得对于先前成本过高的非常大型模型进行超参数调整成为可能。它作为一个开源软件包可用于任何大小的模型。这些优化技术和程序的进步使得机器学习模型更加高效和可持续。

高效的模型训练

提高训练大型语言模型的预训练和微调阶段的效率对于减少人工智能的碳足迹也至关重要。预训练从大型数据集中提取出信息来生成一般模型,而微调则将该模型调整为针对专门任务。 LoRA (Low-Rank Adaptation of Large Language Models) 使用可训练的低秩分解矩阵,在微调过程中大大减少下游任务的可训练参数数量,相比使用 Adam 微调的 GPT-3 175B,GPU 内存需求降低了 3 倍。 EarlyBERT 提供了一种通用的计算效率高的训练算法,适用于大型语言模型的预训练和微调,通过将模型修剪为原始模型的稀疏版本,可以实现与标准 BERT 相当的性能,并且需要的训练计算时间减少了 35-45%。

LoRA 已成功应用于实践中,使模型开发更具资源效率,例如减少 Power Apps Ideas 的存储和硬件要求,该应用程序利用人工智能让人们使用普通语言便能创建应用程序。一个将 LoRA 集成到 PyTorch 模型上的软件包已可在 GitHub 上找到。

高效的推论

有各种技术正在追求优化机器学习模型在推论期间的效率,这是对新数据进行预测的过程。目标是在最大化预测准确性的同时最小化计算成本、响应时间和碳排放。这些技术包括算法改进、模型压缩、知识蒸馏、量化和因式分解。

可因式分解的神经运算符(FNO)使用低秩矩阵分解实现最昂贵的神经网络层的硬件友好型压缩,将内存使用量减少了 80%,预测时间减少了 50%,同时保持准确性。知识蒸馏是另一种方法,通过从较大、已训练的教师模型提取知识到较小的学生模型,通常用于语言任务的大规模预训练模型压缩。基于这种方法的几个发展已经实现了显著的参数计数、内存需求和推论延迟的降低。

通过将 FNO 与其他模型压缩方法(例如蒸馏和量化)相结合,可以获得进一步的改进,以下是一些可能引起您兴趣的示例,如 XtremeDistil、MiniLM 和 AutoDistil。这些优化技术对于减少大规模人工智能的环境影响至关重要,因为大型模型可能每天处理数以万亿计的推论。

本文是在 AI 的协助下撰写,并参考以下来源:

https://www.microsoft.com/en-us/research/project/reducing-ais-carbon-footprint/

https://www.microsoft.com/en-us/research/project/reducing-ais-carbon-footprint/articles/emit-less-carbon-from-ai/

https://www.microsoft.com/en-us/research/blog/%c2%b5transfer-a-technique-for-hyperparameter-tuning-of-enormous-neural-networks/

https://github.com/microsoft/LoRA/

https://www.microsoft.com/en-us/research/publication/initialization-and-regularization-of-factorized-neural-layers/

在此感谢 InnoHK、香港特别行政区政府及人工智能金融科技实验室对本文的支持。
(AIFT 竭力但不能保证内容之准确和可靠,亦不会承担因任何不准确或遗漏而引起的任何损失或损害。)

分享此內容

人工智能金融科技实验室与中银香港进一步加强金融科技合作

Tokenization Revolution - Unleashing Banking's Growth Potential

地址

香港沙田香港科学园科技大道西 19号
11楼 1101-1102 及 1121-1123 室

产品及解决方案

人才

工作机会

关于我们

地址

版权所有 © 2024 人工智能金融科技实验室有限公司