赖斯大学的“早起的鸟儿”对蠕虫的关心较少。它正在寻找数百万吨的温室气体排放量。
Early Bird是一种用于培训深度神经网络(DNN)，无人驾驶汽车，智能助手，面部识别和许多其他高科技应用背后的人工智能(AI)形式的节能方法。
赖斯大学和得克萨斯州农工大学的研究人员于4月29日在国际学习代表大会ICLR 2020上的聚焦论文中宣布了《早起的鸟儿》。赖斯高效智能计算(EIC)实验室的主要作者尤浩然和李朝建的一项研究表明，“早起的鸟儿”可以将DNN训练到相同的准确性水平，或者比典型训练更好地消耗了10.7倍的能量。EIC实验室的负责人Lin Yingyan和Rice的Richard Baraniuk和Texas A&M的Zhangyang Wang共同领导了这项研究。
Lin说：“最近AI突破的主要动力是引入更大，更昂贵的DNN。” “但是培训这些DNN需要大量的精力。要揭示更多的创新，必须找到既能解决环境问题又能减少AI研究的财务障碍的'绿色'培训方法。”
培训最先进的DNN不仅成本高昂，而且成本越来越高。一个2019年的研究由艾伦研究所AI在西雅图发现，培养第一流的所需的计算数量深层神经网络增加了30万次二〇一二年至2018年之间，以及不同的2019研究在美国麻省大学的研究人员发现，碳训练单个精英DNN的足迹大约等于五辆美国汽车的终身二氧化碳排放量。
DNN包含数百万甚至数十亿个学会执行特定任务的人工神经元。无需任何明确的编程，人造神经元的深层网络就可以通过“研究”大量先前的示例来学习做出类似于人的决策，甚至胜过人类专家。例如，如果DNN研究猫和狗的照片，它就会学会识别猫和狗。经过深入研究的棋盘游戏Go深度网络AlphaGo在研究了成千上万的先前玩过的游戏之后，在2015年击败了职业人类玩家。
赖斯布朗工程学院的电气和计算机工程助理教授林说：“进行DNN培训的最先进方法称为渐进式修剪和培训。” “首先，您要训练密集的大型网络，然后删除不重要的部分(例如修剪树)。然后，对修剪的网络进行重新培训以恢复性能，因为修剪后性能会下降。实际上，您需要修剪和重新训练多次获得良好的性能。”
修剪是可能的，因为网络中只有一小部分人造神经元可以潜在地完成专门任务的工作。训练会加强必要神经元之间的联系，并揭示哪些神经元可以被修剪掉。修剪可减少模型大小和计算成本，使部署经过全面培训的DNN更加经济实惠，尤其是在内存和处理能力有限的小型设备上。
林说：“第一步，训练密集，庞大的网络是最昂贵的。” “我们在这项工作中的想法是在这个昂贵的第一步的开始阶段，确定最终的，功能齐全的修剪网络，我们将其称为“早鸟票”。
通过在训练的早期阶段寻找关键的网络连接模式，Lin和同事们既发现了早鸟票的存在，又使用它们简化了DNN训练。在对各种基准数据集和DNN模型进行的实验中，Lin及其同事发现，“早起的鸟儿”在训练初期可能只出现十分之一或更少的时间。
林说：“我们的方法可以在密集的巨型网络训练的前10%或更少的时间内自动识别早鸟票。” “这意味着您可以训练DNN，以给定任务在大约传统训练所需时间的10%或更少的时间内达到相同或什至更好的精度，这可以节省大量的计算和能源。”
开发使AI更环保的技术是Lin团队的主要重点。关注环境是主要动机，但林说有很多好处。
她说：“我们的目标是使AI更加环保，更具包容性。” “复杂的AI问题的庞大规模使较小的参与者望而却步。绿色AI可以打开大门，使研究人员可以用笔记本电脑或有限的计算资源来探索AI创新。”
