Ученые из США обнаружили метод обучения нейронных сетей, требующий в 10 раз меньше энергии

Технология Early Bird позволяет сократить энергозатраты при обучении нейронных сетей в среднем в 10,7 раз, сохраняя уровень точности.

Ученые из Университета Райса в Техасе обнаружили новый метод обучения глубоких нейронных сетей (deep neural networks, DNN) с рекордно высоким показателем энергоэффективности. Технология получила название Early Bird, сообщило издание Science Daily.

"Главной движущей силой недавних прорывов в сфере AI стало внедрение более крупных и сложных нейронных сетей. Тем не менее, обучение каждой из них требует существенных затрат энергии и тем самым оказывает негативное воздействие на окружающую среду. Для дальнейшего прогресса и инноваций требуются экологически устойчивые методы работы с DNN", - отметил директор лаборатории интеллектуальных вычислений Университета Райса Инцян Линь.

Исследование, проведенное Институтом искусственного интеллекта им. Аллена в Сиэтле в 2019 году, показало, что количество вычислительных мощностей, необходимых для обучения высококлассной DNN, увеличилось в период с 2012 по 2018 год в 300 тыс. раз. В то же время, исследование Массачусетского университета в Амхерсте (UMass) выявило, что углеродный след для обучения одной DNN примерно равен выбросам CO2 пяти автомобилей в течение всего срока службы.

Технология Early Bird позволяет сократить энергозатраты при обучении нейронных сетей в среднем в 10,7 раз, сохраняя уровень точности. Этого удалось достигнуть благодаря новому методу обучения и тренировки DNN, в рамках которого после обучения полной архитектуры крупной нейросети удаляются менее значимые элементы, после чего сеть обучается заново. Подход занимает несколько итераций, в течение которых модель становится более компактной и может работать на устройствах меньшей мощности, сохраняя высокий уровень сложности вычислений.

Хотите оперативно узнавать о выходе других полезных материалов на сайте "ГИС-Профи"?
Подписывайтесь на нашу страницу в Facebook.
Ставьте отметку "Нравится", и актуальная информация о важнейших событиях в энергетике России и мира появится в Вашей личной новостной ленте в социальной сети.