Защита интеллектуальных систем на уровне фреймворка для машинного обучения

Defending smart systems on the machine learning framework level

Несмотря на рост популярности умных городов и умных домов, мало кто из специалистов и сообществ специалистов по ИТ и машинному обучению знает достаточно о TensorFlow, PyTorch или Theano. Это фреймворки машинного обучения с открытым исходным кодом, на которых построены интеллектуальные системы для интеграции, кроме всего прочего, устройств Интернета вещей (IoT).

Алгоритмы и коды машинного обучения часто можно найти в общедоступных фондах или хранилищах данных, которые в значительной степени зависят от вышеупомянутых фреймворков. Из-за популярности этих фреймворков любая уязвимость в них может привести к серьезному ущербу.

Профессор факультета информационных систем Сингапурского университета менеджмента (SMU) Дэвид Ло поясняет: «Фреймворки машинного обучения используются для создания и запуска обученных моделей машинного обучения. Уязвимость в фреймворках машинного обучения потенциально может трансформироваться в уязвимости во всех обученных моделях машинного обучения, которые созданы им или запущены на нем. В качестве аналогии можно представить себе уязвимость в операционной системе; эта уязвимость может повлиять на все ПО, которое функционирует на этой операционной системе».

Это сподвигло профессора Ло к проведению исследовательского проекта «Выявление уязвимостей в фреймворках машинного обучения с помощью определения состава ПО и управляемого анализа предельных значений на научной основе», который направлен на решение этой проблемы, а именно на устранение недостатков в выявлении уязвимостей в фреймворках машинного обучения. Суть проекта состоит в том, чтобы установить различия уязвимостей, которые не могут быть использованы хакерами для атаки на систему ПО (ложные срабатывания), от уязвимостей, которые могут быть использованы. Таким образом, эксперты по кибербезопасности могут не тратить время на ложные срабатывания, а, вместо этого, сосредоточиться на исправлении уязвимостей, которые являются исполняемыми. Кроме того, решение профессора Ло стремится «автоматически идентифицировать уязвимые закономерности в проекте, чтобы разработчики могли спокойно продолжать использовать библиотеки сторонних производителей».