Исследователи выяснили, что происходит внутри нейросети

Нейросети могут решать сложные задачи, но то, как они принимают решения, до сих пор было неизвестно. Ученые разработали инструмент, который позволяет «заглянуть в голову» искусственному интеллекту

Как и у людей, у искусственного интеллекта развитие строится на опыте. Вот почему действия искусственного интеллекта иногда застают нас врасплох, и существует бесчисленное множество примеров того, как программы ведут себя сексистски, расистски или просто неуместно. Но то,  что мы можем разработать алгоритм, позволяющий искусственному интеллекту находить закономерности в данных для наилучшего решения задачи, не означает, что мы понимаем, какие закономерности он находит.

Нейросети во многом были черными ящиками для ученых — исследователи вводили в них исходные данные и получали на выходе результат. Например, программу можно научить находить котиков на фото, но вот как она делает это после обучения, не понятно. В новом исследовании ученые разработали способ, при помощи которого можно заглянуть внутрь нейросетей.

Для решения этой задачи авторы использовали математику, разработанную в XVIII веке для составления карт. Эти классические геометрические модели нашли новое применение в машинном обучении, где они могут быть использованы для составления карты «движения данных». Такая карта позволяет отследить, как перемещалась информация и, таким образом, понять процесс обработки исходных сигналов нейросетью.

Во многих случаях промышленность воздерживается от использования искусственного интеллекта, особенно в тех областях производства, где безопасность является решающим параметром. Специалисты опасаются потерять контроль над системой, чтобы не произошло несчастных случаев или ошибок, если алгоритм столкнется с ситуациями, действиями в которых он не был обучен. Из-за неправильного понимания того, как все устроено, программа может создать угрозу для производства и работающих на нем людей.

Новое исследование возвращает часть утраченного контроля над искусственным интеллектом. Это, в свою очередь. повышает вероятность того, что мы будем применять нейросети и машинное обучение в областях, в которые сегодня боимся встраивать компьютерные алгоритмы.

Препринт статьи доступен на сайте arXiv.org.