Исследователи выразили найденный принцип через формулы, опираясь на свойства фракталов — математических структур, повторяющих сами себя. Расчеты показали, что скорость, с которой учится модель, жестко связана с предсказуемостью ее поведения. Эта зависимость ставит фундаментальный предел возможностям создания новых систем ИИ.

Ученые изучили 500 тысяч сравнительно простых нейросетей, задачей которых было узнавать изображения и тексты. Они сопоставляли не только ход обучения, но и последующую работу моделей. При совпадении всех внешних обстоятельств обучение все равно могло давать резко различающиеся итоги.

Чтобы получить серьезное расхождение, хватало минимального вмешательства во внутренние параметры на этапе начальной настройки. Изменение всего одного бита у одной переменной влияло на обучение не слабее, чем внешние обстоятельства. Источник такой чувствительности ученые обнаружили в математическом устройстве нейросетей, а не в качестве оборудования или составе учебных данных.

Профессор Сиднейского университета Гун Пулинь рассказал, что прежде нестабильность объясняли случайными воздействиями извне. В числе причин рассматривали порядок, в котором модель получает данные, а также особенности вычислительных систем, вызывающие разброс в расчетах. По словам профессора, новое исследование выявило более глубокую основу проблемы.

Непредсказуемость касается как первого обучения, так и переобучения. Математики отметили, что она препятствует воспроизведению моделей из прежних исследований и разработок, а также заметно ограничивает возможности доработки существующих нейросетей.

Источник: ТАСС