Как работает нейросеть
Нейросеть получает данные в виде чисел и проводит их через цепочку вычислений. В этих вычислениях участвуют веса и смещения - параметры, которые настраиваются при обучении. В одном из способов обучения результат сравнивают с известным правильным ответом, вычисляют ошибку и меняют веса и смещения. Затем сеть обычно использует их готовые значения для новых запросов. Чтобы проверить, усвоила ли она полезные закономерности, ей дают примеры, на которых её не обучали.
ДУМАЙ 12+
Как устроена нейросеть
Для вычислений фотографию, звук или текст нужно представить числами. У изображения можно взять значения яркости и цвета пикселей. Текст сначала делят на небольшие фрагменты - токены, затем представляют каждый токен набором чисел. Дальше сеть работает с этими числами.
Возьмём простую сеть прямого распространения: данные в ней идут от входа к выходу, слой за слоем. Входной слой принимает числа. Между ним и выходным слоем находятся скрытые слои. Такое название связано с тем, что в них происходят внутренние вычисления сети. Человек не задаёт каждому скрытому узлу понятную роль вроде «найти усы» или «узнать кошку». Бывает трудно объяснить, какую роль выполняет отдельный узел.
В полносвязном слое каждый узел получает результаты всех узлов предыдущего слоя. Выходной слой формирует результат: например, числовой прогноз или оценки для разных классов изображений. У современных сетей бывают другие связи и блоки. Такая простая схема помогает понять вычисления, но не описывает устройство любой модели целиком.
Как работает нейросеть простыми словами: считаем один узел
Узел, который ещё называют искусственным нейроном, выполняет небольшой расчёт. Каждый вход умножается на свой вес. Вес - коэффициент, на который умножается вход. Значение и знак произведения зависят и от веса, и от самого входа. Затем к сумме добавляется смещение - отдельный настраиваемый параметр.
Мы выбрали произвольные числа для учебного примера. На вход подаются числа 2 и 1, веса равны 0,5 и −0,25, смещение равно 0,1. Расчёт можно повторить на бумаге:
- Первый вход умножаем на его вес: 2 × 0,5 = 1.
- Второй вход умножаем на его вес: 1 × (−0,25) = −0,25.
- Складываем и прибавляем смещение: 1 − 0,25 + 0,1 = 0,85.
Затем применяется функция активации - правило, которое преобразует полученную сумму. Для примера возьмём ReLU: она заменяет отрицательное число нулём, а неотрицательное оставляет как есть, включая ноль. Поэтому результат работы нашего узла — 0,85. Это промежуточное число. Считать его вероятностью 85% нельзя; пример не относится к обученной модели.
Функция активации позволяет учитывать нелинейные зависимости. Если несколько слоёв подряд только умножают числа на веса и складывают их, всю цепочку можно свести к одному такому преобразованию. Нелинейная активация позволяет сети описывать более сложные связи между входом и результатом. ReLU - один из вариантов; преобразование на выходе выбирают под задачу, и результат сети не обязан быть вероятностью.
Можно изменить в нашем примере первый вес с 0,5 на 0,6. Тогда сумма станет 1,05. Так видно, что настройка одного параметра меняет результат вычисления. Мы изменили число вручную; настоящее обучение требует способа оценить, полезно ли такое изменение.
Как она учится
При обучении с учителем нужны примеры с известными целевыми ответами. Допустим, сеть должна различать изображения кошек и собак. Для каждой учебной фотографии подготовлена метка с правильным классом. Один цикл настройки состоит из нескольких действий:
- Сеть обрабатывает пример и выдаёт прогноз.
- Функция потерь сравнивает прогноз с целевым ответом и выражает расхождение числом.
- Обратное распространение ошибки вычисляет градиенты - величины, показывающие, как изменение параметров влияет на значение функции потерь.
- Оптимизатор использует градиенты и обновляет веса и смещения.
Эти действия повторяются на множестве примеров, часто собранных в небольшие группы. Размер изменения тоже имеет значение: слишком большое изменение параметров может ухудшить результат. Один шаг не обязан уменьшать ошибку на каждой фотографии. При настройке оценивают, как меняется качество работы модели в целом.
Обучение с учителем - один из способов обучать сети. Когда готовая модель отвечает на запрос, обычно идёт инференс: вычисление результата с уже настроенными весами. Сам по себе новый вопрос в чате не означает, что веса модели тут же изменились.
Почему проверяют на новых данных
Хорошие ответы на учебных примерах ещё не доказывают, что сеть справится с другими. При переобучении модель слишком подстраивается под особенности обучающих данных, включая случайные детали. Из-за этого на новых примерах она может работать хуже.
Данные разделяют на части. Обучающую используют для настройки весов. Валидационная помогает выбирать настройки обучения и варианты модели. Тестовая нужна для итоговой оценки выбранной модели. Если постоянно подбирать решения по тестовой части, она перестаёт служить независимой проверкой. Подмешивать её в обучение тоже нельзя.
Нейросеть и искусственный интеллект
Нейросеть - это один из методов машинного обучения, которое входит в более широкую область искусственного интеллекта. Название связано с идеей соединённых нейронов, но такая программа не является буквальной копией мозга. Вычисления узлов сами по себе не свидетельствуют о сознании. Для небольшой модели может хватить обычного компьютера; ресурсы зависят от её размера и задачи.
После расчёта одного узла можно обсудить с родителем, что меняется при другом весе и зачем нужны отдельные данные для проверки. Такой разговор помогает отделить понятную арифметику от предположений о возможностях программы.
Для продолжения темы у ДУМАЙ 12+ есть бесплатная подборка «Будущее уже началось»: пять материалов об ИИ, энергетике будущего, роботах и квантовых компьютерах. Её можно выбрать, чтобы после устройства нейросети познакомиться с другими технологиями.
Источники
12:54
Смотрите также