Lenet архитектура

Архитектура LeNet — одна из первых успешных свёрточных нейронных сетей, заложившая основы современного глубокого обучения в компьютерном зрении. Разработанная Янн ЛеКуном в конце 1980-х годов, она доказала эффективность свёрточных слоёв для распознавания рукописных символов и стала отправной точкой для последующих прорывов в области искусственного интеллекта. Сегодня LeNet остаётся важным образовательным инструментом и эталоном для понимания базовых принципов работы CNN.

LeNet: история создания

В конце 1980-х годов задача автоматического распознавания рукописных цифр стояла особенно остро — банки и почтовые службы нуждались в быстром и точном чтении чисел на чеках и конвертах. Традиционные методы машинного обучения, такие как метод ближайших соседей или SVM, плохо справлялись с вариативностью почерка. Именно тогда группа исследователей под руководством Янна ЛеКуна в Bell Labs начала разработку новой архитектуры, основанной на свёрточных нейронных сетях.
Первая версия, известная как LeNet-1, была представлена в 1989 году. Она использовала свёрточные фильтры для выделения признаков и объединённые слои для уменьшения размерности. Позже архитектура была усовершенствована, что привело к появлению LeNet-5 в 1998 году — самой известной и повсеместно цитируемой версии. LeNet-5 успешно применялась в коммерческих системах, таких как прочтение номеров чеков в Citibank.

Интересно, что идеи LeNet долгое время оставались в тени из-за ограниченной вычислительной мощности и недостатка данных. Лишь спустя два десятилетия, с появлением GPU и крупных датасетов вроде ImageNet, свёрточные сети получили широкое распространение. Тем не менее, сегодня LeNet признаётся как «Hello, World» глубокого обучения в CV.

Архитектура LeNet

LeNet-5 состоит из чередующихся свёрточных, подвыборочных (пулинговых) и полносвязных слоёв. Всего в модели семь слоёв с обучаемыми параметрами. Архитектура оптимизирована под обработку монохромных изображений размером 32×32 пикселя, что соответствовало формату входных данных MNIST.
Основные компоненты LeNet-5:

• Свёрточные слои (C) — выполняют локальную фильтрацию изображения для выявления признаков (например, границ, углов).
• Подвыборочные слои (S) — снижают размерность карт признаков, сохраняя наиболее значимую информацию.
• Полносвязные слои (F) — классифицируют данные на основе признаков, извлечённых ранее.

Входное изображение проходит через серию преобразований: C1 → S2 → C3 → S4 → C5 → F6 → F7 (выход). Каждый шаг имеет строгое назначение и математическую интерпретацию. Например, первый свёрточный слой (C1) использует шесть фильтров 5×5, генерируя шесть карт признаков размером 28×28.

Структура слоёв LeNet-5

Обратите внимание: последний слой (F7) выдаёт вероятности принадлежности к одному из 10 классов (цифры от 0 до 9). Функция softmax обеспечивает нормализацию выхода в виде распределения вероятностей.

Как работает LeNet: пошаговый разбор

Представьте, что вы подаёте на вход изображение цифры «3» размером 32×32. Как модель узнаёт, что это именно тройка? Давайте проследим путь сигнала через каждый слой.

1. Слой C1 (свёртка): ядро 5×5 скользит по изображению, выделяя простые признаки — вертикальные и горизонтальные линии. Генерируется 6 карт признаков.
2. Слой S2 (пулинг): каждая карта уменьшается вдвое (2×2 окно), сохраняются усреднённые значения. Это делает модель устойчивой к мелким сдвигам.
3. Слой C3 (свёртка): теперь фильтры работают с предыдущими картами. Некоторые фильтры соединены не со всеми картами S2 — это позволяет выделять более сложные комбинации признаков.
4. Слой S4: ещё одно усреднение. Размер карт становится 5×5, но количество увеличивается до 16.
5. Слой C5: финальная свёртка. На этом этапе карты становятся очень маленькими (1×1), но содержат уже высокоуровневые признаки.
6. Слой F6: полносвязный слой преобразует 120 признаков в 84 нейрона — своего рода «код» цифры.
7. Слой F7: выходной слой сравнивает код с эталонами и выбирает наиболее вероятный класс.

Каждый шаг можно сравнить с работой человеческого зрения: сначала мы замечаем контуры, затем формы, потом распознаём объект. LeNet имитирует эту иерархию.

Принцип разделения респонсивности

Один из ключевых инсайтов LeNet — использование локальных рецептивных полей. В отличие от полносвязных сетей, где каждый нейрон связан со всеми пикселями, свёрточные слои анализируют лишь небольшие участки. Это даёт три преимущества:

• Снижение числа параметров (меньше переобучения).
• Инвариантность к положению объекта на изображении.
• Выявление локальных паттернов, которые повторяются в разных частях картинки.

Например, вертикальная линия в верхнем левом углу и в правом нижнем обрабатывается одинаково благодаря shared weights — одинаковым весам фильтра во всех позициях.

Примеры реализации LeNet

LeNet легко воспроизвести на современных фреймворках. Ниже — пример на PyTorch:
«`python
import torch.nn as nn
class LeNet5(nn.Module):
def __init__(self):
super(LeNet5, self).__init__()
self.c1 = nn.Conv2d(1, 6, kernel_size=5)
self.s2 = nn.AvgPool2d(2)
self.c3 = nn.Conv2d(6, 16, kernel_size=5)
self.s4 = nn.AvgPool2d(2)
self.c5 = nn.Conv2d(16, 120, kernel_size=5)
self.f6 = nn.Linear(120, 84)
self.f7 = nn.Linear(84, 10)
self.tanh = nn.Tanh()
self.softmax = nn.Softmax(dim=1)
def forward(self, x):
x = self.tanh(self.c1(x))
x = self.s2(x)
x = self.tanh(self.c3(x))
x = self.s4(x)
x = self.tanh(self.c5(x))
x = x.view(x.size(0), -1)
x = self.tanh(self.f6(x))
x = self.softmax(self.f7(x))
return x
«`
Модель достигает точности около 98–99% на датасете MNIST. Для современных задач этого мало, но для 1998 года это был прорыв.

Реализация на Keras (TensorFlow)

«`python
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, AveragePooling2D, Flatten, Dense
model = Sequential([
Conv2D(6, kernel_size=5, activation=’tanh’, input_shape=(32,32,1)),
AveragePooling2D(pool_size=2, strides=2),
Conv2D(16, kernel_size=5, activation=’tanh’),
AveragePooling2D(pool_size=2, strides=2),
Conv2D(120, kernel_size=5, activation=’tanh’),
Flatten(),
Dense(84, activation=’tanh’),
Dense(10, activation=’softmax’)
])
«`
Такой код можно запустить за считанные минуты, даже на CPU. Это делает LeNet идеальной для обучения студентов и тестирования новых подходов.

Ошибки и ограничения LeNet

Несмотря на историческое значение, LeNet имеет ряд недостатков, которые делают её непригодной для современных задач.

• Малая глубина: всего 5 слоёв с параметрами. Современные сети (ResNet, EfficientNet) имеют сотни слоёв.
• Устаревшие функции активации: tanh и softmax уступают ReLU и cross-entropy по скорости сходимости.
• Ограниченный размер входа: требует жёстко заданный размер 32×32, что неудобно при работе с реальными изображениями.
• Чувствительность к масштабированию: если цифра слишком большая или маленькая, точность падает.

Также LeNet плохо обобщает на другие классы объектов — например, на лица или животных. Это связано с тем, что признаки слишком специализированы под цифры.

Типичные ошибки при использовании

• Неправильная нормализация входа: LeNet ожидает пиксели в диапазоне [0, 1] или [-1, 1], но часто подают [0, 255].
• Отсутствие предобработки: не все приводят изображение к 32×32, что ломает архитектуру.
• Использование max pooling вместо average: хотя это возможно, оригинальная модель использует среднее, и замена может изменить поведение.
• Переоценка производительности: высокая точность на MNIST не означает применимость к другим данным.

Экспертное мнение

LeNet следует рассматривать не как инструмент для production, а как педагогический и исторический эталон. Её ценность — в ясности архитектуры и интерпретируемости слоёв. Современные сети, хоть и мощнее, часто являются «чёрными ящиками», тогда как в LeNet можно визуализировать, что именно видит каждый фильтр.
Для практики рекомендуется использовать LeNet как базовую модель при сравнении новых методов. Например, при тестировании нового алгоритма инициализации весов или оптимизатора, LeNet даёт стабильный и предсказуемый бенчмарк.
Также важно помнить: успех LeNet был обусловлен не только архитектурой, но и качественным датасетом (MNIST). Это подчёркивает принцип: хороший датасет + простая модель > плохой датасет + сложная модель.

Вопросы и ответы

Заключение

LeNet — это не просто архитектура, а фундаментальный шаг в эволюции искусственного интеллекта. Она доказала, что машины могут учиться распознавать визуальные паттерны без явного программирования. Хотя сегодня она устарела с технической точки зрения, её концепции остаются актуальными.

• LeNet-5 — первая успешная свёрточная сеть для распознавания рукописных цифр.
• Архитектура сочетает свёртку, пулинг и полносвязные слои в иерархической структуре.
• Модель эффективна на MNIST, но не подходит для сложных задач компьютерного зрения.
• LeNet остаётся важным инструментом для обучения и исследований.
• Её принципы легли в основу всех современных CNN, от AlexNet до Vision Transformers.