ResNet (Residual Network)

ResNet (z ang. Residual Network) to rodzina głębokich sieci neuronowych zaprojektowanych do rozwiązywania problemu zanikania gradientu w bardzo głębokich architekturach. Najważniejszą innowacją ResNet jest wprowadzenie połączeń skrótowych (skip connections) umożliwiających bezpośredni przepływ informacji pomiędzy warstwami, co pozwala na skuteczne uczenie sieci liczących setki warstw.

Historia

Sieć ResNet została zaprezentowana w 2015 roku przez Kaiminga He i współpracowników w pracy zatytułowanej „Deep Residual Learning for Image Recognition”. W konkursie ImageNet w 2015 roku model ResNet‑152 osiągnął pierwsze miejsce w klasyfikacji obrazów, wyprzedzając poprzednie architektury takie jak AlexNet czy VGG. To wydarzenie zapoczątkowało szerokie zainteresowanie głębokim uczeniem i przyczyniło się do rozwoju kolejnych, jeszcze głębszych modeli.

Architektura

Podstawowa jednostka ResNet to tzw. blok resztkowy (residual block), składający się z dwóch lub trzech warstw konwolucyjnych połączonych sumą z wejściem bloku:

• Warstwa konwolucyjna (zwykle 3×3) z odpowiednią liczbą filtrów,
• warstwa normalizacji wsadowej (Batch Normalization),
• funkcja aktywacji (często ReLU).

Wynik przejścia przez te warstwy jest dodawany do oryginalnego wejścia bloku (skip connection). Dzięki temu gradienty podczas propagacji wstecznej mogą przepływać zarówno przez ścieżkę główną, jak i skrótową, co znacznie stabilizuje proces uczenia.

Warianty ResNet

Podstawowe modele ResNet różnią się liczbą warstw:

• ResNet‑18 – 18 warstw, przeznaczony do mniejszych zadań i szybkiego trenowania,
• ResNet‑34 – 34 warstwy, zachowuje prostotę architektury,
• ResNet‑50 – 50 warstw, wprowadza bottleneck‑bloki (1×1, 3×3, 1×1),
• ResNet‑101 – 101 warstw, popularny w badaniach,
• ResNet‑152 – 152 warstwy, wykorzystywany w najbardziej wymagających aplikacjach.

Znaczenie połączeń skrótowych

Połączenia skrótowe spełniają dwie kluczowe funkcje:

1. Ułatwienie przepływu gradientu – umożliwiają gradientom omijanie wielu warstw, co łagodzi problem zanikania (ang. vanishing gradient).
2. Umożliwienie uczenia się funkcji reszty – zamiast uczyć się pełnej transformacji H(x), sieć uczy się różnicy F(x)=H(x)-x, co w praktyce okazuje się łatwiejsze do optymalizacji.

Trening i optymalizacja

Standardowy proces treningu ResNet obejmuje:

• inicjalizację wag metodą He,
• optymalizator SGD z momentum lub Adam,
• strategię zmniejszania współczynnika uczenia (np. step decay lub cosine annealing),
• augmentację danych (obrót, przycięcie, odwrócenie) w celu zwiększenia odporności modelu.

Zastosowania

Ze względu na swoją elastyczność i wysoką jakość reprezentacji, modele ResNet znalazły zastosowanie w wielu dziedzinach:

• Klasyfikacja obrazów – bazowy model w benchmarkach ImageNet,
• Detekcja obiektów – jako backbone w architekturach Faster R‑CNN, YOLO,
• Segmentacja semantyczna – w sieciach typu FCN czy DeepLab,
• Uczenie przenoszone (transfer learning) – pre‑trenowane wagi ResNet wykorzystywane do adaptacji na nowych zestawach danych,
• Rozpoznawanie mowy, analiza tekstu oraz medycyna obrazowa.

Rozszerzenia i pokrewne architektury

Po sukcesie ResNet powstało wiele wariantów i koncepcji inspirowanych połączeniami skrótowymi:

• ResNeXt – wprowadza grupową konwolucję (cardinality) zwiększającą pojemność modelu,
• DenseNet – łączy wszystkie poprzednie warstwy z każdą następną, tworząc gęstą siatkę połączeń,
• Wide‑ResNet – zwiększa liczbę filtrów zamiast głębokości, co przyspiesza trening przy zachowaniu jakości,
• EfficientNet – wykorzystuje skalowanie sieci w trzech wymiarach (głębokość, szerokość, rozdzielczość) i opiera się na idei residualnych połączeń.

Wpływ na dalszy rozwój sztucznej inteligencji

ResNet otworzył drogę do projektowania bardzo głębokich modeli, które wcześniej były niepraktyczne ze względu na problemy z uczeniem. Dzięki temu stał się fundamentem nowoczesnych systemów deep learning, a jego koncepcja jest wykorzystywana nie tylko w wizji komputerowej, ale także w przetwarzaniu języka naturalnego i innych dziedzinach sztucznej inteligencji.

Bibliografia

1. He, K., Zhang, X., Ren, S., Sun, J. „Deep Residual Learning for Image Recognition”, Proceedings of the IEEE CVPR, 2016.
2. Szegedy, C., Vanhoucke, V., Ioffe, S., et al. „Rethinking the Inception Architecture for Computer Vision”, CVPR, 2016.
3. Huang, G., Liu, Z., Van Der Maaten, L., Weinberger, K. „Densely Connected Convolutional Networks”, CVPR, 2017.

Artykuł opracowany na podstawie dostępnych źródeł naukowych i ma charakter encyklopedyczny.