Uczenie wzmocnione

Uczenie wzmocnione (ang. reinforcement learning, RL) jest dziedziną sztucznej inteligencji, w której agenci uczą się podejmować decyzje poprzez interakcję ze środowiskiem i maksymalizację otrzymywanej nagrody. W odróżnieniu od uczenia nadzorowanego i uczenia nienadzorowanego, uczenie wzmocnione nie wymaga jednoczesnego podawania pożądanych wyjść, lecz opiera się na obserwowaniu konsekwencji własnych działań.

Historia

Początki koncepcji uczenia wzmocnionego sięgają lat 1940 – 1950, kiedy to Richard Sutton i Andrew Barto sformułowali podstawowe definicje agent‑środowisko oraz wprowadzili pojęcie funkcji wartości. W latach 1990 opracowano pierwsze praktyczne algorytmy, takie jak Q‑learning i SARSA. Przełom nastąpił w drugiej dekadzie XXI wieku, gdy połączenie uczenia wzmocnionego z sieciami neuronowymi (tzw. deep reinforcement learning) umożliwiło osiągnięcie wyników przewyższających ludzkie umiejętności w grach takich jak Go (AlphaGo) czy Atari 2600 (DQN).

Podstawowe pojęcia

Agent – podmiot podejmujący akcje w środowisku.
Środowisko (model Markowa) – otoczenie, które reaguje na akcje agenta, zwracając stan i nagrodę.
Polityka (policy) – reguła określająca prawdopodobieństwo wyboru danej akcji w określonym stanie.
Funkcja wartości (value function) – szacuje oczekiwaną skumulowaną nagrodę od danego stanu lub stanu‑akcji.
Model – opcjonalny opis przejść między stanami (model dynamiki).

Formalny opis

Uczenie wzmocnione najczęściej formalizuje się jako proces decyzyjny Markowa (MDP) określony piątką (S, A, P, R, γ), gdzie:

S – zbiór możliwych stanów środowiska,
A – zbiór dostępnych akcji,
P – funkcja przejścia P(s'|s,a) opisująca prawdopodobieństwo przejścia do stanu s' po wykonaniu akcji a w stanie s,
R – funkcja nagrody R(s,a,s'),
γ – współczynnik dyskontowy (0 ≤ γ < 1) określający, jak bardzo przyszłe nagrody są deprecjonowane.

Algorytmy

Wyróżnia się dwa główne podejścia:

Metody wartość‑pierwsze (value‑based)

Q‑learning – uczenie bez modelu, aktualizuje wartość Q(s,a) na podstawie otrzymanej nagrody i maksymalnej przyszłej wartości.
SARSA – podobny do Q‑learning, ale wykorzystuje rzeczywistą akcję podjętą w następnym kroku, co zwiększa stabilność w środowiskach stochastycznych.
Deep Q‑Network (DQN) – połączenie Q‑learning z siecą neuronową jako aproksymatorem funkcji Q.

Metody polityka‑pierwsze (policy‑based)

Gradient polityki – bezpośrednia optymalizacja parametrów polityki przy użyciu estymatora gradientu.
Actor‑Critic – hybrydowe podejście łączące elementy value‑based i policy‑based; „aktor” generuje akcje, a „krytyk” ocenia ich wartość.
Proximal Policy Optimization (PPO) – stabilny algorytm optymalizacji polityki, szeroko stosowany w praktyce.

Metody oparte na modelu (model‑based)

Algorytmy takie jak Dyna uczą zarówno modelu środowiska, jak i polityki, wykorzystując symulacje w celu przyspieszenia nauki.

Zastosowania

Uczenie wzmocnione znajduje zastosowanie w wielu dziedzinach:

Gry i rozrywka – od klasycznych gier wideo (Atari, StarCraft) po gry planszowe (Go, szachy).
Robotyka – nauka chwytania przedmiotów, nawigacji autonomicznej i manipulacji w środowiskach dynamicznych.
Systemy rekomendacyjne – dynamiczne dopasowywanie treści do użytkownika w czasie rzeczywistym.
Finanse – optymalizacja portfela inwestycyjnego i algorytmy handlu wysokiej częstotliwości.
Transport – sterowanie ruchem pojazdów autonomicznych oraz optymalizacja tras logistycznych.
Zdrowie – dostosowywanie terapii w czasie rzeczywistym oraz optymalizacja protokołów badań klinicznych.

Wyzwania i kierunki badań

Stabilność i rozmiar próbek – wiele algorytmów wymaga ogromnych ilości interakcji ze środowiskiem, co jest kosztowne w rzeczywistych aplikacjach.
Bezpieczeństwo i etyka – konieczność zapewnienia, że agenci nie podejmują działań szkodliwych lub nieetycznych.
Transfer uczenia – zdolność przenoszenia wiedzy z jednego zadania na inne (transfer learning).
Interpretowalność – zrozumienie, dlaczego agent podejmuje określone decyzje.

Powiązane pojęcia

W encyklopedii dostępne są także artykuły powiązane:

Bibliografia

Sutton, R. S.; Barto, A. G. Reinforcement Learning: An Introduction. 2nd ed., MIT Press, 2018.
Mnih, V. et al. “Human‑level control through deep reinforcement learning”. Nature, 2015.
Silver, D. et al. “Mastering the game of Go with deep neural networks and tree search”. Nature, 2016.
Schulman, J. et al. “Proximal Policy Optimization Algorithms”. arXiv preprint, 2017.

Uczenie wzmocnione pozostaje jednym z najbardziej dynamicznie rozwijających się obszarów sztucznej inteligencji, łącząc teorię probabilistyczną, optymalizację i nowoczesne techniki aproksymacji funkcji.