5.7 KiB
Einführung in das Reinforcement Learning
Reinforcement Learning, RL, wird als eines der grundlegenden Paradigmen des maschinellen Lernens angesehen, neben dem überwachten und unüberwachten Lernen. RL dreht sich um Entscheidungen: die richtigen Entscheidungen treffen oder zumindest aus ihnen lernen.
Stellen Sie sich vor, Sie haben eine simulierte Umgebung wie den Aktienmarkt. Was passiert, wenn Sie eine bestimmte Regulierung einführen? Hat dies eine positive oder negative Wirkung? Wenn etwas Negatives passiert, müssen Sie diese negative Verstärkung nutzen, daraus lernen und den Kurs ändern. Wenn es ein positives Ergebnis ist, müssen Sie darauf aufbauen und die positive Verstärkung nutzen.
Peter und seine Freunde müssen dem hungrigen Wolf entkommen! Bild von Jen Looper
Regionales Thema: Peter und der Wolf (Russland)
Peter und der Wolf ist ein musikalisches Märchen, geschrieben von dem russischen Komponisten Sergei Prokofjew. Es ist die Geschichte des jungen Pioniers Peter, der mutig sein Haus verlässt, um auf der Waldlichtung den Wolf zu jagen. In diesem Abschnitt werden wir maschinelle Lernalgorithmen trainieren, die Peter helfen:
- Die Umgebung erkunden und eine optimale Navigationskarte erstellen.
- Lernen, wie man ein Skateboard benutzt und darauf balanciert, um sich schneller fortzubewegen.
🎥 Klicken Sie auf das Bild oben, um Peter und der Wolf von Prokofjew zu hören.
Reinforcement Learning
In den vorherigen Abschnitten haben Sie zwei Beispiele für maschinelle Lernprobleme gesehen:
- Überwacht, bei dem wir Datensätze haben, die mögliche Lösungen für das Problem vorschlagen, das wir lösen möchten. Klassifikation und Regression sind Aufgaben des überwachten Lernens.
- Unüberwacht, bei dem wir keine gelabelten Trainingsdaten haben. Das Hauptbeispiel für unüberwachtes Lernen ist Clustering.
In diesem Abschnitt führen wir Sie in eine neue Art von Lernproblem ein, das keine gelabelten Trainingsdaten erfordert. Es gibt mehrere Arten solcher Probleme:
- Semi-überwachtes Lernen, bei dem wir viele ungelabelte Daten haben, die verwendet werden können, um das Modell vorzutrainieren.
- Reinforcement Learning, bei dem ein Agent lernt, sich zu verhalten, indem er Experimente in einer simulierten Umgebung durchführt.
Beispiel - Computerspiel
Angenommen, Sie möchten einem Computer beibringen, ein Spiel zu spielen, wie Schach oder Super Mario. Damit der Computer ein Spiel spielen kann, muss er vorhersagen, welchen Zug er in jedem Spielzustand machen soll. Obwohl dies wie ein Klassifikationsproblem erscheinen mag, ist es keines – denn wir haben keinen Datensatz mit Zuständen und entsprechenden Aktionen. Während wir einige Daten wie bestehende Schachpartien oder Aufzeichnungen von Spielern, die Super Mario spielen, haben könnten, ist es wahrscheinlich, dass diese Daten nicht ausreichend viele mögliche Zustände abdecken.
Anstatt nach bestehenden Spieldaten zu suchen, basiert Reinforcement Learning (RL) auf der Idee, dass der Computer das Spiel viele Male spielt und das Ergebnis beobachtet. Um Reinforcement Learning anzuwenden, benötigen wir daher zwei Dinge:
-
Eine Umgebung und einen Simulator, die es uns ermöglichen, ein Spiel viele Male zu spielen. Dieser Simulator würde alle Spielregeln sowie mögliche Zustände und Aktionen definieren.
-
Eine Belohnungsfunktion, die uns sagt, wie gut wir bei jedem Zug oder Spiel abgeschnitten haben.
Der Hauptunterschied zwischen anderen Arten des maschinellen Lernens und RL besteht darin, dass wir bei RL normalerweise nicht wissen, ob wir gewinnen oder verlieren, bis wir das Spiel beendet haben. Daher können wir nicht sagen, ob ein bestimmter Zug allein gut oder schlecht ist – wir erhalten die Belohnung erst am Ende des Spiels. Unser Ziel ist es, Algorithmen zu entwickeln, die es uns ermöglichen, ein Modell unter unsicheren Bedingungen zu trainieren. Wir werden einen RL-Algorithmus namens Q-Learning kennenlernen.
Lektionen
Credits
"Einführung in Reinforcement Learning" wurde mit ♥️ geschrieben von Dmitry Soshnikov
Haftungsausschluss:
Dieses Dokument wurde mit dem KI-Übersetzungsdienst Co-op Translator übersetzt. Obwohl wir uns um Genauigkeit bemühen, beachten Sie bitte, dass automatisierte Übersetzungen Fehler oder Ungenauigkeiten enthalten können. Das Originaldokument in seiner ursprünglichen Sprache sollte als maßgebliche Quelle betrachtet werden. Für kritische Informationen wird eine professionelle menschliche Übersetzung empfohlen. Wir übernehmen keine Haftung für Missverständnisse oder Fehlinterpretationen, die sich aus der Nutzung dieser Übersetzung ergeben.