KI nutzen

Wie unsere KI funktioniert

Eine KI, die sich auf bonk.io selbst das Fußballspielen beigebracht hat, in Millionen Spielen gegen sich selbst, mit der echten Spielphysik.

Die Räume „| IA | BONKTOOLS |“ hatten einen Spieler, der kein Mensch war: eine künstliche Intelligenz, die Fußball von null gelernt hat. Niemand hat „lauf zum Ball und schieß“ programmiert. Sie hat durch Versuch und Irrtum gelernt, in Millionen von Spielzügen, und ist von selbst besser geworden.

Dieser Reiter erklärt alles: wie sie funktioniert, wie du die fertigen Modelle herunterlädst, wie du sie in deinen Raum bringst und wie du deine eigene KI trainierst.

Die Idee in einem Satz

Die KI schaut sich das Spiel an (39 Zahlen), wählt eine Taste (18 Möglichkeiten) und bekommt Punkte, wenn sie etwas Gutes macht (ein Tor), und verliert Punkte, wenn sie etwas Schlechtes macht (ein Gegentor). Nach Millionen Versuchen lernt sie, das zu tun, was die meisten Punkte bringt.

Das nennt man bestärkendes Lernen (Reinforcement Learning, RL). Unser Algorithmus ist PPO, derselbe wie bei Rocket-League-Bots und in vielen Spielen.

Die Teile

text
          ┌────────── TRAINING (Python, auf deinem PC oder einem Server) ─────────┐
          │                                                                       │
          │  ECHTE bonk.io-Physik  ◄── Node-Brücke ──►  Umgebung (Gymnasium)      │
          │  (PhysicsSimulator der Lib)                    │ Beobachtung + Punkte │
          │                                                ▼                      │
          │                                     PPO (stable-baselines3)           │
          │                                                │                      │
          └────────────────────────────────────────────────┼──────────────────────┘
                                                           ▼
                                                    policy.json (das „Gehirn“ der KI, ~430 KB)
                                                           │
          ┌───────────── RAUM (Node, ohne Python) ─────────┼──────────────────────┐
          │  ScoreTracker ─► Zustand ─► Beobachtung ─► Netz ─► Tasten ─► Raum     │
          └───────────────────────────────────────────────────────────────────────┘
  1. Die echte Physik. Die Bibliothek bonktools führt die Physik des Spiels selbst aus, ohne Browser und viel schneller als in Echtzeit. Die KI trainiert im selben Spiel, in dem sie später spielt.
  2. Die Umgebung macht aus dem Spiel eine „Übung“, die die KI versteht: Ein Spielzug beginnt, sie entscheidet alle 100 ms, der Spielzug endet mit einem Tor.
  3. PPO passt das neuronale Netz so an, dass es wiederholt, was Punkte gebracht hat.
  4. Die policy.json ist das trainierte Netz. Es läuft in reinem JavaScript im Raum: kein Python und keine Grafikkarte nötig.

Was die KI „sieht“

Bei jeder Entscheidung bekommt die KI 39 Zahlen (die „Beobachtung“), alle aus ihrer Sicht und immer so, als würde sie nach rechts angreifen (spielt sie Rot, wird das Feld gespiegelt):

  • ihre Position und Geschwindigkeit, die des Balls und des Gegners;
  • wo der Ball relativ zu ihr, zum Gegner und zu beiden Toren ist;
  • Abstände zu den Pfosten und Wänden;
  • ob der Ball zwischen ihr und dem gegnerischen Tor liegt (sie kann schießen) oder ob sie zwischen Ball und eigenem Tor steht (sie verteidigt);
  • ob sie und der Gegner gerade schießen können;
  • wie lange es noch dauert, bis der Anstoß freigegeben wird.

Details unter Was die KI sieht und wie sie Punkte sammelt.

Was die KI „tut“

18 Aktionen: 9 Richtungen (inklusive Stehenbleiben) × schießen oder nicht. Alle 100 ms wählt sie eine. Das ähnelt dem Tempo eines menschlichen Spielers: Niemand wechselt 30-mal pro Sekunde die Taste.

Wie sie gelernt hat

Das Training ist ein Lehrplan, wie in der Schule: Es beginnt leicht und wird schwieriger.

StufeÜbungBestanden, wenn
1Leeres Tor: Ball irgendwo, stehender Gegner weit wegTrifft in 80 % der Spielzüge
2Stehender Gegner im WegTrifft in 70 % der Spielzüge
3Echtes Spiel: Skript-Gegner oder eine ältere Version ihrer selbstEndet nie: sie wird immer besser

Gegen ältere Versionen ihrer selbst zu spielen (Self-Play), lässt die KI immer besser werden: Der Gegner steigt mit ihr im Niveau.

Zahlen des veröffentlichten Modells

Trainingsschritte182 Millionen (jeder Schritt = 100 ms Spiel ≈ 210 Tage rollender Ball)
Netz39 → 256 → 256 → 18 (tanh), ~430 KB
Gegen das stärkste Skript95 Tore, 2 Gegentore in 100 Spielzügen (mit den „Augen“ des Raums)
Gegen MenschenMacht Anfängern das Leben schwer; erfahrene Spieler finden die Lücken und gewinnen die meisten Spiele (siehe Was wir gelernt haben)
KostenNull API-Kosten: nur CPU. Trainiert auf kostenlosen Oracle-Maschinen und einem normalen PC

Wie es weitergeht