KI trainieren

Was wir gelernt haben

Fehler und Erfolge aus Monaten Training und Betrieb einer KI, die gegen Menschen spielt, mit Zahlen.

Alles auf dieser Seite wurde gemessen, fast immer auf die harte Tour. Lies sie, bevor du eine Belohnung, ein Szenario oder den Raum änderst: Das spart Wochen.

1. Der Maßstab ist der Mensch, nicht der Simulator

Dreimal sagte der Simulator „besser geworden“, und gegen Menschen wurde die KI schlechter:

ÄnderungIm SimulatorGegen Menschen
Menschen stark imitierenSchlechter(vorher verworfen)
Fester Bonus pro BerührungNormale ToreHörte auf zu schießen (Schüsse nahe am Ball: 24 % → 2 %)
Ausgefeilte Belohnungen + „Anti-Kreisen“Fast überall besserLeichter zu schlagen: übereifrig, leicht auszudribbeln, verteidigt schlecht

Die Vertrauensreihenfolge, die wir übernommen haben:

  1. Du selbst, wenn du gegen sie spielst (am zuverlässigsten).
  2. Statistiken aus den echten Spielen, die im Raum aufgezeichnet wurden.
  3. Die KI in echten Situationen (Positionen aus den Spielen).
  4. Der Simulator (nützlich, um Schlechtes auszusortieren, nicht um zu beweisen, dass etwas gut ist).

2. Die Wahrnehmungsverzögerung ist live der größte Faktor

  • Der automatische Spielstand läuft absichtlich 200 ms hinterher. Ein Modell, das mit perfekter Sicht trainiert wurde und mit 200 ms Verzögerung spielte, verlor alle 20 Test-Anstöße gegen einen Stürmer, der direkt schießt (ohne Verzögerung: alle 20 gewonnen).
  • Erste Korrektur: den Zustand projizieren (Position + Geschwindigkeit × 0,2 s). Große Verbesserung.
  • Endgültige Korrektur: die „Augen“, eine zweite Simulation ohne Verzögerung, und ein Training, das das Spiel genauso sieht. In echten Spielen gemessen, passten die Entscheidungen dann zum Zustand von 0–100 ms vorher, und die Spieler merkten den Unterschied sofort.

Fazit: Training und Raum müssen das Spiel gleich sehen. Jeder Unterschied (Verzögerung, Skalierung, ein Vorzeichen) lässt die KI ohne jeden Fehler schlecht spielen.

3. „Um den Ball kreisen“ lag nicht an der Ballgröße

Die KI kreiste um den Ball, ohne ihn zu berühren. Gemessen: Ihr Wenderadius war so groß wie der von Menschen (3,8 gegenüber 3,6 Einheiten). Das Problem war Dynamik: Sie lief dorthin, wo der Ball war, schoss darüber hinaus und kam in einer Kurve zurück, und die Verzögerung verschlimmerte alles. Die neuen Zahlen in der Beobachtung (Ballgeschwindigkeit relativ zu ihr, Abstand zu den Wänden) halfen mehr als jede Belohnung.

4. Zickzack: entscheide Achse für Achse

Mit dem Argmax (der Aktion mit der höchsten Note) wechselte die KI zwischen fast gleichauf liegendem „diagonal hoch“ und „diagonal runter“: 42 Wechsel pro Minute in echten Spielen, gegenüber ~1 bei Menschen. Die Lösung: jede Achse einzeln entscheiden, mit einer Schwelle für das Umkehren der Richtung, plus kleine Kosten in der Belohnung fürs Umkehren. Sie lief danach geradeaus.

5. Entscheide im selben Takt wie im Training

Wir ließen die KI im Raum jeden Frame (33 ms) entscheiden, um „schneller zu reagieren“. Auf 100 ms trainiert, schickte sie plötzlich Tasten, die nur einen Frame dauerten, und „fiel um, ohne zu wissen, wie man spielt“. Nach Minuten zurückgenommen. Trainingstakt = Raumtakt.

6. Der Simulator hat nicht die richtigen Gegner

  • Skripte, ältere Versionen und sogar ein Menschen-Klon (ein Netz, das darauf trainiert wurde, menschliche Spielzüge zu imitieren) sind schwach: Die KI schlug den Klon in 95–100 % der Fälle. Menschen gewannen die meisten echten Spiele.
  • Niemand im Simulator dribbelt wie Menschen, also zeigte der Simulator nie, dass die KI „leicht auszudribbeln“ war.
  • Menschliche Anstoßtore kommen fast immer von dem, der zuerst berührt und direkt schießt: Wir haben einen Gegner gebaut, der genau das tut.
  • Die am meisten ausgenutzte Lücke: Die KI trägt den Ball in die Angriffsecke, er prallt von der Wand neben dem Pfosten ab, die KI bleibt hinten und der Mensch zieht mit freiem Feld davon. Innerhalb weniger Tage hatten die Spieler den Spielzug gelernt, und er stieg von 4–10 % auf 27 % der menschlichen Tore. Spieler lernen schnell: Die KI braucht Szenarien aus echten Spielen, um mitzuhalten.

7. Produktion

  • Lecke Verbindungen legen einen Raum langsam lahm. WebRTC-Verbindungen von Spielern, die gegangen waren, blieben offen: CPU von 12 % auf 86 % und Speicher von 259 auf 472 MB in 40 Minuten, und der Bot „flog“ vor Lag. In der Bibliothek behoben (0.2.7).
  • Wechsle das Modell, ohne den Raum neu zu starten (Datei jede Minute neu lesen); neuen Code nur bei leerem Raum.
  • Behalte alle Versionen des Modells. Mehrmals sind wir zu einem früheren Modell zurückgekehrt, das besser gegen Menschen spielte.
  • A/B-Test pro Spieler: Um zwei Modelle zu vergleichen, wechsle das Modell pro Spieler (A, B, A, B in den Spielen jedes Einzelnen), nicht pro Spiel. Beim Wechsel pro Spiel bekamen zwei Spieler, die sich mit Warteschlange abwechselten, jeweils immer dasselbe Modell.

8. Was wir noch nicht gelöst haben

Als Herausforderung für alle, die weitermachen:

  • Dribbeln und Dribblings verteidigen wie Menschen.
  • Echtes 2v2 (Passspiel, Absicherung, Torwart): Unser 2v2-Raum nutzte die 1v1-KI im Angriff und einen regelbasierten Torwart.
  • Ein automatischer Maßstab, der das Ergebnis gegen Menschen vorhersagt (unserer hat das Testen durch Spielen nie ersetzt).

Wenn du bei einem dieser Punkte weiterkommst, erzähl es uns auf unserem Discord!