Entraîner l'IA

Ce que nous avons appris

Les erreurs et les réussites de mois d'entraînement et d'exploitation d'une IA qui joue contre des gens, chiffres à l'appui.

Tout sur cette page a été mesuré, presque toujours à la dure. Lisez-la avant de changer une récompense, un scénario ou le salon : ça fait gagner des semaines.

1. La référence, c'est l'humain, pas le simulateur

Trois fois le simulateur a dit « c'est mieux » et, contre des gens, l'IA a empiré :

ChangementDans le simulateurContre des humains
Imiter fortement les humainsPire(abandonné avant)
Bonus fixe par toucheButs normauxA arrêté de tirer (tirs près du ballon : 24 % → 2 %)
Récompenses sophistiquées + « anti-tournoiement »Mieux presque partoutPlus facile à battre : précipitée, facile à dribbler, défend mal

L'ordre de confiance que nous avons adopté :

  1. Vous, en jouant contre elle (le plus fiable).
  2. Les statistiques des vrais matchs enregistrés dans le salon.
  3. L'IA dans des situations réelles (positions tirées des matchs).
  4. Le simulateur (utile pour écarter ce qui est mauvais, pas pour prouver que c'est bon).

2. Le retard de perception est le facteur numéro un en direct

  • Le score automatique tourne 200 ms en retard, exprès. Un modèle entraîné en voyant le jeu parfait, jouant avec 200 ms de retard, a perdu les 20 engagements de test contre un attaquant qui tire en première intention (sans retard : il les a tous gagnés).
  • Première correction : projeter l'état (position + vitesse × 0,2 s). Gros progrès.
  • Correction définitive : les « yeux », une seconde simulation sans retard, et un entraînement qui voit le jeu de la même façon. Mesuré sur les vrais matchs, les décisions se sont mises à correspondre à l'état de 0 à 100 ms avant, et les joueurs ont tout de suite senti la différence.

Morale : l'entraînement et le salon doivent voir le jeu de la même façon. Toute différence (retard, échelle, un signe) fait mal jouer l'IA sans aucune erreur.

3. « Tourner autour du ballon » n'était pas une question de taille

L'IA tournait autour du ballon sans le toucher. Mesuré : son rayon de virage était le même que celui des humains (3,8 contre 3,6 unités). Le problème était dynamique : elle poursuivait l'endroit où le ballon était, le dépassait et revenait en courbe, et le retard aggravait tout. Les nouveaux nombres de l'observation (vitesse du ballon par rapport à elle, distance aux murs) ont plus aidé que n'importe quelle récompense.

4. Zigzag : décidez axe par axe

Avec l'argmax (l'action la mieux notée), l'IA alternait « diagonale haut » et « diagonale bas » presque à égalité : 42 inversions par minute en vrais matchs, contre ~1 chez les humains. La solution : décider chaque axe séparément, avec une marge pour inverser le sens, plus un petit coût dans la récompense pour l'inversion. Elle s'est mise à aller droit.

5. Décidez au même rythme qu'à l'entraînement

Nous avons essayé de faire décider l'IA à chaque image (33 ms) dans le salon, pour « réagir plus vite ». Entraînée à 100 ms, elle s'est mise à envoyer des touches d'une seule image et « tombait sans savoir jouer ». Annulé en quelques minutes. Rythme d'entraînement = rythme du salon.

6. Le simulateur n'a pas les bons adversaires

  • Scripts, anciennes versions et même un clone d'humain (un réseau entraîné à imiter les actions humaines) sont faibles : l'IA battait le clone 95 à 100 % du temps. Les humains ont gagné la plupart des vrais matchs.
  • Personne dans le simulateur ne dribble comme les gens, donc le simulateur n'a jamais montré que l'IA était « facile à dribbler ».
  • Les buts humains sur engagement viennent presque toujours de celui qui touche en premier et tire en première intention : nous avons créé un adversaire qui fait exactement ça.
  • La faille la plus exploitée : l'IA emmène le ballon dans le coin d'attaque, il rebondit sur le mur à côté du poteau, l'IA reste derrière et l'humain part avec le terrain libre. En quelques jours, les joueurs ont appris l'action et elle est passée de 4–10 % à 27 % des buts humains. Les joueurs apprennent vite : l'IA a besoin de scénarios tirés des vrais matchs pour suivre.

7. Production

  • Les connexions qui fuient font tomber un salon lentement. Les connexions WebRTC des joueurs partis restaient ouvertes : CPU de 12 % à 86 % et mémoire de 259 à 472 Mo en 40 minutes, avec le bot qui « volait » de lag. Corrigé dans la bibliothèque (0.2.7).
  • Changez de modèle sans redémarrer le salon (relisez le fichier chaque minute) ; du nouveau code, seulement salon vide.
  • Gardez toutes les versions du modèle. Plusieurs fois nous sommes revenus à un modèle antérieur qui jouait mieux contre les gens.
  • Test A/B par joueur : pour comparer deux modèles, alternez le modèle par joueur (A, B, A, B dans les matchs de chacun), pas par match. En alternant par match, avec une file, deux joueurs qui se relayaient tombaient toujours chacun sur le même modèle.

8. Ce que nous n'avons pas encore résolu

Défi laissé à qui reprendra le flambeau :

  • Dribbler et défendre contre les dribbles comme les humains.
  • Un vrai 2v2 (passes, couverture, gardien) : notre salon 2v2 utilisait l'IA 1v1 en attaque et un gardien à règles.
  • Une mesure automatique qui prévoie le résultat contre des humains (la nôtre n'a jamais remplacé le test en jouant).

Si vous avancez sur l'un de ces points, racontez-le-nous sur notre Discord !