Utiliser l'IA

Comment fonctionne notre IA

Une IA qui a appris seule à jouer au football sur bonk.io, en jouant des millions de matchs contre elle-même, avec la vraie physique du jeu.

Les salons « | IA | BONKTOOLS | » avaient un joueur qui n'était pas une personne : une intelligence artificielle qui a appris le football de zéro. Personne n'a programmé « va vers le ballon et tire ». Elle a appris par essais et erreurs, en jouant des millions d'actions, et s'est améliorée toute seule.

Cet onglet explique tout : comment elle fonctionne, comment télécharger les modèles prêts, comment la mettre dans votre salon et comment entraîner votre propre IA.

L'idée en une phrase

L'IA regarde le jeu (39 nombres), choisit une touche (18 options) et reçoit des points quand elle fait quelque chose de bien (un but) et perd des points quand elle fait quelque chose de mal (encaisser un but). Après des millions d'essais, elle apprend à faire ce qui rapporte le plus de points.

C'est ce qu'on appelle l'apprentissage par renforcement (reinforcement learning, RL). L'algorithme utilisé est PPO, le même que pour les bots de Rocket League et dans de nombreux jeux.

Les pièces

text
          ┌────────── ENTRAÎNEMENT (Python, sur votre PC ou un serveur) ──────────┐
          │                                                                       │
          │  VRAIE physique bonk.io  ◄── pont Node ──►  environnement (Gymnasium) │
          │  (PhysicsSimulator de la lib)                  │ observation + points │
          │                                                ▼                      │
          │                                     PPO (stable-baselines3)           │
          │                                                │                      │
          └────────────────────────────────────────────────┼──────────────────────┘
                                                           ▼
                                                    policy.json (le « cerveau » de l'IA, ~430 Ko)
                                                           │
          ┌───────────── SALON (Node, sans Python) ────────┼──────────────────────┐
          │  ScoreTracker ─► état ─► observation ─► réseau ─► touches ─► salon    │
          └───────────────────────────────────────────────────────────────────────┘
  1. La vraie physique. La bibliothèque bonktools exécute la physique du jeu lui-même, sans navigateur et bien plus vite que le temps réel. L'IA s'entraîne dans le même jeu que celui où elle jouera.
  2. L'environnement transforme le jeu en « exercice » que l'IA comprend : une action commence, elle décide toutes les 100 ms, l'action se termine sur un but.
  3. PPO ajuste le réseau de neurones pour répéter ce qui a rapporté des points.
  4. Le policy.json est le réseau entraîné. Il tourne en JavaScript pur dans le salon : ni Python ni carte graphique nécessaires.

Ce que l'IA « voit »

À chaque décision, l'IA reçoit 39 nombres (l'« observation »), tous de son point de vue et toujours comme si elle attaquait vers la droite (quand elle joue en rouge, le terrain est inversé) :

  • sa position et sa vitesse, celles du ballon et de l'adversaire ;
  • où est le ballon par rapport à elle, à l'adversaire et aux deux buts ;
  • distances aux poteaux et aux murs ;
  • si le ballon est entre elle et le but adverse (elle peut tirer) ou si elle est entre le ballon et son propre but (elle défend) ;
  • si elle et l'adversaire peuvent tirer maintenant ;
  • le temps restant avant que l'engagement soit libéré.

Les détails sont dans Ce que voit l'IA et comment elle gagne des points.

Ce que l'IA « fait »

18 actions : 9 directions (y compris rester immobile) × tirer ou non. Toutes les 100 ms, elle en choisit une. C'est proche du rythme d'un joueur humain : personne ne change de touche 30 fois par seconde.

Comment elle a appris

L'entraînement est un curriculum, comme à l'école : on commence facile et ça se complique.

ÉtapeExerciceValidée quand
1But vide : ballon n'importe où, adversaire immobile au loinMarque dans 80 % des actions
2Adversaire immobile sur le cheminMarque dans 70 % des actions
3Vrai match : adversaire scripté ou une ancienne version d'elle-mêmeNe s'arrête pas : elle continue de progresser

Jouer contre d'anciennes versions d'elle-même (self-play) est ce qui la fait progresser sans cesse : l'adversaire monte de niveau avec elle.

Chiffres du modèle publié

Pas d'entraînement182 millions (chaque pas = 100 ms de jeu ≈ 210 jours de ballon en jeu)
Réseau39 → 256 → 256 → 18 (tanh), ~430 Ko
Contre le script le plus fort95 buts, 2 encaissés en 100 actions (avec les « yeux » du salon)
Contre des humainsDonne du fil à retordre aux débutants ; les joueurs expérimentés trouvent les failles et gagnent la plupart des matchs (voir Ce que nous avons appris)
CoûtZéro API : seulement du CPU. Nous avons entraîné sur des machines gratuites d'Oracle et un PC ordinaire

Pour la suite