Entrena la IA
Lo que aprendimos
Los errores y aciertos de meses entrenando y manteniendo una IA que juega contra personas, con los números.
Todo en esta página fue medido, casi siempre por las malas. Léela antes de cambiar una recompensa, un escenario o la sala: ahorra semanas.
1. La regla es el humano, no el simulador
Tres veces el simulador dijo "mejoró" y, contra personas, la IA empeoró:
| Cambio | En el simulador | Contra humanos |
|---|---|---|
| Imitar humanos con fuerza | Empeoró | (descartado antes) |
| Bonus fijo por toque | Goles normales | Dejó de tirar (tiro cerca de la pelota: 24% → 2%) |
| Recompensas sofisticadas + "anti-rodeo" | Mejor en casi todo | Más fácil de ganar: atolondrada, fácil de regatear, defiende mal |
El orden de confianza que adoptamos:
- Tú jugando contra ella (lo más confiable).
- Estadísticas de las partidas reales grabadas en la sala.
- La IA en situaciones reales (posiciones sacadas de las partidas).
- El simulador (útil para descartar lo malo, no para probar que algo es bueno).
2. El retraso de percepción es el mayor factor en vivo
- El marcador automático va 200 ms atrás, a propósito. Un modelo entrenado viendo el juego perfecto, jugando con 200 ms de retraso, perdió los 20 saques de prueba ante un delantero que tira de primera (sin retraso: ganó los 20).
- Primera corrección: proyectar el estado (posición + velocidad × 0,2 s). Mejoró mucho.
- Corrección definitiva: los "ojos", una segunda simulación sin retraso, y entrenar viendo el juego igual. Medido en las partidas reales, las decisiones pasaron a coincidir con el estado de 0–100 ms antes, y los jugadores notaron la diferencia enseguida.
Moraleja: el entrenamiento y la sala tienen que ver el juego igual. Cualquier diferencia (retraso, escala, un signo) hace que la IA juegue mal sin ningún error.
3. "Rodear la pelota" no era por el tamaño de la pelota
La IA daba vueltas alrededor de la pelota sin tocarla. Medimos: su radio de giro era igual al de los humanos (3,8 contra 3,6 unidades). El problema era de dinámica: perseguía dónde estaba la pelota, se pasaba y volvía en curva, y el retraso lo empeoraba todo. Los números nuevos de la observación (velocidad de la pelota respecto a ella, distancia a las paredes) ayudaron más que cualquier recompensa.
4. Zigzag: decide eje por eje
Con el argmax (la acción de mayor nota), la IA alternaba "diagonal arriba" y "diagonal abajo" casi empatadas: 42 inversiones por minuto en partidas reales, contra ~1 de los humanos. La solución fue decidir cada eje por separado, con un margen para invertir el sentido, y un pequeño costo en la recompensa por invertir. Empezó a andar recto.
5. Decide al mismo ritmo que en el entrenamiento
Intentamos que la IA decidiera cada cuadro (33 ms) en la sala, para "reaccionar más rápido". Entrenada a 100 ms, empezó a enviar teclas que duraban un solo cuadro y "se caía sin saber jugar". Revertido en minutos. Ritmo del entrenamiento = ritmo de la sala.
6. El simulador no tiene los rivales adecuados
- Scripts, versiones antiguas e incluso un clon de humano (una red entrenada para imitar jugadas humanas) son débiles: la IA le ganaba al clon el 95–100% de las veces. Los humanos ganaron la mayoría de las partidas reales.
- Nadie en el simulador regatea como la gente, así que el simulador nunca mostró que la IA era "fácil de regatear".
- Los goles humanos de saque casi siempre vienen de quien toca primero y tira de primera: creamos un rival que hace exactamente eso.
- El hueco más explotado: la IA lleva la pelota a la esquina del ataque, rebota en la pared junto al poste, la IA queda atrás y el humano sale con el campo libre. En pocos días los jugadores aprendieron la jugada y pasó del 4–10% al 27% de los goles humanos. Los jugadores aprenden rápido: la IA necesita escenarios sacados de las partidas reales para seguirles el ritmo.
7. Producción
- Las conexiones que se escapan tumban la sala despacio. Las conexiones WebRTC de quienes salían quedaban abiertas: CPU del 12% al 86% y memoria de 259 a 472 MB en 40 minutos, con el bot "volando" de lag. Corregido en la biblioteca (0.2.7).
- Cambia el modelo sin reiniciar la sala (relee el archivo cada minuto); código nuevo, solo con la sala vacía.
- Guarda todas las versiones del modelo. Varias veces volvimos a un modelo anterior que jugaba mejor contra personas.
- Prueba A/B por jugador: para comparar dos modelos, alterna el modelo por jugador (A, B, A, B en las partidas de cada uno), no por partida. Alternando por partida, con cola, dos jugadores que se turnaban siempre recibían el mismo modelo cada uno.
8. Lo que todavía no resolvimos
Queda como desafío para quien continúe:
- Regatear y defender regates como los humanos.
- 2v2 de verdad (pases, coberturas, portero): nuestra sala 2v2 usaba la IA 1v1 en ataque y un portero por reglas.
- Una regla automática que prevea el resultado contra humanos (la nuestra nunca reemplazó la prueba jugando).
Si avanzas en alguno de estos, ¡cuéntanos en nuestro Discord!