Treine a IA

O que aprendemos

Os erros e acertos de meses treinando e mantendo uma IA jogando contra pessoas, com os números.

Tudo nesta página foi medido, quase sempre do jeito difícil. Leia antes de mudar recompensa, cenário ou a sala: economiza semanas.

1. A régua é o humano, não o simulador

Três vezes o simulador disse "melhorou" e, contra gente, a IA ficou pior:

MudançaNo simuladorContra humanos
Imitar humanos com forçaPiorou(descartado antes)
Bônus fixo por toqueGolos normaisParou de chutar (chute perto da bola: 24% → 2%)
Recompensas sofisticadas + "anti-rodeio"Melhor em quase tudoMais fácil de vencer: afoita, fácil de driblar, defende mal

A ordem de confiança que adotamos:

  1. Você jogando contra ela (o mais confiável).
  2. Estatísticas das partidas reais gravadas na sala.
  3. A IA nas situações reais (posições tiradas das partidas).
  4. O simulador (útil para descartar o que é ruim, não para provar que é bom).

2. O atraso de percepção é o maior fator ao vivo

  • O marcador automático roda 200 ms atrás, de propósito. Um modelo treinado vendo o jogo perfeito, jogando com 200 ms de atraso, perdeu todas as 20 saídas de bola de teste para um atacante que chuta de primeira (sem atraso: ganhou as 20).
  • Primeira correção: projetar o estado (posição + velocidade × 0,2 s). Melhorou muito.
  • Correção definitiva: os "olhos", uma segunda simulação sem atraso, e treinar vendo o jogo do mesmo jeito. Medindo nas partidas reais, as decisões passaram a bater com o estado de 0–100 ms atrás, e os jogadores sentiram a diferença na hora.

Moral: o treino e a sala precisam ver o jogo do mesmo jeito. Qualquer diferença (atraso, escala, um sinal) faz a IA jogar mal sem erro nenhum.

3. "Rodear a bola" não era o tamanho da bola

A IA girava em volta da bola sem tocar. Medimos: o raio do giro dela era igual ao dos humanos (3,8 contra 3,6 unidades). O problema era de dinâmica: ela perseguia onde a bola estava, passava do ponto e fazia a curva de volta, e o atraso piorava tudo. Os números novos da observação (velocidade da bola em relação a ela, distância das paredes) ajudaram mais que qualquer recompensa.

4. Zigue-zague: decida eixo a eixo

Com o argmax (a ação de maior nota), a IA alternava "diagonal para cima" e "diagonal para baixo" quase empatadas: 42 inversões por minuto em partidas reais, contra ~1 dos humanos. A solução foi decidir cada eixo separado, com uma margem para inverter o sentido, e um pequeno custo na recompensa por inverter. Ela passou a andar reto.

5. Decida no mesmo ritmo do treino

Tentamos fazer a IA decidir a cada quadro (33 ms) na sala, para "reagir mais rápido". Treinada a 100 ms, ela passou a mandar teclas que duravam um quadro só e "caía sem saber jogar". Revertido em minutos. Ritmo do treino = ritmo da sala.

6. O simulador não tem os adversários certos

  • Script, versões antigas e até um clone de humano (rede treinada para imitar jogadas humanas) são fracos: a IA vencia o clone 95–100% das vezes. Os humanos venceram a maioria das partidas reais.
  • Ninguém no simulador dribla como gente, então o simulador nunca mostrou que a IA era "fácil de driblar".
  • Golos humanos de saída de bola vêm quase sempre de quem toca primeiro e chuta de primeira: criamos um adversário que faz exatamente isso.
  • O furo mais explorado: a IA leva a bola ao canto do ataque, ela volta da parede ao lado da trave, a IA fica atrás e o humano sai com o campo livre. Em poucos dias os jogadores aprenderam o lance e ele passou de 4–10% para 27% dos golos humanos. Jogadores aprendem rápido: a IA precisa de cenários tirados das partidas reais para acompanhar.

7. Produção

  • Vazamento de conexões derruba a sala devagar. Conexões WebRTC de quem saía ficavam abertas: CPU de 12% para 86% e memória de 259 para 472 MB em 40 minutos, com o bot "voando" de lag. Corrigido na biblioteca (0.2.7).
  • Troque o modelo sem reiniciar a sala (releia o ficheiro a cada minuto); código novo, só com a sala vazia.
  • Guarde todas as versões do modelo. Várias vezes voltamos para um modelo anterior que jogava melhor contra gente.
  • Teste A/B por jogador: para comparar dois modelos, alterne o modelo por jogador (A, B, A, B nas partidas de cada um), não por partida. Alternando por partida, com fila, dois jogadores revezando pegavam sempre o mesmo modelo cada um.

8. O que ainda não resolvemos

Fica de desafio para quem continuar:

  • Driblar e defender drible como humanos.
  • 2x2 de verdade (tabela, cobertura, guarda-redes): a nossa sala 2x2 usava a IA 1x1 no ataque e um guarda-redes com regras.
  • Uma régua automática que preveja o resultado contra humanos (a nossa nunca substituiu o teste jogando).

Se você avançar em algum desses, conte no nosso Discord!