Treine a IA
O que aprendemos
Os erros e acertos de meses treinando e mantendo uma IA jogando contra pessoas, com os números.
Tudo nesta página foi medido, quase sempre do jeito difícil. Leia antes de mudar recompensa, cenário ou a sala: economiza semanas.
1. A régua é o humano, não o simulador
Três vezes o simulador disse "melhorou" e, contra gente, a IA ficou pior:
| Mudança | No simulador | Contra humanos |
|---|---|---|
| Imitar humanos com força | Piorou | (descartado antes) |
| Bônus fixo por toque | Golos normais | Parou de chutar (chute perto da bola: 24% → 2%) |
| Recompensas sofisticadas + "anti-rodeio" | Melhor em quase tudo | Mais fácil de vencer: afoita, fácil de driblar, defende mal |
A ordem de confiança que adotamos:
- Você jogando contra ela (o mais confiável).
- Estatísticas das partidas reais gravadas na sala.
- A IA nas situações reais (posições tiradas das partidas).
- O simulador (útil para descartar o que é ruim, não para provar que é bom).
2. O atraso de percepção é o maior fator ao vivo
- O marcador automático roda 200 ms atrás, de propósito. Um modelo treinado vendo o jogo perfeito, jogando com 200 ms de atraso, perdeu todas as 20 saídas de bola de teste para um atacante que chuta de primeira (sem atraso: ganhou as 20).
- Primeira correção: projetar o estado (posição + velocidade × 0,2 s). Melhorou muito.
- Correção definitiva: os "olhos", uma segunda simulação sem atraso, e treinar vendo o jogo do mesmo jeito. Medindo nas partidas reais, as decisões passaram a bater com o estado de 0–100 ms atrás, e os jogadores sentiram a diferença na hora.
Moral: o treino e a sala precisam ver o jogo do mesmo jeito. Qualquer diferença (atraso, escala, um sinal) faz a IA jogar mal sem erro nenhum.
3. "Rodear a bola" não era o tamanho da bola
A IA girava em volta da bola sem tocar. Medimos: o raio do giro dela era igual ao dos humanos (3,8 contra 3,6 unidades). O problema era de dinâmica: ela perseguia onde a bola estava, passava do ponto e fazia a curva de volta, e o atraso piorava tudo. Os números novos da observação (velocidade da bola em relação a ela, distância das paredes) ajudaram mais que qualquer recompensa.
4. Zigue-zague: decida eixo a eixo
Com o argmax (a ação de maior nota), a IA alternava "diagonal para cima" e "diagonal para baixo" quase empatadas: 42 inversões por minuto em partidas reais, contra ~1 dos humanos. A solução foi decidir cada eixo separado, com uma margem para inverter o sentido, e um pequeno custo na recompensa por inverter. Ela passou a andar reto.
5. Decida no mesmo ritmo do treino
Tentamos fazer a IA decidir a cada quadro (33 ms) na sala, para "reagir mais rápido". Treinada a 100 ms, ela passou a mandar teclas que duravam um quadro só e "caía sem saber jogar". Revertido em minutos. Ritmo do treino = ritmo da sala.
6. O simulador não tem os adversários certos
- Script, versões antigas e até um clone de humano (rede treinada para imitar jogadas humanas) são fracos: a IA vencia o clone 95–100% das vezes. Os humanos venceram a maioria das partidas reais.
- Ninguém no simulador dribla como gente, então o simulador nunca mostrou que a IA era "fácil de driblar".
- Golos humanos de saída de bola vêm quase sempre de quem toca primeiro e chuta de primeira: criamos um adversário que faz exatamente isso.
- O furo mais explorado: a IA leva a bola ao canto do ataque, ela volta da parede ao lado da trave, a IA fica atrás e o humano sai com o campo livre. Em poucos dias os jogadores aprenderam o lance e ele passou de 4–10% para 27% dos golos humanos. Jogadores aprendem rápido: a IA precisa de cenários tirados das partidas reais para acompanhar.
7. Produção
- Vazamento de conexões derruba a sala devagar. Conexões WebRTC de quem saía ficavam abertas: CPU de 12% para 86% e memória de 259 para 472 MB em 40 minutos, com o bot "voando" de lag. Corrigido na biblioteca (0.2.7).
- Troque o modelo sem reiniciar a sala (releia o ficheiro a cada minuto); código novo, só com a sala vazia.
- Guarde todas as versões do modelo. Várias vezes voltamos para um modelo anterior que jogava melhor contra gente.
- Teste A/B por jogador: para comparar dois modelos, alterne o modelo por jogador (A, B, A, B nas partidas de cada um), não por partida. Alternando por partida, com fila, dois jogadores revezando pegavam sempre o mesmo modelo cada um.
8. O que ainda não resolvemos
Fica de desafio para quem continuar:
- Driblar e defender drible como humanos.
- 2x2 de verdade (tabela, cobertura, guarda-redes): a nossa sala 2x2 usava a IA 1x1 no ataque e um guarda-redes com regras.
- Uma régua automática que preveja o resultado contra humanos (a nossa nunca substituiu o teste jogando).
Se você avançar em algum desses, conte no nosso Discord!