Teoria
CFR (Counterfactual Regret Minimization)
Também chamado de: Counterfactual Regret Minimization · minimização de arrependimento contrafactual · MCCFR
O algoritmo por trás das estratégias de equilíbrio no poker: joga milhões de mãos e corrige o que se “arrepende” de não ter feito.
O CFR (Counterfactual Regret Minimization) aprende jogando contra si mesmo. Em cada decisão ele mede quanto teria ganhado com cada ação comparado com o que ganhou com a estratégia atual; essa diferença é o “arrependimento”. Na rodada seguinte ele joga mais as ações com mais arrependimento positivo, e a estratégia média de todas as iterações converge ao equilíbrio de Nash em jogos de dois jogadores.
Percorrer a árvore inteira a cada iteração não escala para o NLHE, então existem variantes que fazem amostragem: o MCCFR e, dentro dele, a amostragem externa (ES-MCCFR). Mesmo assim é preciso simplificar o jogo, agrupando mãos parecidas e limitando os tamanhos de aposta a um menu curto.
O EVolve tem um motor CFR próprio. Ele calculou o range pré-flop heads-up com 100 big blinds que o drill de GTO heads-up usa, sobre um menu de limp, aumento de 3× ou all-in, e resolve o river do drill de river GTO no seu dispositivo. O laboratório mostra o motor aprendendo a blefar em dois pokers de brinquedo.
Exemplo com cartas
Com 7♣7♦ no small blind heads-up, o motor terminou dividindo quase meio a meio entre limp (~50%) e aumentar (~49%). Isso é o CFR em ação: se nas iterações aumentar tivesse rendido mais que dar limp, o arrependimento teria empurrado para aumentar mais vezes, e vice-versa. Quando as duas ações rendem o mesmo contra o vilão, o empurrão se equilibra e a mão fica mista.
Pratique
Termos relacionados
- Solver — Um programa que calcula uma estratégia de equilíbrio aproximada para um spot específico, dados ranges, stacks e tamanhos de aposta.
- GTO — Game Theory Optimal: uma estratégia de equilíbrio que o vilão não consegue explorar, jogue ele como jogar.
- Equilíbrio de Nash — Uma combinação de estratégias em que nenhum jogador ganha nada mudando a sua enquanto o outro mantém a dele.