Czołowi pokerzyści heads-up wyszli z pojedynku jako zwycięzcy, ale twórcy bota… mają inne zdanie.
W piątek zakończył się mecz, w którym czwórka pokerzystów (Bjorn Li, Doug Polk, Jason Les i Dong Kim) walczyła z botem Claudico, stworzonym przez programistów Uniwersytetu Carnegie Mellon.
Każdy z graczy rozegrał 20 tysięcy rozdań. Każde toczyło się na „świeżym” stacku 20 000 „dolarów” i ciemnych 50/100. Ostatecznie pokerzyści triumfowali z dość dużą przewagę, bo 732 100$, czyli 7 300 dużych ciemnych.
Specjaliści z Carnegie Mellon mieli na ten temat inne zdanie. Powołując się na wariancję, małą próbkę i margines wygranej, ogłosili… remis. – Wiedzieliśmy, że Claudico jest najmocniejszym komputerowym programem na świecie, ale nie mieliśmy pojęcia, jak poradzi sobie przeciwko 4 graczom ze światowego Top10. Nie byłoby wstydu dla Claudico, gdyby ten przegrał w taką drużyną utalentowanych profesjonalistów, a więc osiągnięcie statystycznego remisu jest niesamowitym osiągnięciem.
Skąd takie wnioski? Naukowcy w statystyce stosują pojęcie przedziału ufności (na ile możemy ufać danej wartości). Ten wskaźnik wynosił za ten mecz 92%. Doug Polk tak napisał o tym w dyskusji na 2+2: – Jak rozumiem, w nauce trzeba się posługiwać konkretami, a ten przedział ufności 95% używany był w ich pozostałych meczach. Dlatego też nie mogą powiedzieć, że przegrali znacząco (z wysokim poziomem istotności), bo to nie jest prawda. Tutaj możecie znaleźć informacje o przedziale ufności.
Z naszego punktu widzenia ten wynik jest jasny. Pokerzyści wygrali ponad 700 tysięcy „dolarów”, osiągając win rate 9bb/100. W swoim wpisie na forum Polk zaznaczył, że kilka rzeczy mu się w tym pojedynku nie podobało. Walcząc z botem, myślał, że mecz zakończy się prostą wygraną albo porażką, a o poziomie istotności dowiedział się dopiero na jeden lub dwa dni przed końcem, kiedy grał bardzo szybko, aby zdążyć na koniec.
Zwrócił również uwagę, że naukowcy starali się nieco naginać rzeczywistość. Na Twitterze opublikowano podobno wiadomość, w której cytowano Polka mówiącego o tym, że „Claudico ma świetny winrate” (później ją skasowano). Pokerzysta zaznaczył, że faktycznie bot stosował niezłe zagrania, ale znów inne były w ogóle niezrozumiałe.
Doug oczywiście zdawał sobie sprawę, że twórcy bota muszą zaprezentować się z jak najlepszej strony. Zwrócił uwagę na to, że prawie w ogóle nie omawiał rozdań, a w niektóre dni był zupełnie stiltowany, co wynikało z tego, że pojedynek zrobił się po prostu nudny (zresztą komentatorzy zauważyli nawet, że Polk nie końca poważnie podchodził do gry na końcu walki – przewaga ludzi mogła być większa).
Ciekawe jest tutaj, że media nie podchwyciły słów o remisie. Wspominają raczej o tym tylko pokerowe serwisy, które cytują Tuomasa Sandholma. Polk zauważył, że tylko niektóre strony wspomniały o „statystycznym remisie”, a reszta ogłosiła po prostu zwycięstwo pokerzystów. Widać też, że zapał Polka do rewanżu znacznie opadł. Stwierdził, że nie widzi sensu, aby zagrać ponownie, bo był to ciężki pojedynek, on może czas bardziej efektywnie spędzić w inny sposób.
Pośród czwórki gracz najlepiej poradził sobie Bjorn Li. Wygrał od bota 529 033 „dolary”. Polk zarobił 213 671$, a Kim 70 491$. Les przegrał 80 500$.
Zgodnie z umową, panowie podzieli między siebie 100 tysięcy dolarów od sponsorów, którymi byli Rivers Casino oraz Microsoft.
Źródło: Cardplayer.com, 2+2.
