W kolejnych częściach tego cyklu prezentować będziemy najważniejsze wydarzenia związane z pokerem, które miały miejsce w 2017 roku. Zaczynamy od miejsca dziesiątego i Libratusa, który pokonał profesjonalnych pokerzystów w No Limit Hold'em.
Kto by się spodziewał, że już w 2017 roku sztuczna inteligencja okaże się lepsza w tak bliskiej nam grze, jaką jest No Limit Hold'em? Niemniej kwestią czasu było, aż komputery rozwiną się do punktu będącego poza zasięgiem ludzkiego mózgu. Poker to skomplikowana gra niedoskonałych informacji, w której ilość decyzji do podjęcia, bazując na startowych stackach wielkości 20.000$ i różnych graczach, jest ogromna i stanowi wyznacznik jakości dla projektantów sztucznej inteligencji.
Pojedynki AI z ludźmi trwały już od jakiegoś czasu, ale nawet w 2015 roku sztuczna inteligencja o nazwie Claudico nie była w stanie sprostać profesjonalnym pokerzystom. Bjorn Li, Doug Polk, Dong Kim i Jason Les wygrali łącznie 732.713$ w 80 tys. rozdań. Jednak na szali w tym czasie ryzykowano ponad 170 mln dolarów, co sprawia, że zwycięstwo ludzi wynosiło niecałe pół procenta wszystkich betów. Z punktu widzenia statystyki jest to nic nieznacząca liczba.
W 2016 roku pojawiło się nowe wcielenie AI, Baby Tartanian 8. Rok później narodził się Libratus.
Na początku 2017 roku do Kima i Lesa dołączyli Jimmy Chou i Daniel McAulay. Walka między pokerzystami a AI trwała przez 120.000 rozdań, a wyraźnym zwycięzcą okazał się komputer, który w tym czasie zarobił 1.766.250$.
Co Doug Polk mówił jeszcze o Claudico? „Miał nieco leaków, ale wszystkie połatali jeszcze zanim pojawił się ich nowy program, Libratus. Stało się wtedy dla mnie jasne, że ludzie stoją już na straconej pozycji w heads up No Limit i zapewne przewaga sztucznej inteligencji będzie rozwijała się również na kolejne formaty.”
Mówiąc o innych formatach Polk zauważył, że największą słabością botów w tym momencie jest ich brak zastosowania w innych grach niż heads up No Limit, jak choćby większe stoły czy też inne gry. Jednak może się to już zmienić w niedalekiej przyszłości.
Strategia AI
Jason Les był jednym z najbardziej zaangażowanych w testy sztucznej inteligencji pokerzystów, dzięki czemu mógł grać przeciwko wszystkim wcieleniom botów.
– Gra z Libratusem była bardzo intensywnym i wymagającym doświadczeniem. Stosował on strategię bliską równowadze Nasha jak nikt nigdy wcześniej, tak więc z definicji nie miał słabości, które można było wykorzystać. Początkowo mieliśmy nadzieję, że znajdziemy przewagę stosując rozmiary betów, których Libratus nie mógł się spodziewać. Okazało się jednak, że gdy stosowaliśmy bet sizing obcy dla AI, ta w nocy uczyła się nowych rozmiarów betów i łatała swoje wrażliwe miejsca – tłumaczy Les.
Niektórzy zakładali, że Libratus miał zaprogramowane strategie, ale naprawdę generował decyzje za pomocą algorytmów bazujących na równowadze Nasha. Algorytm działał na bazie grup różnych rozmiarów betów stosowanych w różnych sytuacjach i grup podobnych rąk, które traktował identycznie. Dzięki temu liczba decyzji, jakie musiał podjąć Libratus, malała z 10161 do 1012.
– Libratus grał w bardzo zrównoważony sposób, z odpowiednią liczbą blefów w każdym miejscu. Ponadto doskonale realizował mieszaną strategię, przez co bardzo ciężko było go postawić na jakimś zakresie. Ludzie nie są w stanie realizować tych założeń w taki sposób, grać te same ręce w wiele różnych sposobów, z różnymi rozmiarami betów i bez żadnych tendencji. Libratus nie miał z tym problemów i bazował jedynie na strategi stworzonej dzięki miliardom rozegranych rozdań.
Myślę, że z gry Libratusa najlepsze, co mogą wyciągnąć ludzie, to mieszanie swoich strategii. Powinniśmy otworzyć się na rozgrywanie tych samych rąk na różne, często wyraźnie niekonwencjonalne sposoby. Nie powinniśmy pozwolić, by „właściwy” sposób gry innych pokerzystów wpływał na to, co uważamy za właściwe i złe.
Ważnym aspektem, którego również możemy nauczyć się od Libratusa, jest podejście właśnie do nauki. Libratus był w stanie pokonać pokerzystów nie tylko dzięki swoim algorytmom, ale też dzięki umiejętności stałego dostosowywania strategii do nowych informacji.
Co prawda ludzie nie mają takiej siły mentalnej jak superkomputer Bridges, który zapewnił Libratusowi miliardy rozdań, na których mógł oprzeć swoją strategię, ale gracze mogą korzystać z programów AI, by uczyć się odpowiedniej gry w różnych sytuacjach. Programy typu PioSOLVER mogą być wykorzystywane do m.in. do szukania dziur w strategiach rywali i tworzenia strategii wykorzystujących te słabości.
Przyszłość gry
Twórcy Libratusa mimo sukcesu swojego programu nie uważają, że poker może zostać „rozwiązany” w najbliższej przyszłości. Na pewno nie za naszego życia. I chociaż moc obliczeniowa komputerów stale rośnie, większość pokerowych sytuacji ma miejsce między ludźmi, a ludzie są… ludźmi. Popełniamy błędy i kierujemy się emocjami. Można nas zdekoncentrować, mamy życie poza pokerem, a większość z nas ma ograniczony czas na naukę gry. Mamy też ograniczone „moce przerobowe”, a wielu gra w pokera dla zabawy, a nie zysku. Wszystkie te czynniki sprawiają, że poker wciąż jest i jeszcze długo pozostanie żywy.
A jak wygląda sprawa zagrożenia, że w pokerze online boty będą wykorzystywane do oszukiwania graczy?
– Rozwój AI z pewnością sprawia, że gry online będą mniej bezpieczne. Co prawda Libratus gra tylko heads up, ale postępy w sztucznej inteligencji wkrótce sięgną również stołów 6-max i full ringów. Zostaniemy wtedy postawieni przed trudnymi decyzjami względem gier online. Wiem, że strony pokerowe ciężko pracują nad zabezpieczeniem się przed botami, ponieważ od tego zależy ich biznes, mam więc nadzieję, że będą w stanie zastosować odpowiednie środki ostrożności.
Myślę, że na dłuższą metę utrzymanie się internetowego pokera zależeć będzie od stworzenia nowych gier, odpornych na rozwój AI. Może to oznaczać dodanie nowych kart do talii, zwiększenie rozmiarów stacków lub innych tego typu zmian – uważa Les.
Trend powstawania kolejnych wariacji pokera zdaje się ostatnio wyjątkowo aktywny, niezależnie, czy to z wymienionych przez Lesa powodów, czy nie. Ważne jest jednak to, że póki co wszystkie znaki wskazują, że poker nie jest martwy – i jeszcze długo nie będzie.
