ポーカーは人工知能に対してフォールドする最新のゲームです

人工知能の画期的な成果として、カナダとチェコ共和国の研究者によって開発されたポーカーボットが、無制限のテキサスホールデムポーカーの1対1のゲームで数人のプロプレーヤーを打ち負かしました。

おそらく最も興味深いことに、仕事の背後にある学者は、彼らのプログラムが腸の感覚と比較する近似アプローチを使用することによって、人間の敵を克服したと言います。

正しければ、これは確かにゲームプレイAIの重要な進歩ですと言います マイケルウェルマン 、ミシガン大学の教授で、ゲーム理論とAIを専門としています。第一に、それは目立った関心のあるゲームで主要なマイルストーン（ポーカーの専門家を打ち負かす）を達成します。第二に、それは不完全情報ゲームのための刺激的なアプローチを一緒にサポートするいくつかの斬新なアイデアをまとめます。

今週後半、ピッツバーグカジノでのトーナメントでは、世界クラスのポーカープレーヤー数名が、CMUで開発されたプログラムに対して同じバージョンのポーカーをプレーします。 ツォーマスサンドホルム 努力を主導しているCMUのコンピューターサイエンスの教授は、関与する人間のプレーヤーはアルバータ州の研究者によってテストされたものよりもかなり強力であり、20日間で12万のハンドがプレーされ、結果に大きな統計的有意性を提供すると言います。トーナメントは、AIが実際に、コンピューターにとって非常に複雑で微妙に思えるゲームをマスターしたことを確認できました。

すでに一部のプロプレイヤーを打ち負かしているポーカープレイソフトウェアであるDeepStackは、 マイケルボウリング 、アルバータ大学のコンピュータサイエンスの教授で、チェコ共和国のカレル大学とチェコ工科大学の研究者が含まれていました。研究では オンラインで投稿された論文 しかし、まだピアレビューされていませんが、研究者たちは、DeepStackが数人のプレーヤーに対して約45,000ハンドのポーカーをプレーし、それらを手軽に打ち負かしたと言います。

ポーカーは、人間をAIに対抗させてきた他の多くのゲームよりも複雑です。そして、言うまでもなく、AIがまだ習得していない多くの現実の状況で見られる、対戦相手がブラフしている可能性がある場合など、不確実性のレベルが含まれています。ポーカープレイヤーは対戦相手の手を見ることができません。つまり、チェッカー、チェス、または囲碁とは対照的に、ゲームに含まれるすべての情報を利用できるわけではありません。英国を拠点とするAlphabetの子会社であるDeepMindの研究者は、世界最高の囲碁プレーヤーの1人を打ち負かすことができるプログラムを作成した後、昨年注目を集めました（GoogleのAIマスターが予想よりも10年早く囲碁のゲームをマスターするをご覧ください）。

ヘッズアップノーリミットテキサスホールデムは、所有しているチップの数だけ賭けることができる2人の間でプレイされるゲームのバージョンです。この変種は長い間、マシンが巧みにプレイするには難しすぎることが判明しました。ヘッズアップノーリミットテキサスホールデムでは、各ハンドに10160（10の後に160のゼロが続く）の可能なプレーパスがあります。

DeepStackは、自分自身と対戦することでポーカーをプレイすることを学びました。各ゲームの後に、戦略を再検討して改良し、より最適化されたアプローチを実現します。ノーリミットポーカーは複雑であるため、このアプローチでは通常、より限定されたバージョンのゲームで練習する必要があります。 DeepStackチームは、以前のポーカーの状況をディープラーニングアルゴリズムにフィードすることで改良した高速近似手法を適用することで、この複雑さに対処しました。

このような複雑なゲームの本当に新しい点は、ゲームの可能性のツリー全体の単純化された形式をオフラインで処理するのではなく、遭遇した各状況で実行するアクションを効果的に計算できることです、とミシガン大学のウェルマンは言いますミシガン。

研究者は、DeepStackの近似手法を、対戦相手がブラフをしているときや勝ち手を握っているときの人間のプレーヤーの本能と比較しますが、マシンは相手のボディーランゲージではなく、対戦相手の賭けのパターンに基づいて評価する必要があります。この見積もりは、DeepStackの直感と考えることができます。考えられるポーカーの状況で、考えられるプライベートカードを保持することの価値についての直感。

多くのゲームで、テーブルで賭けた金額と比較して、勝った金額を調べることで、ポーカープレーヤーのパフォーマンスを測定することができます。 DeepStackの勝率は、プロのプレーヤーにとって良いと考えられるものの約9倍でした。

2015年、アルバータ大学のボウリングと同僚は、より限定されたバージョンのヒートホールデムを解決しました。 ポーカーボットの開発 ゲームを完璧にプレイすることができます。

ピッツバーグトーナメントに参加したLibratusと呼ばれるポーカーボットは、Sandholmと彼の大学院生の1人によって開発されました。 ノアム・ブラウン 。ペアはまだ彼らのプログラムがゲームにどのようにアプローチするかの詳細を明らかにしていませんが、ブラウンは本質的にゲームを「解決」しようとしている、または以前に可能だったよりもゲームの早い段階ですべての可能なシナリオを理解しようとしていると言います。 Libratusは、非常に強力なハードウェアで実行されます。 ピッツバーグスーパーコンピューティングセンター 、CMUとピッツバーグ大学が共同で運営する施設。

隠れる