間違える人より間違えやすい状況を見よ！チェス研究が示す失敗の構造
今日の気になった論文
今日の話はチェスを扱った研究論文の紹介です。
紹介する研究は完全解析された6駒以下のチェス終盤を使い、人のミスを「棋力（腕前）」「残り時間」「局面の難しさ」に分けて調べたものです。最も強くミスを予測したのは意外にも棋力ではなく、悪手となる選択肢がどれだけ多いか（局面が難しいかどうか）でした。強い人ほど間違える局面や、同じ盤面でも直前の手によってミス率が変わる現象も見つかっています。
教訓は、人を責める前に、間違いを誘う状況の構造を見ることだと思われます。
面白そうだと思った理由
ミスの深堀って気になりません？みんなやったことある失敗の原因を分析しましょうってなったら私は聞きたくなりました。チェスのようにルールを絞ったものに限定したことで原因を分類しやすくしてと言うことに思えました。次に失敗したときに見方が変わりそうですね。
どんな研究？
人はなぜ判断を間違えるのでしょうか？
考えられる原因をこの研究では大きく3つに分けました。
1.判断する人の能力が足りなかった
2.考える時間が足りなかった
3.そもそも問題自体が間違えやすかった
Anderson、Kleinberg、Mullainathanによる“Assessing Human Error Against a Benchmark of Perfection”は、この三要素をチェスの実戦データから分離しどれが一手ごとのミスを最もよく予測するか調べた研究です。
研究者が利用したのは盤上の駒が6個以下になった終盤です。この範囲はtablebaseというデータベースによって完全解析されており、最善のプレイ結果が「勝ち・引き分け・負け」のどれになるか数学的に確定しています。
そこでこの研究では、
・勝てる局面を引き分けまたは負けにした
・引き分けられる局面を負けにした
上記の自分の手で明確に状況が悪化した指し手をblunder（ブランダー、悪手）と定義しました。
一応触れておきますが、チェスはまだスーパーコンピュータを使ったとしても完全解析には程遠いような複雑なゲームです。しかしチェスは取った駒が盤上には復活しないルールから、対局が進むと取れる選択肢が減っていくことは確実であり、盤上に残った駒が6個以下になった時の状況は全て網羅された解析がなされているのです。
つまりこの研究では、通常のチェスコンピュータによる7駒以上残っている時のような「完全解析されていないがコンピュータの計算の結果高い確率で悪い手」というものは考えず、理論上完全解析されている範囲での本当に結果を悪化させた手だけを、明確なミスとして扱えるのがこの研究の強みです。
データは、FICS（フリーインターネットチェスサーバー）のオンライン対局約2億局と、強豪選手による国際大会約100万局から集められました。そこから取り出された分析対象は、FICSで約2,460万局面、強豪棋譜で約88万局面です。
ちなみにFICSは西暦2010年前後におけるオンラインチェス対戦サーバーの大手です。現在のチェス対戦サイト2大巨頭、chess.comとLichess.orgがまだ有力になる前の時代にとても大きな影響力がありました（ブログ筆者の私がギリギリ知ってる当時のオンラインチェスの時代背景）。
そして局面の難しさを表すために、研究者はblunder potential（潜在的悪手）という指標を導入しました。
blunder potential = 理論結果を悪化させる合法手の数 / すべての合法手の数
合法手が10通りあり、そのうち8通りが勝ちを逃すなら、blunder potentialは0.8です。人間がランダムに指すという意味ではなく、「その局面にどれだけ落とし穴が密集しているか」を表す指標と考えると分かりやすいと思います。
研究で分かった事
最大の発見は「誰が指すか」より「何を指すか」が重要だったという事。
全体としては、予想どおりレーティングが高いプレイヤー（強いプレイヤー）ほどミス率が低くなりました。残り時間がほとんどないときにも、ミス率は急上昇しています。
したがって、棋力や時間が無関係だったわけではありません。
ところが、一手ごとのミスを予測するうえではそれ以上に局面のblunder potentialが強い情報を持っていました。
ミスと非ミスを半数ずつに調整した60万件のデータでは、次の結果になっています。
ランダム予測 → 50%
blunder potentialのみ → 73%
局面難度に関する情報すべて → 75%
棋力のみ → 55%
残り時間のみ → 53%
棋力・時間・局面難度すべて → 75%
つまり、局面難度を知っているモデルに棋力と時間を追加しても、この条件では予測精度がほとんど上がりませんでした。
ですが、これは「棋力は意味がない」という結果ではありません。盤面を完全に同一にして比較すると、棋力だけでも平均62%の予測精度がありました。正確には、棋力は同じ局面に直面した人どうしを比べると重要だが、さまざまな局面を横断して一手のミスを予測する場合は、局面差の方がはるかに大きいという結果です。
他に分かった意外な事
・強い人ほど間違える局面もあった
頻出する同一局面をレーティング別に調べると、局面は三種類に分かれました。
・強くなるほどミスが減る局面
・棋力が変わってもミス率がほぼ変わらない局面
・強くなるほどミスが増える局面
最後の強くなるほどミスが増える局面は、特に意外な発見です。
2017年版では一定以上の時間を使ったケースに限定して再分析しています。それでも分類は維持されたため、単に強い人が油断して即指しした、あるいは時間切迫に陥っていたという説明だけでは足りません。
・長く考えた手ほどミス率が高かった
残り時間が充分ある場面に限定すると、ほぼ即指しされた手の悪手率は約4%だったのに対し、標準より4倍以上時間を使って考えた手では悪手率が8%以上になりました。
ただし、これは「長考すると弱くなる」という意味ではありません。
難しいと感じたから長く考え、それでも難しさを克服できなかった可能性が高いのです。長考はミスの原因というより、プレイヤー自身が感じている不確実性や難しさのサインと考えた方が自然です。
・同じ盤面でも、直前の手によってミス率が変わった
2017年版では、現在の盤面だけでなく相手のどの手によってその局面に到達したかも分析されました。
すると、頻出局面の10%以上で代表的な二種類の直前手によってミス率に5ポイント以上の差がありました。1%以上の局面ではその差が20ポイント以上に達しています。
チェスの理論上は現在の盤面が同じなら正解もほぼ同じです。しかし人間の判断は盤面だけでなく「そこへどうやって来たか」にも影響されていたのです。
結果を研究者はどう考えたのか
・私たちは状況よりも人を責めすぎる
研究者は局面難度の強さを「基本的帰属の誤り」と関連づけています。
人が失敗すると、私たちは「能力が低い」「注意力がない」と本人の性質に原因を求めがちです。しかし実際には、非常に優秀な人でも間違った選択肢が大量に並んだ危険な状況ではミスを起こします。
逆に、能力が低い人でも安全な状況なら間違えないことがあります。
この研究は、失敗を理解するには「誰が失敗したか」だけでなく「その人にどのような選択肢が提示されていたか」を見る必要があると示しています。
・知識が一時的に逆効果になる可能性
強い人ほど間違える局面について、研究者は心理学のU-shaped developmentとの類似を指摘しています。
さて、U-shaped developmentとは何なのでしょうか？
子どもの言語習得では、最初は丸暗記によって正しい不規則動詞を使えていたのに、過去形の規則を学ぶと“spoke”を“speaked”と間違え、その後さらに学習して再び正しく使えるようになることがあります。
同様にチェスでも、
1.初心者が単純な理由で正解する
2.中級者が一般的な原則を覚え、例外的局面にも適用して間違える
3.熟達者が例外まで理解して再び正解する
という経路が考えられます。このような「正用→誤用→正用」のよくある成長過程をU-shaped development（U字型発達）と言います。
注意点として、論文のデータはこの過程を直接追跡したものではありません。あくまで強くなるほどミスが増える局面を説明し得る仮説です。
・直前の手が「注意の向き」を変える
同じ盤面でも到達経路によってミス率が変わる理由として、研究者は二つの可能性を挙げています。
一つは、相手の直前手によって特定の駒や脅威に注意が引きつけられることです。その結果、別の重要な部分を見落としやすくなります。
もう一つは、直前までの指し手がその人の「この局面に限った理解度」を表している可能性です。レーティングは総合的な棋力ですが、現在のプランを正しく理解しているかまでは分かりません。直前の指し手は、レーティングには表れない局面固有の理解を示しているのかもしれないわけです。
この研究では言い切れないことや注意点
この研究は非常に大規模ですが、結果を「人間の判断一般」にそのまま広げる事は慎重になるべきです。
・第一に、対象は完全解析できる6駒以下の終盤です。中盤や序盤には、tablebaseのような完全な正解表がありません。駒数が多くなっても同じ結果になるとは限りません。
・第二に、時間分析はFICSの3分切れ負けを中心にしています。長時間対局や、1手ごとに秒数が加算される対局では、時間の使い方が異なる（時間指標を同じように扱えない）可能性があります。
・第三に、この研究の「ミス」は勝ち・引き分け・負けという理論上の結果を悪化させた手だけです。勝ちは維持したが非常に難しい勝ち方にしてしまった手や、引き分けではあるが実戦的には危険な局面を選んだ手は含まれません。
・第四に、観察研究なので因果関係までは確定できません。
長く考えたから間違えた？強くなったから特定局面で間違えるようになった？直前の手が注意を変えた？そのような因果を直接証明した研究ではありません。
・第五に、75%という予測精度はミスと非ミスを半数ずつに調整したデータで測定されています。実際の対局では非ミスの方が多いため、現実の発生率に対する「75%」とは意味が異なります。
そして最大の限界は、現実の医療や運転にはtablebaseに相当する完全な正解が存在しない事です。この研究は他分野への応用可能性を示していますが、他分野でも局面難度が必ず最重要になると証明したわけではありません。
関連研究
・時間がなくなると、棋力差も縮まる
2007年、オンライン対局と世界選手権のデータから制限時間が短くなるほど棋力差が勝敗を予測しにくくなるという研究がありました。
これは「強い人は直感が優れているので、時間がなくても棋力差を維持できる」という単純な予想に反します。高い棋力を発揮するうえでも、探索や確認といった遅い思考過程が重要だと解釈されています。
・熟練者も、知っているパターンに視野を奪われる
2008年の研究では、チェス熟練者に「よく知られた解法」と「より優れた解法」が共存する問題を見せました。
熟練者はより良い解法を探しているつもりでも、視線は最初に思いついた既知の解法に関係する部分へ偏り続けました。これはいわゆる「構え効果」と呼ばれます。
この研究は、知識やパターン認識が例外的な局面で注意を固定し、強くなるほどミスが増える局面や到達経路によるミス率の違いを生む可能性を示しています。ただし、元研究の個々の異常局面の原因を直接証明したものではありません。
・「最善手」ではなく「人間が指しそうな手」を予測するMaia
2020年、人間の棋譜から学習し特定の棋力帯の人が実際に選びそうな手を予測するAI「Maia」を開発しました。
通常のチェスエンジンは最善手を求めますが、Maiaは人間の意思決定そのものをモデル化します。さらに、次の一手で大きなミスが起きるかを予測するモデルも構築しました。
これは「どの局面で人は間違えるか」という本研究の問いを、ニューラルネットワークによる人間らしい指し手の予測へ発展させた研究と位置づけられます。
まとめ
この研究の核心は「棋力より局面が重要だった」という順位付けだけではないと思います。
レーティングは、その人が長期的かつ平均的にどれほど強いかを示します。一方blunder potentialは今この瞬間に事故が起きやすいかを示します。
つまり、能力は人に備わった固定値というより直面する状況との組み合わせによって発揮されると考えた方が、人間の失敗を正確に捉えられそうです。
この視点に立つとミス対策も変わるのではないでしょうか。従来は「もっと勉強する」「注意深くなる」「考える時間を増やす」と、主に人を改善しようとしてきました。
しかし同じくらい、
・間違った選択肢を減らす
・危険な局面だけ警告を出す
・正解に必要な情報を目立たせる
・一つの考え方に注意が固定されていないか確認する
といった、判断環境の設計も重要になります。
チェス学習に置き換えるなら悪手を指したあとに「自分は弱い」と片づけるのではなく、
・合法手の大半が失敗になる局面だったか
・正解が一手しかない局面だったか
・相手の直前手に注意を誘導されていたか
・知っている原則を例外的局面へ機械的に適用していなかったか
まで振り返る方が再現性のある学習になると思われます。
人を訓練することと、間違えにくい状況を作ること。この二つを同時に考えるべきだというのが、この研究から得られる最も実用的な教訓になりそうです。
参考資料
2016年版Assessing Human Error Against a Benchmark of Perfection
2017年版Assessing Human Error Against a Benchmark of Perfection
