ノーム・ブラウン

ウィキ
, , , ,
1

OpenAIの研究科学者であり、oシリーズ推論モデルの基礎的な貢献者。不完全情報下での戦略的推論に関する10年にわたる研究プログラムから、ポーカーと戦略ゲームDiplomacyにおいて、3つの人間を超えるAIのマイルストーン（Libratus、Pluribus、CICERO）を生み出し、その後、大規模言語モデルにおける推論問題に収束した。

プロフィール

分野 詳細
氏名 Noam Brown
生年月日 非公開
国籍 アメリカ
現在の所属機関 OpenAI
現在の役職 研究科学者
研究分野 推論、強化学習、自己対戦、マルチエージェントAI、不完全情報ゲーム、計算論的ゲーム理論
博士論文 『大規模対戦型不完全情報ゲームにおける均衡発見』(CMU, 2020)
博士指導教官 Tuomas Sandholm
個人ウェブサイト noambrown.com
X / Twitter @polynoamial
GitHub noambrown
Google Scholar RLDbLcUAAAAJ

概要

Noam BrownはOpenAIの研究科学者であり、AIとゲームの現代史において最も重要な人物の一人である。不完全情報環境における均衡発見と探索という統一された理論的基盤から、それぞれが初のマイルストーンとなる3つのシステムを共同開発した。Libratus (2017年)は、ヘッズアップ・ノーリミット・テキサスホールデムにおいてトップクラスの人間プロフェッショナルを初めて打ち負かしたAI。Pluribus (2019年)は、6人プレイヤーマルチプレイヤーポーカーでトッププレイヤーを初めて打ち負かし、その結果は『Science』誌の表紙を飾った。CICERO (2022年)は、自然言語戦略ゲームDiplomacyにおいて人間レベルのパフォーマンスを初めて達成したAIであり、こちらも『Science』誌に掲載された。2023年にOpenAIに加わったBrownは、oシリーズ推論モデル (o1、o3)の基礎的な貢献者となり、ゲームプレイ研究から直接得た、推論時に計算量を増やすことでパフォーマンスがスケールするという同じ洞察を大規模言語モデルに適用した。彼はCMUから3つの論文賞、Marvin Minsky Medal、NeurIPS最優秀論文賞を受賞し、MIT Technology Reviewの「35歳未満の革新者35人」に選ばれた。

生い立ちと教育

BrownはRutgers Universityを2005年から2008年にかけて数学とコンピュータサイエンスのB.A. (summa cum laude) で卒業し、Rutgers College Honors Programのメンバーであった。Rutgers在学中および卒業後すぐ、彼はニューヨークのMJM Trading Groupでアルゴリズム取引エンジニアとして働き（2006年～2010年）、不確実性下での定量的な意思決定に関する初期の経験を積み、これが後の研究興味を形成した。2010年から2012年にかけては、連邦準備制度理事会の国際金融市場部門に勤務し、金融市場におけるアルゴリズム取引の研究を行った。

2012年にカーネギーメロン大学に入学し、ロボティクスのM.S.（2012年～2014年）とコンピュータサイエンスのPh.D.（2014年～2020年）を取得した。いずれもTuomas Sandholmを指導教官としている。博士論文『大規模対戦型不完全情報ゲームにおける均衡発見』は、より高速な後悔最小化(CFR)の亜種、安全で入れ子になったサブゲーム解決、深さ制限探索など、一連のアルゴリズム的進歩を開発し、これらを組み合わせることで、初めて本格的なポーカーにおいてトップクラスの人間プロフェッショナルを打ち負かすAIを可能にした。この論文は、CMU School of Computer Science Distinguished Dissertation Award、AAAI ACM-SIGAI Dissertation Award、IFAAMAS Victor Lesser Distinguished Dissertation Awardを受賞した。

経歴

MJM Trading Group — アルゴリズム取引エンジニア (2006年～2010年)

ニューヨークでアルゴリズム取引に従事し、定量的戦略を開発、対戦型金融市場における不確実性下での意思決定に関する初期の経験を得た。

連邦準備制度理事会 — 研究助手 (2010年～2012年)

国際金融市場部門で研究を行い、アルゴリズム取引と金融市場のマイクロストラクチャーを研究した。また、FedEdを通じてアウトリーチ活動を組織し、ワシントンDC地域の高校生に金融リテラシーと金融政策を教えた。

カーネギーメロン大学 — 研究助手、Ph.D. (2012年～2020年)

Tuomas Sandholmの下で、Brownは能力が増大する一連のポーカーAI、Tartanian7 (AAAI 2015チャンピオン)、Claudico、Baby Tartanian8 (2016チャンピオン)、そして最終的にLibratusとPluribusを構築した。コンピュータポーカー競技会での毎年の優勝と、プロプレイヤーとの2つの画期的な一騎打ち競技（2017年1月のLibratus、2019年7月のPluribus）により、彼はAIの壮大な挑戦としてのポーカー解決における中心人物となった。また、2017年にはロンドンのDeepMindで夏季研究インターンシップを修了した。

Facebook AI Research (FAIR / Meta) — 研究科学者 (2018年～2023年)

Ph.D.を修了しながらニューヨークのFAIRに入所し、その後フルタイムで継続。FAIRでは、Brownは不完全情報ゲームの研究を2プレイヤーゼロサム環境から協調的・混合動機ゲームへと拡張した。彼は一連のDiplomacyプレイAIを共同開発し、最終的にCICEROに至った。これは、戦略計画と、連合形成、交渉、欺瞞のための自然言語コミュニケーションの両方を必要とするDiplomacyにおいて、人間レベルのパフォーマンスを達成した初のAIである。CICEROは2022年11月にMetaのFundamental AI Research Diplomacy Teamの共同論文として『Science』誌に掲載された。また彼は、不完全情報ゲームのための深層強化学習と探索を組み合わせた汎用フレームワークであるReBeL (NeurIPS 2020)を共同開発した。

OpenAI — 研究科学者 (2023年～現在)

2023年にサンフランシスコのOpenAIに入所し、推論、強化学習、自己対戦、マルチエージェントAIに取り組む。Brownはoシリーズ推論モデルの基礎的な貢献者となり、その最初のモデルであるo1（コードネーム「Strawberry」）は2024年9月に公開された。彼は公開時点で自身の関与をX上で公に確認し、その後、バークレーのSimons Institute、ハーバード大学のKempner Institute、CMUのKatayanagi Distinguished Lectureシリーズ、NUSなどの会合でoシリーズの研究を発表している。oシリーズの根底にある中核的なアイデア（複雑な推論タスクにおけるLLMのパフォーマンスが、より多くの強化学習計算量とより多くの推論時計算量によって予測可能にスケールするというもの）は、Brownがゲームプレイ研究全体で実証してきた「探索によるスケーリング」の洞察を直接拡張したものである。

主な貢献

  • Libratus (Brown and Sandholm; 『Science』, 2017年) — ヘッズアップ・ノーリミット・テキサスホールデムにおいてトップクラスの人間プロフェッショナルを初めて打ち負かしたAI。2017年1月、4人のトップランクプロフェッショナルに対して12万ハンドで100ハンドあたり14.7ビッグブラインド以上の差をつけて勝利。安全で入れ子になったサブゲーム解決と拡張CFRアルゴリズムに基づく。HPCWireの「Best Use of AI」賞を受賞。『Science』誌の「2017年の科学的ブレークスルー・オブ・ザ・イヤー」最終候補12件の1つに選出。Marvin Minsky Medal for Outstanding Achievements in AIを受賞。

  • Pluribus (Brown and Sandholm; 『Science』, 2019年、表紙記事) — 6人プレイヤーノーリミットテキサスホールデムにおいてトップクラスの人間プロフェッショナルを初めて打ち負かしたAI。世界トップクラスのプロフェッショナル5人を同時に含むフィールドに対して人間を超えるパフォーマンスを達成。マルチプレイヤー不完全情報ゲームのための深さ制限先読みを導入。『Science』の表紙に掲載され、『Science』の2019年のブレークスルー・オブ・ザ・イヤー次点（9件中1件）に選ばれた。『Science』誌の2019年のトップ10科学的ブレークスルーの1つに選ばれた。

  • CICERO (Meta FAIR Diplomacy Team、Brownは主任研究科学者として参加; 『Science』, 2022年) — ボードゲームDiplomacyにおいて人間レベルのパフォーマンスを達成した初のAI。このゲームでは、複数プレイヤー間での自然言語交渉、連合構築、戦略的欺瞞が必要とされる。CICEROは、コミュニケーションのための言語モデルと、均衡探索による戦略的推論を組み合わせ、オンラインゲームにおいて、自分がAIであることを知らされていない人間の対戦相手に対して、上位10%の成績を収めた。

  • Safe and Nested Subgame Solving for Imperfect-Information Games (Brown and Sandholm; NeurIPS 2017) — NeurIPS 2017最優秀論文賞。LibratusとPluribusの両方の中核的構成要素となったサブゲーム解決技法を導入。大規模不完全情報ゲームにおける理論的に基づいたリアルタイム計画を可能にした。

  • Deep Counterfactual Regret Minimization (Brown, Lerer, Gross, Sandholm; ICML 2019) — 後悔最小化を深層ニューラルネットワーク関数近似に拡張し、CFRを明示的に列挙されたゲーム木を超えてスケール可能にし、最大規模のポーカーの亜種などにも適用可能にした。

  • ReBeL: Combining Deep Reinforcement Learning and Search for Imperfect-Information Games (Brown, Bakhtin, Lerer, Gong; NeurIPS 2020) — 不完全情報ゲームのための、訓練時とテスト時の両方で深層RLと木探索を組み合わせた汎用アルゴリズム。完全情報ゲームパラダイム（AlphaZeroスタイル）と不完全情報環境の間のギャップを埋める。

  • OpenAI oシリーズ推論モデル (o1、o3) (OpenAI; 2024年～現在) — OpenAIのoシリーズの基礎的な貢献者。これは、応答前に隠された思考連鎖を生成するために強化学習を用いて訓練された最初のLLMである。o1（2024年9月リリース）は、国際数学オリンピックの予選試験で83%のスコアを達成し（GPT-4oの13%と比較）、科学ベンチマークで人間の博士レベルの精度を上回り、AI能力向上のための新しいパラダイムとして推論時計算スケーリングを確立した。これは、ゲームにおけるテスト時探索に関するBrownの研究の直接的な知的系譜にある。

受賞歴と認知

  • AAAI ACM-SIGAI Dissertation Award (2020年) — AI分野における最優秀博士論文に対して
  • IFAAMAS Victor Lesser Distinguished Dissertation Award (2020年) — マルチエージェントシステム分野における最優秀博士論文に対して
  • CMU School of Computer Science Distinguished Dissertation Award (2020年)
  • Marvin Minsky Medal for Outstanding Achievements in AI (2019年) — IJCAIによりLibratusに対して授与
  • MIT Technology Review 35 Innovators Under 35 (2019年)
  • Science誌「年間ブレークスルー」次点 (2019年) — Pluribus、9件の次点のうちの1つ
  • AAAI Outstanding Paper Honorable Mention (2019年) — 7,095件の投稿から特別な認知を得た4本の論文のうちの1つ
  • NeurIPS最優秀論文賞 (2017年) — 「Safe and Nested Subgame Solving for Imperfect-Information Games」、3,240件の投稿から選ばれた3本の最優秀論文のうちの1つ
  • Allen Newell Award for Research Excellence (2017年) — CMU School of Computer Science
  • Science誌「科学的ブレークスルー・オブ・ザ・イヤー」最終候補 (2017年) — Libratus、12件の最終候補のうちの1つ
  • Open Philanthropy AI Fellowship (2018年) — 7名の受賞者のうちの1人
  • Tencent AI Lab Fellowship (2018年) — 5名の受賞者のうちの1人
  • Annual Computer Poker Competition — ノーリミットテキサスホールデム部門 第1位 (2014年、2016年)
  • HPCWire「Best Use of AI」賞 — Libratusに対して (2017年、2018年)

主要な関係者

  • Tuomas Sandholm — CMUにおける博士指導教官であり、LibratusとPluribusの共同開発者。CMUのAngel Jordan University Professor of Computer Scienceであり、Strategy Robot, Inc.のCEO。Brownの不完全情報ゲーム解決における中核的方法論を生み出した基礎的な共同研究。

  • Adam Lerer — FAIRにおけるDiplomacy研究（CICEROやReBeLを含む）の主要な共同研究者。2018年から2023年にかけて、BrownとNeurIPS、ICLR、ICMLの複数の論文を共著。

  • Anton Bakhtin — FAIRにおけるCICEROおよびDiplomacy研究の共同リーダー。2022年の『Science』論文および関連する複数の会議論文の共著者。

  • Jakob Foerster — FAIRにおけるHanabiおよびDiplomacy関連問題の共同研究者。協調型不完全情報ゲームに関するいくつかの論文の共著者。

  • Hengyuan Hu — FAIRにおける人間-AI協調とHanabiに関する頻繁な共同研究者。自己対話最適方針と人間互換方針の区別を探求する複数の論文の共著者。

  • Gabriele Farina — 均衡発見理論に関する共同研究者（SandholmとICML 2019、ICLR 2023 Best Paper Honorable Mention）。Brownの研究における理論ゲーム理論の流れを代表する。

個人スタイル

Brownの研究キャリアは、単一の、徐々に深められてきた問いによって定義される。すなわち、情報が隠されており、他のエージェントが積極的にあなたを搾取しようとしている環境で、どのようにAIに戦略的に推論させるか、という問いである。主要なプロジェクト（ポーカー、Diplomacy、LLM推論）はすべて、この問いが増大する規模と複雑さで試される新たな領域である。彼は公開講演や投稿において、ゲームプレイ研究と推論モデルを結びつける知的連続性について異常なほど率直に語っており、ポーカーで発見された推論時計算量のスケーリング現象（より多くの探索＝より良い意思決定）は、現在思考連鎖推論モデルで観察されているものと同じ現象であると論じている。X（@polynoamial — polynomialの語呂合わせ）では、ベンチマーク、スケーリング挙動、研究キャリア、AI進歩の実用的影響について実質的に投稿しており、その口調は直接的で経験的に基づいている。彼は2009年以来毎夏、Rutgers Young Scholars Programを通じて才能ある高校生にゲーム理論を教え続けており、研究で名声を得る以前から続くアウトリーチへの長年の関心を反映している。

参考文献