リチャード・ソーチャー

ウィキ
, , , ,
1

German-American NLP pioneer who brought neural networks into natural language processing, invented GloVe word vectors and foundational ideas in prompt engineering, and has since built a series of AI companies — MetaMind, You.com, and Recursive — each aimed at making AI more widely accessible or capable.

プロフィール
生年月日 1983年、東ドイツ・ドレスデン
国籍 ドイツ系アメリカ人
現在の所属機関 Recursive（CEO兼共同創業者）；You.com（CEO兼創業者）；AIX Ventures（創業者兼マネージング・パートナー）
研究分野 自然言語処理、深層学習、単語表現、マルチタスク学習、再帰型ニューラルネットワーク、AI検索、自己改善型AIシステム
博士課程指導教官 クリストファー・マニング；アンドリュー・ング
博士論文 Recursive Deep Learning for Natural Language Processing and Computer Vision（スタンフォード大学、2014年）
ウェブサイト socher.org
X / Twitter @RichardSocher
Google Scholar Richard Socher — 180,000件以上の被引用数

概要

リチャード・ソーチャーは、ドイツ系アメリカ人のAI研究者でありシリアルアントレプレナーである。彼が深層ニューラルネットワークを自然言語処理に導入した当時、研究コミュニティはこのアプローチに深い懐疑の目を向けていた。スタンフォード大学での博士課程およびポスドク初期の、クリストファー・マニングおよびアンドリュー・ングとともに行った研究は、再帰型ニューラルネットワークを言語の構成意味理解のための実用的なアーキテクチャとして確立し、スタンフォード感情ツリーバンクを導入し、長年にわたり最も広く使用された単語埋め込み手法であるGloVeを生み出した。MetaMind（2016年にセールスフォースが買収）を創業し、セールスフォースのチーフサイエンティストを務めた後、すべてのNLPタスクを質問応答として扱うというアイデアを提案したdecaNLP論文を共同執筆し、これはプロンプトエンジニアリングパラダイムに影響を与えた。2020年には、検索エンジンとして初めて言語モデルを統合したYou.comを共同創業し、2026年には再帰的自己改善型スーパーインテリジェンスを追求する企業Recursiveを立ち上げ、創業から数ヶ月で評価額46.5億ドル、6.5億ドルの資金調達を達成した。Google Scholarでの被引用数は18万件を超え、3つの異なるNLPの10年間においてそれぞれ第一著者としての栄誉を獲得した数少ない研究者の一人である。

生い立ちと教育

ソーチャーは1983年、当時は東ドイツであったドレスデンで生まれ、再統一後、数学と技術の文化が強い街で育った。彼は自身の道のりを、数学と言語という二つの情熱の、ありそうでなかった交点を探す旅だったと述べており、その交点を計算言語学とNLPに見出した。2003年頃にドイツで言語情報科学を学び始めた後、博士課程のために米国に移った。

スタンフォード大学では、クリストファー・マニング（スタンフォードNLPを率いる第一級の計算言語学者）とアンドリュー・ングの共同指導のもと、コンピュータサイエンスの博士号を取得した。博士論文『Recursive Deep Learning for Natural Language Processing and Computer Vision』（2014年）は、木構造ニューラルネットワークを言語理解のための汎用アーキテクチャとして包括的に扱った初めての研究であり、2014年にスタンフォード大学アーサー・L・サミュエル最優秀コンピュータサイエンス博士論文賞を受賞した。その後、スタンフォードCS学科の兼任教授を務め、CS224n（深層学習による自然言語処理）を教鞭をとり、その講義録画は公開され、世界的に最も視聴されたNLPコースの一つとなった。

出生地であるドレスデンの旗艦的な工科大学であるTUドレスデンから、AIへの貢献に対して名誉博士号（Dr.-Ing. h.c.）を授与されている。

経歴

スタンフォードNLPグループ — 博士研究（2010–2014年）

ソーチャーの博士課程時代は、ほとんどすべてのNLP研究が統計的・ルールベースの手法を用い、ニューラルネットワークは言語には不適切と見なされていた時期と重なる。2010年からICML、EMNLP、NIPS、ICLRに発表を重ね、再帰型ニューラルネットワーク — その構造が文の構文解析木を反映するネットワーク — が、感情分析、言い換え検出、シーン解析、意味役割付与などのタスクにおいて、最先端の統計的手法を上回る構成表現を学習できることを実証した。

2013年には、スタンフォード感情ツリーバンク（SST）を導入した。これは、文レベルだけでなく解析木の各ノードで感情をアノテーションしたデータセットであり、節をまたいで感情がどのように構成されるかを詳細に研究することを可能にした。付随する再帰型ニューラルテンソルネットワーク（RNTN）モデルは、このデータセットでベンチマークを確立し、広く採用された。この2013年の論文は、10年後の2023年にACL Test of Time Awardを受賞した。

2014年には、ジェフリー・ペニントンおよびクリストファー・マニングとともに、EMNLPでGloVe（Global Vectors for Word Representation）を発表した。GloVeは局所的な文脈窓ではなく、大域的な共起統計から単語埋め込みを学習し、数年にわたり標準的なベンチマークでWord2Vecを凌駕した。2018年頃に文脈化埋め込み（ELMo、BERT）に取って代わられるまで、NLP研究におけるデフォルトの単語表現となった。

MetaMind — CEO兼CTO（2014–2016年）

博士号取得後すぐに、ソーチャーはMetaMindを創業した。パロアルトに拠点を置くAIスタートアップで、専門外の企業でもニューラルネットワークのトレーニングを利用しやすくするツールを構築した。MetaMindはNLPやコンピュータビジョンモデルのトレーニングのためのクラウドプラットフォームを提供し、ヘルスケアやカスタマーサービスなどの業界向けにエンタープライズNLPアプリケーションを構築した。同社は2016年にセールスフォースに買収された。

セールスフォース — チーフサイエンティスト兼EVP（2016–2020年）

セールスフォース初のチーフサイエンティスト兼エグゼクティブバイスプレジデントとして、ソーチャーはセールスフォースリサーチ部門を小さなグループから、世界で最も活発な産業用NLP研究チームの一つに育て上げた。彼の指揮下のチームはICML、NeurIPS、ICLR、ACLに論文を発表し、競争力のある学術研究と並行して、一連の影響力のある応用システムを生み出した。

この期間の主要な研究成果には、CoVe（Contextualized Word Vectors、NeurIPS 2017、ブライアン・マッキャン、ジェームズ・ブラッドベリー、サイミン・ションとの共著）がある。これはELMoに先立ち、ニューラル機械翻訳モデルから転移された表現が下流のNLPタスクの性能を向上させることを実証した — これはNLPにおける転移学習の初期の実証であり、ELMoやBERTの先駆けとなった。セールスフォースチームはまた、抽象的な要約に関する研究（Deep Reinforced Model、ICLR 2018）や、税制政策を研究するための強化学習フレームワークであるAI Economistを発表した。

セールスフォース時代の中心的な成果は、「The Natural Language Decathlon（decaNLP、2018年、ブライアン・マッキャンとの共著）」である。これは、質問応答、翻訳、要約、感情分析、意味解析など、10の多様なNLPタスクを、文脈に対する質問応答として一律に扱うことを提案した。この論文はマルチタスク質問応答ネットワーク（MQAN）を導入し、タスク固有のモジュールなしで、単一のモデルアーキテクチャが一般的な言語理解を処理できるという主張を展開した。このフレーミング — 言語タスクは質問応答インターフェースの下で統合でき、適切にプロンプトされたモデルはタスク間で転移できる — は、OpenAIのGPT-2の論文で直接引用されており、現代のプロンプトエンジニアリングパラダイムの先駆けと見なされている。

You.com — 共同創業者兼CEO（2020年–現在）

2020年、ソーチャーとブライアン・マッキャンはYou.comを共同創業し、2021年に公開した。これは、大規模言語モデルを検索インターフェースに直接統合した初めての検索エンジンであり、Google、Microsoftなどによる同様の動きよりも約2年先行していた。同社の初期のテーゼは、LLMの出力をリアルタイムの検索検索に基づかせることが、幻覚を減らす最も実用的な道であるというものであり、この立場は後に常識となった。You.comは複数回のラウンドで9900万ドルを調達し（NVIDIA、セールスフォース・ベンチャーズ、DuckDuckGoなどから）、評価額は約15億ドルに達した。同社は消費者向け検索からエンタープライズおよびデベロッパー向けAPIへとピボットし、Web検索、コンテンツ抽出、リサーチ、金融リサーチAPIを提供しており、これらはOpenAI、Amazon、Alibaba、その他の主要なAI開発者に利用されている。

AIX Ventures — 創業者兼マネージング・パートナー（2021年–現在）

You.comと並行して、ソーチャーはAIスタートアップに特化したベンチャーキャピタルファームであるAIX Venturesを創業した。同ファンドは90件以上の投資を行っている。ソーチャーの元博士課程の学生やインターンの数人は、著名なAI企業を創業しており、彼の指導を受けた者のうち少なくとも4人が、Hugging FaceやCommureの共同創業者を含む、数十億ドル規模の企業を率いていると述べている。

Recursive — 共同創業者兼CEO（2026年–現在）

2026年初頭、ソーチャーはティム・ロックテシェル、ティム・シー、ジョシュ・トービン、サイミン・ション、ジェフ・クラウン、ユアンドン・ティエン、アレクセイ・ドソビツキーの7人の共同創業者とともにRecursive（Recursive Superintelligenceとしても知られる）を創業した。同社の掲げる使命は、再帰的自己改善型スーパーインテリジェンスを構築することである。これは、AI研究自体を皮切りに、物理学、化学、臨床前生物学へと拡大し、自律的に新しい科学的知識を発見できるAIシステムである。ソーチャーはこの野心を「生物学にとっての計算が、物理学にとっての微積分であったように、AIを生物学にする」と表現している。Recursiveは、GV（旧Google Ventures）とGreycroftがリードし、NVIDIAとAMDのベンチャー部門も参加したラウンドで、評価額46.5億ドルで6.5億ドルを調達した。アドバイザーおよび連携研究者には、ピーター・ノーヴィグ、ジェフリー・ペニントン、クリス・カミンズが含まれる。

主要な貢献

  • NLPのための再帰型ニューラルネットワーク（2010–2014年） — ICML 2011（最優秀論文賞）に始まる一連の論文。木構造再帰型ニューラルネットワークを、言語の構成理解のための実用的なアーキテクチャとして確立し、ニューラルネットワークが構文解析、感情、シーン理解、意味役割付与において統計的手法に匹敵するか、それを上回ることを示した。この一連の研究は、現代の深層学習NLP時代の出発点である。

  • スタンフォード感情ツリーバンク（SST）とRNTN（EMNLP 2013年） — 構成素解析木の各ノードで感情をアノテーションした初めての大規模データセットを作成し、言語構造全体で感情がどのように構成されるかを推論できるモデルのトレーニングを可能にした。SSTは、きめ細かい感情分析の標準的なベンチマークとなっている。ACL 2023 Test of Time Awardを受賞。

  • GloVe — Global Vectors for Word Representation（EMNLP 2014年） — ジェフリー・ペニントン、クリストファー・マニングとの共著。局所的な文脈ではなく、大域的な共起行列の因数分解から学習する教師なし単語埋め込み手法。発表当時は一貫してWord2Vecを上回った。GloVeは約4年間、NLP研究におけるデフォルトの単語表現となり、その事前学習済みベクトルは現在も広く配布・使用されている。

  • CoVe — Contextualized Word Vectors（NeurIPS 2017年） — ブライアン・マッキャン、ジェームズ・ブラッドベリー、サイミン・ションとの共著。ニューラル機械翻訳モデルのエンコーダ表現を他のNLPタスクに転移することで性能が向上することを実証。NLPにおける転移学習の初期の実用的な実証の一つであり、ELMoやBERTの先駆け。

  • decaNLP / The Natural Language Decathlon（2018年） — ブライアン・マッキャンとの共著。すべてのNLPタスクを質問応答として扱うマルチタスク質問応答フレーミングを導入し、タスク固有のパラメータなしで10のタスクにわたって単一モデルをトレーニングし、プロンプトベースのタスク指定を提案した。この論文はGPT-2の論文で引用され、インストラクションチューニングとプロンプトエンジニアリングの概念的な先駆けとして認識されている。

  • CS224n — 深層学習によるNLP — ソーチャーが設計・指導したスタンフォードのコース。2016年から講義録画が公開されており、世界中のNLP深層学習人材のかなりの割合を育成してきた。複数の研究者の世代が、この分野への入り口としてこのコースを挙げている。

  • You.com APIプラットフォーム — 言語モデルの検索エンジンへの最初の商用統合（2021年）。OpenAIやAmazonを含む主要なAI開発者に採用されているエンタープライズ検索・リサーチAPIへのピボット。LLMの出力をリアルタイムのWebコンテンツに基づかせる検索インフラを提供している。

受賞歴と栄誉

  • ICML最優秀論文賞（2011年） — NLPのための再帰型ニューラルネットワークに関する初期の研究に対して。当時、ニューラル手法に懐疑的なコミュニティにおいて、激しく争われた結果だった。
  • Microsoft PhD Fellowship — スタンフォード大学博士課程在籍時に受給。
  • アーサー・L・サミュエル最優秀コンピュータサイエンス博士論文賞、スタンフォード大学（2014年） — 『Recursive Deep Learning for Natural Language Processing and Computer Vision』に対して。
  • PAMI Longuet-Higgins Prize — スタンフォード時代に共著したImageNet論文に対して。コンピュータビジョンへの基本的な貢献を称えて。
  • WEF Young Global Leader（2016年） — 世界経済フォーラムにより選出。
  • TUドレスデン名誉博士号（Dr.-Ing. h.c.） — 出生地の工科大学より、AIへの貢献に対して。
  • ACL Test of Time Award（2023年） — 2013年のEMNLP Sentiment Treebank論文に対して。10年後に分野への永続的な影響が認められた。
  • TIME100 AI（2023年） — Time誌のAI分野で最も影響力のある100人の初のリストに選出。
  • WEF Technology Pioneer（2024年） — AI駆動の情報アクセスへのYou.comの貢献に対して。

主要な関係

  • クリストファー・マニング — スタンフォード大学での博士課程指導教官。米国を代表する計算言語学者であり、ソーチャーの再帰型NN研究が発展した知的基盤。GloVeおよび多くの基礎的なNLP論文の共著者。ソーチャーの研究は、マニングの確率的NLPの伝統をニューラル手法で拡張し、変容させた。
  • アンドリュー・ング — 博士課程の共同指導教官。ソーチャーの研究を支えた深層学習の視点と大規模MLインフラの考え方を提供。いくつかの初期の論文を共著し、ソーチャーをGoogle Brainネットワークにつないだ。
  • ブライアン・マッキャン — ソーチャーのキャリアの中で最も緊密な研究協力者。セールスフォースリサーチでCoVeとdecaNLPを共著し、You.comを共同創業。マッキャン＝ソーチャーの協力関係は、セールスフォースリサーチの中でも現代のLLMパラダイムに最も影響を与えた成果を定義した。
  • ジェフリー・ペニントン — GloVeの共著者。後にGoogle Brainのシニア研究者となる。現在はRecursiveの共同創業者であり、3つの企業にわたり15年に及ぶ協力関係を継続している。
  • サイミン・ション — セールスフォースリサーチの中心的人物であり、CoVeおよびその後の研究の共著者。現在はRecursiveの共同創業者。
  • ティム・ロックテシェル — UCL教授、Google DeepMind研究者。オープンエンド学習とニューロシンボリックAIの専門知識を、共同創業者としてRecursiveにもたらした。
  • ジェフ・クラウン — 進化計算とオープンエンド性の研究者（元OpenAI、UBC）。Recursiveの共同創業者。彼のオープンエンド学習研究は、Recursiveの自己改善アジェンダと直接的に一致する。

パーソナルスタイル

ソーチャーのキャリアは、主流になる前の不人気な立場を擁護する意欲 — 2010年のNLPのためのニューラルネットワーク、2020年のLLM統合検索、2026年の再帰的自己改善 — と、それについて単に発表するのではなく、それを中心に企業を構築することによって定義される。彼の知性の気質は、本来の意味で学際的である。数学と言語の交点にNLPがあり、視覚、言語、生物学、経済学にわたって一貫して活動し、専門分野に狭まることを拒んできた。指導者としても非常に多産であり、彼の博士課程の学生やインターンの複数が、重要なAI企業を創業している。研究以外では、パラモーター航空とアドベンチャー写真に、研究と同じ体系的な集中力で取り組んでいる。アイスランド、ナミビア、米国国立公園から撮影した彼の航空写真カタログは、独自のファンを持っている。彼は自身の仕事のモットーを「より良く、より良く、決して終わらない」と表現している。

参考文献