Lilian Weng

OpenAIの元リサーチ&セーフティ担当VP、Thinking Machines Labの共同創設者、そしてLil’Logの著者——この分野で最も広く読まれている技術系MLブログであり、2017年から個人的な学習ノートとして書き始められ、AIコミュニティ全体で標準的なリファレンスとなったものです。


プロフィール

項目 詳細
国籍 中国系アメリカ人
現在の役職 Thinking Machines Lab共同創設者、Fellows Fund特別フェロー
研究分野 AI安全性、強化学習、LLMアライメント、報酬ハッキング、自律エージェント、ロボティクス
学歴 コンピュータサイエンス学士(中国)、コンピュータサイエンス博士(アメリカ)——注記参照
ブログ Lil’Log — lilianweng.github.io
X / Twitter @lilianweng
GitHub @lilianweng
Google Scholar scholar.google.com — 48,000件以上の被引用数

学歴に関する注記: 情報源によって詳細が矛盾しています。あるプロフィールでは北京航空航天大学の学士号とカーネギーメロン大学の博士号、別のものでは北京大学の学士号とインディアナ大学ブルーミントン校の博士号とされています。いずれも一次資料による確認は取れていません。彼女の博士研究は強化学習、ロボティクス、ネットワーク科学を対象としていました。


概要

Lilian Wengは中国系アメリカ人のAI安全性研究者であり、この分野で最も影響力のある書き手の一人です。最もよく知られているのは、OpenAIでの7年間にわたって互いに強化し合った二つの並行した貢献、すなわち同社の安全性インフラを構築する技術的リーダーシップと、2017年から個人的な学習ノートとして維持し、実務家の間で最も読まれた技術系MLブログとなったLil’Logです。彼女は2017年/2018年にOpenAIのロボティクスチームに加わり、Rubik’s Cube巧み操作プロジェクトに従事し、応用AI研究に移行し、Safety Systemsチーム(80人以上の科学者)を率い、2024年7月にリサーチ&セーフティ担当VPに任命されました——そして2024年11月に退任しました。Business Insiderは彼女を2024年AIパワーリストに選出しました。彼女は、Mira MuratiのAIスタートアップであるThinking Machines Labの共同創設者であり、John Schulman、Barret Zoph、Alec Radfordらと共に設立しました。彼女は中核的な特性として「粘り強さ」と「謙虚さ」を挙げており、その両方は数学競技会で才能の格差という現実に直面し、難しい問題に「全力を尽くさなければならない普通の人間」として取り組むことを学んだ初期の経験に根ざしています。


幼少期と教育

Wengは中国で育ち、幼い頃から数学に興味を持ち、多くの分野に渡る飽くなき好奇心を抱いていました——彼女は子供の頃、天文学から占星術まで百科事典を読み漁ったと述べています。彼女は幼い頃から数学競技会に参加し、その経験が彼女の仕事を特徴づける「謙虚さ」を形成したと語っています。急峻な才能の曲線に直面し、持続的な努力と明晰な思考が先天的な優位性よりも重要であることを内面化しました。

彼女は中国でコンピュータサイエンスの学士号(あるプロフィールでは北京航空航天大学、別のものでは北京大学)を取得し、その後アメリカでコンピュータサイエンスの博士号を取得し、研究は強化学習、ロボティクス、ネットワーク科学に及びました。彼女の深層学習への関心は博士研究後に芽生え、最終的にOpenAIへと導く好奇心に火をつけました。


経歴

OpenAI以前の産業界での経験

OpenAIに入社する前、WengはMeta(当時のFacebook)、Dropbox、Affirmなど、シリコンバレーのいくつかの企業でデータサイエンティストおよびソフトウェアエンジニアとして働いていました。また、Snapchatでリサーチサイエンティストの役割を務めたとも言われています。この実践的なエンジニアリング経験——AI研究ラボに入る前に本番環境でMLシステムを構築したこと——が、安全性とアライメントの問題に対する彼女の特徴的な応用志向のアプローチを形成しました。彼女は一貫して安全性を理論的な懸念事項としてではなく、製品エンジニアリングの課題として捉えました。

OpenAI(2017年末/2018年~2024年)

ロボティクスチーム(2018~2021年)
OpenAIでのWengの最初の役割はロボティクスチームであり、同社の初期の歴史の中で最も困難な物理的AI問題のいくつかに取り組みました。旗艦プロジェクトはRubik’s Cube巧み操作システム——強化学習を用いてロボットハンドにパズルを解かせるための複数年にわたる取り組みであり、2019年に何百ものシミュレーション設定にわたるドメインランダム化を用いて物理ロボットへの転移を実現し、公開デモが行われました。彼女はハードウェア研究の感情的な激しさについて、「物理実験を行うことは、非常に刺激的で、困難で、感情的な経験です」と述べています。ロボティクスの期間は、その後の安全性の取り組みを、強化学習の失敗モード、報酬ハッキング、シミュレーションと物理デプロイメントの間のギャップに関する実践的な理解に基づかせることになりました。

応用AI研究チーム(2021~2023年)
2021年、WengはOpenAIの応用AI研究チームに移り、同社の新興言語モデルの機能をダウンストリームアプリケーションに結び付ける研究を主導しました。この期間はChatGPTとGPT-4の開発と重なり、モデル動作の研究レベルの理解と、ユーザーに直面するコンテキストでシステムを確実かつ安全に機能させるための応用工学的視点を組み合わせる必要がありました。

Safety Systemsチームリーダー(2023~2024年)
2023年、WengはOpenAIのSafety Systemsチームのリーダーに任命されました。そのチームはピーク時には80人以上の科学者、研究者、政策専門家で構成されていました。チームの任務は、敵対的攻撃、ジェイルブレイク、RLHFトレーニングにおける報酬ハッキング、壊滅的リスクシナリオの評価など、フロンティアモデルからのリスクを防ぐことでした。彼女はまた、取締役会の安全性・セキュリティ委員会にも参加し、OpenAIのガバナンス構造の最高レベルで安全性に関する決定に対して正式な制度的監視責任を与えられました。

リサーチ&セーフティ担当VP(2024年7月~11月)
それまでの安全性責任者Aleksander Madryの退任に伴い、Wengは2024年7月にリサーチ&セーフティ担当VPに任命され、OpenAI全体の安全性研究を単一のリーダーシップの下に統合しました。彼女の任務には、既存の安全性システムの管理と、将来のモデルに対する準備評価の拡大の両方が含まれていました。この任命は、Jan Leike、John Schulman、Mira Muratiを含む、OpenAIからの安全性担当者のより広範な退任の波の中で行われました。

2024年11月15日、WengはXで退任を発表しました。「OpenAIでの7年間を経て、リセットして新しいことを探求する準備ができたと感じています。私は非常に難しい決断をしてOpenAIを去ることにしました。私たちが達成したことを見ると、Safety Systemsチームの皆をとても誇りに思いますし、チームが引き続き繁栄し続けると確信しています。」

Thinking Machines Lab — 共同創設者(2025年~現在)

WengはThinking Machines Labの共同創設者であり、同社は2025年初めに元OpenAIのCTOであるMira Muratiによって立ち上げられました。創業チームにはJohn Schulman、Alec Radford、Barret Zoph、そして他の数名のOpenAI出身者が含まれています。Thinking Machines Labは、人間とAIの協働に焦点を当てたAI研究および製品ラボとして位置づけられています。安全性システム、応用AI研究、ロボティクスにおけるWengのバックグラウンドは、ラボのアジェンダに直接結びついています。

Fellows Fund — 特別フェロー(2024年12月)

2024年12月、AIに特化したベンチャーキャピタル企業であるFellows Fundは、Wengを特別フェローとして迎えることを発表しました。彼女は次のように述べています。「Fellows Fundのミッションとビジョンは非常に魅力的です。このAIフェローグループに加わり、次世代のAI創業者を支援できることを光栄に思います。」


Lil’Log (lilianweng.github.io)

Lil’LogはWengの個人的なテクニカルブログであり、2017年から運営されています。彼女はホームページでその起源を簡潔に説明しています。「2017年から、このブログに学習ノートを記録しています。」自分の理解を固めるための個人的な習慣として始まったものが、その後数年の間に、ML研究およびエンジニアリングコミュニティにおいて最もリンクされ引用されるリソースの一つ——新しいトピックに遭遇した実務家にとっての標準的な最初のリファレンス——となりました。

このブログの権威は、並外れた深さ、教育的な明快さ、そして研究の最新性の組み合わせに基づいています。記事は通常20~45分で読める長さであり、関連文献を正式な表記法で体系的にカバーし、分野の進化に合わせて更新されます。これらは純粋なチュートリアルでも純粋な文献レビューでもなく、むしろ、あるトピックに関する大学院生の理想的な説明——技術的に厳密で、自己完結的であり、パフォーマンスではなく理解への真の好奇心によって駆動されているもの——に近いものです。

主な記事の抜粋:

記事 日付 意義
A (Long) Peek into Reinforcement Learning 2018年2月 強化学習の包括的概要。コースのリファレンスとして広く使用される
Meta-Learning: Learning to Learn in Few Steps 2018年11月 メタ学習への標準的な入門
Domain Randomization for Sim-to-Real Transfer 2019年5月 Wengのロボティクス研究コンテキストの詳細な技術的説明
What are Diffusion Models? 2021年7月 Stable Diffusion以前の拡散モデルへの標準的な入門となり、2024年まで繰り返し更新された
Contrastive Representation Learning 2021年5月 自己教師あり学習の包括的なサーベイ
How to Train Really Large Models on Many GPUs? 2021年9月 Greg Brockmanと共にOpenAIブログにアップグレード版を共著
Large Transformer Model Inference Optimization 2023年1月 推論効率の文献を体系化
Prompt Engineering 2023年3月 この分野への最も読まれた入門の一つ。「経験科学」と特徴づけた
LLM Powered Autonomous Agents 2023年6月 その後のエージェント研究で支配的となった計画/記憶/ツール使用のエージェントフレームワークを定義
Adversarial Attacks on LLMs 2023年10月 ジェイルブレイクと敵対的ロバスト性の包括的なサーベイ
Thinking about High-Quality Human Data 2024年2月 アノテーション品質、RLHFラベリング、データ作業の過小評価の分析
Reward Hacking in Reinforcement Learning 2024年11月 OpenAI時代の最後の主要記事。安全性に重要な失敗モードを統合
Why We Think 2025年5月 テスト時計算と思考連鎖推論の分析。John Schulmanに「非常に貴重なフィードバックと直接的な編集」に対して謝辞

「LLM Powered Autonomous Agents」(2023年6月)はWengの最も引用されたブログ記事です。これは一貫したフレームワーク——LLMをエージェントの頭脳とし、計画、記憶、ツール使用によって拡張する——を導入し、これは研究論文と製品開発の両方におけるエージェントシステム設計の参照概念構造となりました。この記事が、分野がLLMベースのエージェントを記述し構築する方法に与えた影響は、過大評価することはできません。


主な貢献

  • Lil’Log — 7年にわたって丹念に研究され、教育的に卓越したMLブログ記事。これらは研究者とエンジニアの世代がこの分野を理解する方法を形成しました。「What are Diffusion Models?」と「LLM Powered Autonomous Agents」は、これまでに書かれたMLの説明の中で最も読まれたものの一部です。

  • OpenAI Safety Systems — OpenAIのフロンティアモデルを敵対的攻撃、報酬ハッキング、壊滅的リスクから保護する責任を負うチームを構築し率いました。彼女が構築した外部レッドチーミングプログラムと準備評価は、フロンティアAIラボでの構造化された安全性評価を制度化しました。

  • Rubik’s Cube巧み操作 — ドメインランダム化を用いた強化学習による巧みな手内操作を実証したOpenAIロボティクスプロジェクトへの主要な貢献者。物理AIにおける画期的な成果。

  • OpenAIでの応用AI研究 — OpenAIの研究能力の応用システムへの移行を主導し、ChatGPTとGPT-4の基盤となる評価とアライメントインフラの開発に貢献しました。

  • 安全性の政策とガバナンス — OpenAIの取締役会安全性・セキュリティ委員会に参加。彼女による安全性研究の単一VP職への統合は、統合された安全性監視へのOpenAIの構造的な取り組みを表しました。


受賞と認知

  • Business Insider 2024 AIパワーリスト — 安全で倫理的なAI開発におけるリーダーシップにより選出。
  • Fellows Fund特別フェロー(2024年12月)。
  • Google Scholarで48,000件以上の被引用数 — 彼女の研究出版物とLil’Logの間接的な学術的影響力の両方の広がりを反映しています。

主要な関係

  • Mira Murati — Thinking Machines Labの共同創設者。彼女たちの共同設立は、安全性と研究インフラが有能なAI開発と切り離せないという共通の確信を反映しています。
  • John Schulman — Thinking Machines Labの共同創設者。「Why We Think」(2025年)への直接的な編集に対してWengから謝辞が述べられています。RLと推論にわたる長期的な知的協力者。
  • Aleksander Madry — OpenAIの安全性準備作業の先任者。Wengは2024年7月にMadryが配置転換された後、準備チームを引き継ぎ、その後VPに昇格しました。
  • Jan Leike — 元OpenAI安全性責任者。彼の注目を集めた退任がWengの任命に先行しました。両者とも、OpenAIの2024年を特徴づけた安全性重視の退任の波の一部でした。
  • Greg Brockman — Wengの「How to Train Really Large Models」のアップグレード版をOpenAIブログ向けに共著。これは、彼女がOpenAIの研究コミュニケーション文化に統合されていたことを示す一つの兆候です。

個人的なスタイル

Wengの公的な存在感は、ある逆説によって定義されています。彼女はAI分野で最も読まれているテクニカルライターの一人であるにもかかわらず、彼女のブログは権威ある解説ではなく、個人的なノートという枠組みを一貫して維持しています。この謙虚さは本物であり、伝記的なものです。彼女はこれを、自身の才能の限界に早くから直面し、難しい問題に英雄的ではなく漸進的に取り組むことを学んだ、子供時代の数学競技会に遡っています。彼女は自分の核となる特性を「粘り強さ」と「謙虚さ」と表現し、友人は彼女を「几帳面で」「忍耐強い」と評しています。ブログの冒頭にある免責事項——文法の間違いはChatGPTが関与していないことの証拠であると指摘している——は、AIによる洗練が標準となっている分野において、文章が意図的で一人称であることを示しています。彼女の安全性の哲学は、彼女自身の認識論と平行しています。彼女は「スケーリングだけが唯一のレシピではない」と述べ、アライメントと安全性は「今現在最も緊急の課題」であると述べており、この立場は外部からの批判ではなく、これらのシステムを内部で何年も構築してきた経験から来ています。彼女のDigg vibeプロフィール(支配的なトピック:強化学習、AI安全性、LLMアライメント)は、彼女の公的なアイデンティティが、組織内での地位の上昇を通じて技術的に根ざしたままであることを反映しています。


参考文献