Lilian Weng

Wiki
, , ,
1

Ehemalige VP für Forschung und Sicherheit bei OpenAI, Mitgründerin von Thinking Machines Lab und Autorin von Lil’Log — dem meistgelesenen technischen ML-Blog des Fachgebiets, seit 2017 als persönliche Lernnotizen geschrieben und zu einer Standardreferenz in der gesamten KI-Community geworden.

Profil

Bereich Detail
Nationalität Chinesisch-Amerikanisch
Derzeitige Rolle Mitgründerin, Thinking Machines Lab; Distinguished Fellow, Fellows Fund
Forschungsgebiete KI-Sicherheit, Reinforcement Learning, LLM-Alignment, Reward Hacking, Autonome Agenten, Robotik
Bildung B.S., Informatik (China); Ph.D., Informatik (USA) — siehe Hinweis
Blog Lil’Log — lilianweng.github.io
X / Twitter @lilianweng
GitHub @lilianweng
Google Scholar scholar.google.com — 48.000+ Zitationen

Hinweis zur Bildung: Quellen widersprechen sich bezüglich der Details. Ein Profil nennt einen Bachelorabschluss an der Beihang-Universität und einen Doktortitel an der Carnegie Mellon University; ein anderes einen Bachelorabschluss an der Universität Peking und einen Doktortitel an der Indiana University Bloomington. Keine dieser Angaben wurde durch eine Primärquelle bestätigt. Ihre Doktorarbeit umfasste Reinforcement Learning, Robotik und Netzwerkwissenschaft.

Überblick

Lilian Weng ist eine chinesisch-amerikanische KI-Sicherheitsforscherin und eine der einflussreichsten Autorinnen auf diesem Gebiet. Sie ist vor allem für zwei parallele Beiträge bekannt, die sich über sieben Jahre bei OpenAI gegenseitig verstärkt haben: ihre technische Leitung beim Aufbau der Sicherheitsinfrastruktur des Unternehmens und ihren Blog Lil’Log, den sie seit 2017 als persönliche Lernnotizen führt und der zum meistgelesenen technischen ML-Blog unter Praktikern wurde. Sie kam 2017/2018 zu OpenAI ins Robotik-Team, arbeitete am Projekt zur geschickten Manipulation eines Zauberwürfels, wechselte in die angewandte KI-Forschung, leitete das Safety-Systems-Team (80+ Wissenschaftler) und wurde im Juli 2024 zur VP für Forschung und Sicherheit ernannt – bevor sie das Unternehmen im November 2024 verließ. Business Insider setzte sie auf seine KI-Machtliste 2024. Sie ist Mitgründerin von Thinking Machines Lab, Mira Muratis KI-Startup, zusammen mit John Schulman, Barret Zoph, Alec Radford und anderen. Sie beschreibt „Beharrlichkeit“ und „Demut“ als ihre Kerneigenschaften, die beide auf frühe Begegnungen mit Mathematikwettbewerben zurückgehen, bei denen sie mit der Realität von Talentunterschieden konfrontiert wurde und lernte, schwierige Probleme als „normaler Mensch, der alles geben muss“ anzugehen.

Frühes Leben & Ausbildung

Weng wuchs in China auf, wo sie früh ein Interesse an Mathematik und eine große Neugier für viele Themen entwickelte – sie hat beschrieben, wie sie als Kind Enzyklopädien von Astronomie bis Astrologie verschlang. Sie nahm schon in jungen Jahren an Mathematikwettbewerben teil, eine Erfahrung, der sie die „Demut“ zuschreibt, die ihre Arbeit prägt: Angesichts steiler Talentkurven verinnerlichte sie, dass anhaltende Anstrengung und klares Denken mehr zählen als angeborene Vorteile.

Sie absolvierte einen Bachelorabschluss in Informatik in China (laut einem Profil an der Beihang-Universität, laut einem anderen an der Universität Peking) und anschließend eine Promotion in Informatik in den USA, wobei ihre Forschung Reinforcement Learning, Robotik und Netzwerkwissenschaft umfasste. Ihr Interesse an Deep Learning, das sie nach ihrer Promotion kennenlernte, entfachte die Neugier, die sie schließlich zu OpenAI führte.

Karriere

Branchenerfahrung vor OpenAI

Bevor sie zu OpenAI kam, arbeitete Weng als Data Scientist und Software-Ingenieurin bei mehreren Silicon-Valley-Unternehmen, darunter Meta (damals Facebook), Dropbox und Affirm. Es wird auch beschrieben, dass sie eine Forschungswissenschaftler-Rolle bei Snapchat innehatte. Diese praktische Ingenieurserfahrung – Aufbau von ML-Systemen in Produktionsumgebungen, bevor sie in ein KI-Forschungslabor eintrat – prägte ihre deutlich anwendungsorientierte Herangehensweise an Sicherheits- und Alignment-Fragen: Sie betrachtete Sicherheit konsequent nicht als theoretisches Problem, sondern als Herausforderung des Produkt-Engineerings.

OpenAI (Ende 2017 / 2018–2024)

Robotik-Team (2018–2021)
Wengs erste Rolle bei OpenAI war im Robotik-Team, wo sie an einigen der anspruchsvollsten physikalischen KI-Probleme der frühen Unternehmensgeschichte arbeitete. Das Flaggschiffprojekt war das System zur geschickten Manipulation des Zauberwürfels – eine mehrjährige Anstrengung, eine Roboterhand mit Reinforcement Learning zu trainieren, um das Puzzle zu lösen, demonstriert im Jahr 2019 unter Verwendung von Domain Randomization über Hunderte von simulierten Konfigurationen, um den Transfer auf den physischen Roboter zu erreichen. Sie hat die emotionale Intensität der Hardware-Forschung beschrieben: „Physikalische Experimente durchzuführen, ist eine ungeheuer aufregende, herausfordernde und emotionale Erfahrung.“ Die Robotik-Phase verankerte ihre spätere Sicherheitsarbeit in einem praktischen Verständnis von Versagensmodi des Reinforcement Learning, Reward Hacking und der Lücke zwischen Simulation und physischem Einsatz.

Team für Angewandte KI-Forschung (2021–2023)
Im Jahr 2021 wechselte Weng zum Team für Angewandte KI-Forschung bei OpenAI, wo sie Forschung leitete, die die sich entwickelnden Fähigkeiten der Sprachmodelle des Unternehmens mit nachgelagerten Anwendungen verband. Diese Zeit fiel mit der Entwicklung von ChatGPT und GPT-4 zusammen und erforderte die Kombination eines forschungsorientierten Verständnisses des Modellverhaltens mit der angewandten Ingenieursperspektive, um Systeme in benutzerorientierten Kontexten zuverlässig und sicher zum Laufen zu bringen.

Leitung des Safety-Systems-Teams (2023–2024)
Im Jahr 2023 wurde Weng mit der Leitung des Safety-Systems-Teams von OpenAI beauftragt – das zu Spitzenzeiten über 80 Wissenschaftler, Forscher und Fachexperten umfasste. Das Mandat des Teams war der Schutz vor Risiken durch hochleistungsfähige Modelle, einschließlich adversarialer Angriffe, Jailbreaks, Reward Hacking im RLHF-Training und der Bewertung von katastrophalen Risikoszenarien. Sie war auch Mitglied des Sicherheits- und Sicherungsausschusses des Vorstands, was ihr formelle institutionelle Aufsichtsverantwortung für Sicherheitsentscheidungen auf der höchsten Ebene der Governance-Struktur von OpenAI gab.

VP für Forschung und Sicherheit (Juli–November 2024)
Nach dem Weggang des früheren Sicherheitsleiters Aleksander Madry wurde Weng im Juli 2024 zur Vizepräsidentin für Forschung und Sicherheit ernannt, wodurch die Sicherheitsforschung bei OpenAI unter einer einzigen Führung zusammengelegt wurde. Ihr Mandat umfasste sowohl die Verwaltung bestehender Sicherheitssysteme als auch den Ausbau der Bereitschaftsbewertungen für zukünftige Modelle. Diese Ernennung erfolgte im Zusammenhang einer größeren Welle von Sicherheitsabgängen bei OpenAI, darunter Jan Leike, John Schulman und Mira Murati.

Am 15. November 2024 gab Weng ihren Weggang auf X bekannt: „Nach 7 Jahren bei OpenAI bin ich bereit, einen Reset zu machen und etwas Neues zu erkunden. Ich habe die extrem schwierige Entscheidung getroffen, OpenAI zu verlassen. Wenn ich auf das Erreichte zurückblicke, bin ich sehr stolz auf alle im Safety-Systems-Team und ich bin äußerst zuversichtlich, dass das Team weiterhin erfolgreich sein wird.“

Thinking Machines Lab — Mitgründerin (2025–heute)

Weng ist Mitgründerin von Thinking Machines Lab, das Anfang 2025 von der ehemaligen OpenAI-CTO Mira Murati gegründet wurde. Zum Gründungsteam gehören John Schulman, Alec Radford, Barret Zoph und mehrere andere OpenAI-Alumni. Thinking Machines Lab positioniert sich als ein KI-Forschungs- und Produktlabor, das sich auf die Zusammenarbeit zwischen Mensch und KI konzentriert. Wengs Hintergrund in Sicherheitssystemen, angewandter KI-Forschung und Robotik deckt sich direkt mit der Agenda des Labors.

Fellows Fund — Distinguished Fellow (Dezember 2024)

Im Dezember 2024 gab Fellows Fund, eine auf KI fokussierte Risikokapitalgesellschaft, Weng als Distinguished Fellow bekannt. Sie erklärte: „Die Mission und Vision des Fellows Fund sind sehr überzeugend. Ich fühle mich geehrt, dieser Gruppe von KI-Fellows beizutreten, um die nächste Generation von KI-Gründern zu unterstützen.“

Lil’Log (lilianweng.github.io)

Lil’Log ist Wengs persönlicher technischer Blog, der seit 2017 läuft. Sie beschreibt seinen Ursprung schlicht auf der Startseite: „Ich dokumentiere seit 2017 meine Lernnotizen in diesem Blog.“ Was als persönliche Praxis zur Festigung des eigenen Verständnisses begann, wurde in den folgenden Jahren zu einer der am meisten verlinkten und zitierten Ressourcen in der ML-Forschungs- und Ingenieursgemeinschaft – eine kanonische erste Referenz für Praktiker, die auf neue Themen stoßen.

Die Autorität des Blogs beruht auf einer Kombination aus außergewöhnlicher Tiefe, pädagogischer Klarheit und aktueller Forschung. Beiträge sind typischerweise 20–45 Minuten lang, decken die relevante Literatur systematisch mit formaler Notation ab und werden aktualisiert, sobald sich das Feld weiterentwickelt. Sie fungieren weder als reine Tutorials noch als reine Literaturübersichten, sondern als etwas, das der idealen Erklärung eines Doktoranden zu einem Thema näherkommt – technisch rigoros, in sich geschlossen und von echter Neugier getrieben, nicht von Selbstdarstellung.

Ausgewählte Hauptbeiträge:

Beitrag Datum Bedeutung
A (Long) Peek into Reinforcement Learning Feb. 2018 Umfassender RL-Überblick; weit verbreitet als Kursreferenz
Meta-Learning: Learning to Learn in Few Steps Nov. 2018 Kanonische Einführung in Meta-Learning
Domain Randomization for Sim-to-Real Transfer Mai 2019 Detaillierte technische Erklärung von Wengs Robotik-Forschungskontext
What are Diffusion Models? Juli 2021 Wurde vor Stable Diffusion zur Standardeinführung in Diffusionsmodelle; bis 2024 wiederholt aktualisiert
Contrastive Representation Learning Mai 2021 Umfassender Überblick über selbstüberwachtes Lernen
How to Train Really Large Models on Many GPUs? Sep. 2021 Gemeinsam mit Greg Brockman eine verbesserte Version für den OpenAI Blog verfasst
Large Transformer Model Inference Optimization Jan. 2023 Systematisierte die Literatur zur Inferenzeffizienz
Prompt Engineering März 2023 Eine der meistgelesenen Einführungen in das Feld; charakterisierte es als „empirische Wissenschaft“
LLM Powered Autonomous Agents Juni 2023 Definierten den Planungs-/Gedächtnis-/Werkzeugnutzungs-Agentenrahmen, der in der anschließenden Agentenforschung vorherrschend wurde
Adversarial Attacks on LLMs Okt. 2023 Umfassender Überblick über Jailbreaking und adversarial Robustheit
Thinking about High-Quality Human Data Feb. 2024 Analyse der Annotationsqualität, RLHF-Beschriftung und der Unterbewertung von Datenarbeit
Reward Hacking in Reinforcement Learning Nov. 2024 Ihr letzter großer Beitrag aus der OpenAI-Ära; synthetisierte sicherheitskritische Versagensmodi
Why We Think Mai 2025 Analyse von Testzeitberechnung und Chain-of-Thought Reasoning; dankte John Schulman für „unglaublich wertvolles Feedback und direkte Änderungen“

Der Beitrag „LLM Powered Autonomous Agents“ (Juni 2023) ist Wengs am meisten zitierte Blogarbeit. Er führte einen kohärenten Rahmen ein – LLM als Agentengehirn, ergänzt um Planung, Gedächtnis und Werkzeugnutzung – der zur Referenzkonzeptstruktur für das Design von Agentensystemen sowohl in Forschungspapieren als auch in der Produktentwicklung wurde. Der Einfluss des Beitrags darauf, wie das Feld LLM-basierte Agenten beschreibt und aufbaut, kann kaum überschätzt werden.

Wichtigste Beiträge

  • Lil’Log — Sieben Jahre tief recherchierte, pädagogisch außergewöhnliche ML-Blogbeiträge, die geprägt haben, wie eine Generation von Forschern und Ingenieuren das Feld versteht; „What are Diffusion Models?“ und „LLM Powered Autonomous Agents“ gehören zu den meistgelesenen ML-Erklärungen, die je geschrieben wurden.
  • OpenAI Safety Systems — Aufbau und Leitung des Teams, das für den Schutz der fortschrittlichsten Modelle von OpenAI vor adversarialen Angriffen, Reward Hacking und katastrophalen Risiken verantwortlich war; die externen Red-Teaming-Programme und Bereitschaftsbewertungen, die sie aufbaute, institutionalisierten strukturierte Sicherheitsbewertungen in einem führenden KI-Labor.
  • Geschickte Manipulation des Zauberwürfels — Wichtiger Beitrag zum OpenAI-Robotikprojekt, das geschickte In-Hand-Manipulation durch Reinforcement Learning mit Domain Randomization demonstrierte; ein bahnbrechendes Ergebnis in der physikalischen KI.
  • Angewandte KI-Forschung bei OpenAI — Leitung des Übergangs der Forschungskapazitäten von OpenAI in angewandte Systeme, Beitrag zur Entwicklung der Bewertungs- und Ausrichtungsinfrastruktur, die ChatGPT und GPT-4 zugrunde liegt.
  • Sicherheitspolitik und -Governance — Mitglied des Sicherheits- und Sicherungsausschusses des Vorstands von OpenAI; ihre Zusammenlegung der Sicherheitsforschung unter einer einzigen VP-Rolle stellte eine strukturelle Verpflichtung von OpenAI zu integrierter Sicherheitsaufsicht dar.

Auszeichnungen & Anerkennung

  • Business Insider 2024 AI Power List — Ernennung für Führungsrolle in sicherer und ethischer KI-Entwicklung.
  • Fellows Fund Distinguished Fellow (Dezember 2024).
  • 48.000+ Google Scholar Zitationen — widerspiegelnd die Reichweite sowohl ihrer Forschungspublikationen als auch des indirekten wissenschaftlichen Einflusses von Lil’Log.

Wichtige Beziehungen

  • Mira Murati — Mitgründerin von Thinking Machines Lab; ihre gemeinsame Gründung spiegelt eine geteilte Überzeugung wider, dass Sicherheits- und Forschungsinfrastruktur untrennbar mit der Entwicklung leistungsfähiger KI verbunden sind.
  • John Schulman — Mitgründer von Thinking Machines Lab; von Weng für direkte Bearbeitungen an „Why We Think“ (2025) gedankt; ein langjähriger intellektueller Mitarbeiter in den Bereichen RL und Reasoning.
  • Aleksander Madry — Vorgänger als Leiter der KI-Sicherheitsbereitschaftsarbeit bei OpenAI; Weng übernahm das Bereitschaftsteam, als Madry im Juli 2024 umbesetzt wurde, bevor sie zur VP aufstieg.
  • Jan Leike — Ehemaliger OpenAI-Sicherheitsleiter, dessen prominenter Abgang Wengs Ernennung vorausging; beide waren Teil der Welle von Sicherheitsabgängen, die OpenAI im Jahr 2024 kennzeichnete.
  • Greg Brockman — Gemeinsame Autorenschaft einer verbesserten Version von Wengs Beitrag „How to Train Really Large Models“ für den OpenAI Blog; ein Zeichen ihrer Integration in die Forschungskommunikationskultur von OpenAI.

Persönlicher Stil

Wengs öffentliche Präsenz ist von einem Paradoxon geprägt: Sie gehört zu den meistgelesenen technischen Autoren im Bereich KI, doch ihr Blog trägt die anhaltende Rahmung persönlicher Notizen, nicht autoritativer Darstellung. Diese Demut ist echt und biographisch. Sie führt es auf Kindheits-Mathematikwettbewerbe zurück, bei denen sie früh die Grenzen ihres eigenen Talents erlebte und lernte, schwierige Probleme eher inkrementell als heroisch anzugehen. Sie beschreibt ihre Kerneigenschaften als „Beharrlichkeit“ und „Demut“; Freunde beschreiben sie als „organisiert“ und „geduldig.“ Der einleitende Haftungsausschluss des Blogs – der Rechtschreibfehler als Beweis dafür anführt, dass ChatGPT nicht beteiligt ist – signalisiert, dass das Schreiben bewusst und in der Ich-Perspektive erfolgt, in einem Bereich, wo KI-assistierte Poliertheit zur Norm geworden ist. Ihre Sicherheitsphilosophie parallelisiert ihre persönliche Erkenntnistheorie: Sie hat erklärt, dass „Skalierung nicht das einzige Rezept ist“ und dass Alignment und Sicherheit „derzeit die dringendsten Herausforderungen“ sind, eine Position, die nicht aus externer Kritik heraus vertreten wird, sondern aus jahrelanger Arbeit am Aufbau dieser Systeme von innen heraus. Ihr Digg-Vibe-Profil (vorherrschende Themen: Reinforcement Learning, KI-Sicherheit, LLM-Alignment) spiegelt eine Kommunikatorin wider, deren öffentliche Identität während ihres institutionellen Aufstiegs technisch fundiert geblieben ist.

Referenzen