Sébastien Bubeck

Wiki
, , , ,
1

Französisch-amerikanischer Computerexperte und Mathematiker, der minimax-optimale Schranken für Multi-Armed Bandits aufstellte, das Gesetz der Robustheit für neuronale Netze bewies, bei Microsoft die Phi-Small-Language-Model-Serie mitleitete und das Papier „Sparks of AGI“ über GPT-4 verfasste.

Profil
Geboren 16. April 1985, Frankreich
Staatsangehörigkeit Französisch-Amerikanisch
Derzeitige Institution(en) OpenAI (Research Scientist, 2024–heute)
Forschungsbereiche Online Lernen, Bandits, Konvexe Optimierung, Metrische Aufgabensysteme, Theorie des Tiefen Lernens, Große Sprachmodelle, Kleine Sprachmodelle
Doktorarbeit Promotion in Angewandter Mathematik (INRIA Nord Europe / Université Lille 1, 2010)
Webseite sbubeck.com
X / Twitter @SebastienBubeck
Blog I’m a Bandit
Google Scholar Sébastien Bubeck

Überblick

Sébastien Bubeck ist ein französisch-amerikanischer Mathematiker und Informatiker, dessen Karriere die theoretische maschinelle Lernforschung, Wettbewerbsanalyse und empirische KI umfasst. Ausgebildet an der École Normale Supérieure de Cachan und am INRIA, legte er während seiner Promotion und frühen Jahre als Professor in Princeton die grundlegende Theorie der Multi-Armed Bandits und der bandit-konvexen Optimierung; erweiterte dann theoretische Methoden auf metrische Aufgabensysteme und die Verfolgung konvexer Körper in einer gefeierten Reihe von Arbeiten mit Yin Tat Lee und Mitarbeitern bei Microsoft Research; bewies das Gesetz der Robustheit, das die Überparametrisierung neuronaler Netze mit der Lipschitz-Regularität verknüpft; leitete das Team, das die Phi-Serie kleiner Sprachmodelle hervorbrachte (beginnend mit dem Paradigma „Textbooks Are All You Need“); und verfasste „Sparks of Artificial General Intelligence: Early Experiments with GPT-4“ – ein 155-seitiges Papier, das zu einem der meistgelesenen und meistdiskutierten KI-Dokumente des Jahres 2023 wurde. Im Jahr 2024 wechselte er zu OpenAI. Sein Google-Scholar-Profil weist mehr als 25.000 Zitationen aus. Er betreibt den Blog „I’m a Bandit“, einen der am längsten laufenden und technisch strengsten Blogs in der maschinellen Lerngemeinschaft.

Frühes Leben & Ausbildung

Bubeck wurde 1985 in Frankreich geboren. 2005 begann er sein Studium an der École Normale Supérieure de Cachan (ENS Cachan, heute ENS Paris-Saclay) – einer der selektivsten Grandes Écoles des französischen Systems, mit einem besonders starken Mathematikprogramm – und studierte dort bis 2008. Im Sommer 2006 nahm er am Programm „Research in Industrial Projects for Students“ (RIPS) am Institute for Pure and Applied Mathematics (IPAM) der UCLA teil.

2007 begann er seine Promotion am INRIA Nord Europe in Lille, spezialisiert auf angewandte Mathematik unter der Leitung von Jean-Yves Audibert, die er 2010 abschloss. Audibert, ein führender Forscher an der ENPC und am INRIA, der grundlegende Konzentrationsungleichungen und Explorations-Ausbeutungs-Methoden entwickelt hatte, war ein prägender intellektueller Einfluss; er starb 2011 in jungen Jahren. Bubeck arbeitete auch mit Rémi Munos am INRIA zusammen. Während der Promotionszeit war er als Teaching Assistant an der Universität Lille 1 tätig (2008–2010). Seine Dissertation wurde als beste französische Promotion in Wahrscheinlichkeitstheorie/Statistik ausgezeichnet (Jacques-Neveu-Preis, 2010), war Zweitplatzierte für die beste französische Promotion in Informatik (Gilles-Kahn-Preis, 2010) und Zweitplatzierte für den KI-Dissertationspreis (2011).

Karriere

Postdoc — Centre de Recerca Matemàtica, Barcelona (2010–2011)

Im Anschluss an seine Promotion verbrachte Bubeck ein Jahr als Postdoc am Centre de Recerca Matemàtica in Barcelona, bevor er in die Vereinigten Staaten zog.

Princeton University — Assistant Professor, ORFE (2011–2014)

Bubeck wurde als Assistant Professor in die Abteilung für Operations Research and Financial Engineering in Princeton berufen. In dieser Zeit verfasste er den Übersichtsartikel „Regret Analysis of Stochastic and Nonstochastic Multi-Armed Bandit Problems“ (2012, mit Nicolò Cesa-Bianchi), der zum primären Referenztext für die Bandit-Lerngemeinschaft wurde – er deckte UCB-Algorithmen, Thompson-Stichproben, kontextuelle Bandits und adversary Bandits in einem einheitlichen theoretischen Rahmen ab. Er schrieb auch die weit verbreiteten Vorlesungsskripte zur konvexen Optimierung, die später zur Foundations-und-Trends-Monographie wurden. Er betreute mehrere Nachwuchsforscher und erhielt 2015 das Alfred P. Sloan Research Fellowship in Computer Science. Im Herbst 2013 verbrachte er ein Semester als Gastwissenschaftler am Simons Institute for the Theory of Computing der UC Berkeley.

Microsoft Research — Researcher bis Sr. Principal Research Manager (2014–2024)

Bubeck wechselte 2014 als Researcher in der Theoriegruppe zu Microsoft Research in Redmond, wurde Senior Researcher (2017–2019), dann Senior Principal Research Manager, der die Gruppe Machine Learning Foundations leitete (2020–2023), und schließlich VP AI and Distinguished Scientist (2024).

Bandit and Convex Optimization (2014–2019). Seine frühe Arbeit bei Microsoft löste mehrere seit langem offene Probleme des Online-Lernens. „Kernel-Based Methods for Bandit Convex Optimization“ (STOC/JACM 2017, mit Ronen Eldan und Yin Tat Lee) lieferte den ersten polynomiellen Algorithmus, der das optimale Bedauern für bandit-konvexe Optimierung erreichte – ein Problem, das über ein Jahrzehnt offen war. Diese Forschungslinie führte zu einem COLT 2016 Best Paper Award.

k-Server and Competitive Analysis (2018–2019). Zusammen mit Michael B. Cohen, Yin Tat Lee, James R. Lee und Aleksander Madry löste Bubeck mit „K-Server via Multiscale Entropic Regularization“ (STOC 2018) eine große offene Frage der Wettbewerbsanalyse: Er erzielte das erste polylogarithmische Wettbewerbsverhältnis für das k-Server-Problem auf allgemeinen metrischen Räumen mittels einer neuartigen Technik der mehrskaligen entropischen Regularisierung. Die Arbeit erhielt einen NeurIPS 2018 Best Paper Award. Ein begleitendes Ergebnis, „Competitively Chasing Convex Bodies“ (mit Yin Tat Lee, Yuanzhi Li und Mark Sellke), löste das Problem der Verfolgung konvexer Körper optimal. Diese Forschungslinie erhielt den STOC 2023 Best Paper Award, der den anhaltenden Einfluss der Arbeiten von 2018–2019 würdigt.

Law of Robustness (2021). „A Universal Law of Robustness via Isoperimetry“ (NeurIPS 2021 Best Paper, mit Mark Sellke) bewies einen scharfen mathematischen Satz: Ein neuronales Netz, das n Datenpunkte mit beschränkter Lipschitz-Konstante interpoliert, muss mindestens Ω(n) Parameter haben. Das Ergebnis formalisiert, warum überparametrisierte neuronale Netze gleichzeitig gut anpassend und glatt sein können – es verbindet die Geometrie der Parameternzahl mit isoperimetrischen Ungleichungen aus der konvexen Geometrie. Quanta Magazine und Nature berichteten über das Ergebnis als einen Durchbruch im theoretischen Verständnis des Tiefen Lernens. Die Arbeit erhielt den NeurIPS 2021 Best Paper Award.

Sparks of AGI: Early Experiments with GPT-4 (2023). Anfang 2023, als Microsoft während der Entwicklung von GPT-4 frühzeitigen Zugang erhielt, leitete Bubeck ein Team von vierzehn Microsoft-Research-Autoren bei einer 155-seitigen empirischen Untersuchung einer frühen Version des Modells. Das daraus resultierende Preprint, „Sparks of Artificial General Intelligence“, argumentierte, dass GPT-4 eine qualitativ allgemeinere Intelligenz als frühere KI-Systeme aufweise, indem es bemerkenswerte und unerwartete Kompetenzen in Mathematik, Programmierung, Vision, Medizin, Recht und vielen anderen Bereichen ohne aufgabenspezifische Eingabeaufforderungen zeigte. Das Papier – vorsichtig in seinen Behauptungen, aber bewusst provokativ in der Einordnung von GPT-4 als „frühes (wenn auch noch unvollständiges)“ AGI-System – wurde zu einem der am breitesten diskutierten KI-Dokumente von 2023, von der New York Times, Wired, This American Life und vielen anderen Medien aufgegriffen, und trug zum allgemeinen öffentlichen Verständnis der Fähigkeiten großer Sprachmodelle bei.

Phi: Textbooks Are All You Need (2023). Direkt im Anschluss an das Sparks-Papier verfolgten Bubeck und Mitarbeiter (hauptsächlich Yuanzhi Li und andere) die Frage: Kann man ein wesentlich kleineres Modell trainieren, das bei wichtigen Denkaufgaben vergleichbar abschneidet, indem man hochwertige synthetische Daten anstelle von Skalierung verwendet? „Textbooks Are All You Need“ stellte Phi-1 (1,3B Parameter) vor, trainiert auf synthetischen Programmierlehrbüchern, die von GPT-4 generiert wurden und erreichte 50% auf HumanEval, obwohl es um Größenordnungen kleiner war als zeitgenössische State-of-the-Art-Modelle. Dieses Paradigma – kuratierte synthetische Daten in „Lehrbuchqualität“ und Training in Bildungsformat – wurde auf Phi-1.5 (gesunder Menschenverstand) und Phi-2 (allgemeine kognitive Aufgaben) ausgedehnt und etablierte die Phi-Familie kleiner Sprachmodelle (SLMs) als prominente Linie effizienter KI. Bubeck hat öffentlich über die Vision gesprochen, Phi-Klasse-SLMs in alltägliche Geräte einzubetten.

OpenAI — Research Scientist (2024–heute)

Im Oktober 2024 berichtete Bloomberg, dass Bubeck Microsoft verlassen würde, um zu OpenAI zu wechseln. Er vollzog den Wechsel in diesem Monat und setzte seine Arbeit an kleinen Sprachmodellen, theoretischen Grundlagen der KI und dem Verständnis von Frontier-Modellen fort.

Wichtige Beiträge

  • Minimax-Bandit-Theorie (COLT 2009; Übersicht 2012) — „Minimax Policies for Adversarial and Stochastic Bandits“ (mit Jean-Yves Audibert) stellte minimax-optimale Raten für das Multi-Armed-Bandit-Problem auf und führte den UCB-V-Algorithmus ein. Die Übersicht von 2012 mit Nicolò Cesa-Bianchi, Regret Analysis of Stochastic and Nonstochastic Multi-Armed Bandit Problems, wurde zum kanonischen Referenzwerk der Bandit-Literatur.

  • Convex Optimization: Algorithms and Complexity (2015) — Eine Monographie in Foundations and Trends in Machine Learning, die Gradientenabstieg, Spiegelabstieg, beschleunigte Methoden und Interior-Point-Verfahren abdeckt und als Graduiertenlehrbuch und Referenz im theoretischen maschinellen Lernen weit verbreitet ist.

  • Bandit Convex Optimization (STOC 2017) — „Kernel-Based Methods for Bandit Convex Optimization“, mit Ronen Eldan und Yin Tat Lee. Erster polynomieller Algorithmus, der das optimale Õ(√T)-Bedauern für bandit-konvexe Optimierung erreicht, wodurch ein seit langem offenes Problem gelöst wurde.

  • K-Server via Multiscale Entropic Regularization (STOC 2018; NeurIPS 2018 Best Paper) — Mit Michael B. Cohen, Yin Tat Lee, James R. Lee und Aleksander Madry. Löste die jahrzehntealte k-Server-Vermutung auf allgemeinen Metriken bis auf polylogarithmische Faktoren unter Verwendung eines neuartigen Ansatzes der mehrskaligen entropischen Regularisierung. STOC 2023 Best Paper Award für langfristige Wirkung.

  • Law of Robustness (NeurIPS 2021 Best Paper) — „A Universal Law of Robustness via Isoperimetry“, mit Mark Sellke. Bewies, dass jedes neuronale Netz, das n Datenpunkte mit beschränkter Lipschitz-Konstante interpoliert, mindestens Ω(n) Parameter benötigt – eine mathematisch präzise Formalisierung dafür, warum überparametrisierte Netze glatt generalisieren können.

  • Sparks of Artificial General Intelligence (arXiv 2023) — „Sparks of Artificial General Intelligence: Early Experiments with GPT-4“, mit dreizehn Microsoft-Research-Koautoren. Eine 155-seitige empirische Studie des frühen GPT-4, die argumentiert, dass das Modell qualitativ allgemeine Intelligenz in verschiedenen Bereichen aufweist. Eines der meistgelesenen und am häufigsten zitierten KI-Papiere des Jahres 2023.

  • Phi / Textbooks Are All You Need (2023) — Leitete die Entwicklung der Phi-Serie kleiner Sprachmodelle (Phi-1, Phi-1.5, Phi-2, Phi-3) auf der Grundlage der Erkenntnis, dass hochwertige synthetische Daten im Lehrbuchformat es wesentlich kleineren Modellen ermöglichen, viel größere Modelle bei wichtigen Denk-Benchmarks zu erreichen oder zu übertreffen. Das Phi-3-mini-Modell erreicht eine GPT-3.5-Klassenleistung bei 3,8B Parametern.

Auszeichnungen & Ehrungen

  • STOC 2023 Best Paper Award — Für die k-Server/konvexe-Körper-Verfolgungs-Linie von Arbeiten (Aufsätze aus den Jahren 2018–2019).
  • NeurIPS 2021 Best Paper Award — Für das Papier zum Gesetz der Robustheit.
  • NeurIPS 2018 Best Paper Award — Für k-Server via mehrskalige entropische Regularisierung.
  • COLT 2016 Best Paper Award — Für optimale bandit-konvexe Optimierung.
  • Alfred P. Sloan Research Fellowship in Computer Science (2015) — Verliehen von der Sloan Foundation für Forscher am Anfang ihrer Karriere mit außergewöhnlichem Potenzial.
  • Best Student Paper Awards — COLT 2009 (Minimax-Bandits); ALT 2018; ALT 2023.
  • Jacques-Neveu-Preis (2010) — Beste französische Promotion in Wahrscheinlichkeitstheorie/Statistik.
  • Gilles-Kahn-Preis (2010) — Zweiter Preis, beste französische Promotion in Informatik.
  • KI-Dissertationspreis (2011) — Zweiter Preis, beste französische Promotion in künstlicher Intelligenz.

Wichtige Beziehungen

  • Yin Tat Lee — Die nachhaltigste Forschungskooperation in BubeckKarriere, die als Praktikant bei MSR begann (2015–2016) und sich über bandit-konvexe Optimierung, k-Server, konvexe-Körper-Verfolgung und verwandte Arbeiten fortsetzte. Lee ist jetzt Principal Researcher bei MSR.
  • Ronen Eldan — Langjähriger Mitarbeiter bei Bandit-Optimierung, Gesetz der Robustheit und dem Sparks-of-AGI-Papier; Wahrscheinlichkeitsforscher und Informatiker am Weizmann-Institut und später bei MSR.
  • Yuanzhi Li — Vom Praktikanten zum Mitarbeiter, der an der konvexen-Körper-Verfolgung arbeitete und dann die Phi-SLM-Initiative mitleitete; Principal Researcher bei MSR und ehemals Assistant Professor an der CMU.
  • Mark Sellke — Praktikant, der das Papier zum Gesetz der Robustheit und die Ergebnisse zur konvexen-Körper-Verfolgung mitverfasste; jetzt bei Stanford mit Andrea Montanari.
  • Michael B. Cohen — Außergewöhnlich talentierter Praktikant, der das k-Server-Papier und mehrere andere theoretische Arbeiten mitverfasste; starb 2017 im Alter von 20 Jahren an nicht diagnostiziertem Typ-1-Diabetes. Bubeck hat bewegend über Cohens Tod gesprochen und geschrieben.
  • Jean-Yves Audibert — Doktorvater; ein einflussreicher Forscher auf dem Gebiet der Konzentrationsungleichungen und des Bandit-Lernens, der 2011 vorzeitig starb. Audiberts Forschungsansatz – mathematisch streng, wahrscheinlichkeitstheoretisch – prägte Bubeck grundlegende Orientierung.
  • Nicolò Cesa-Bianchi — Koautor der kanonischen Bandit-Übersicht; die führende Figur im Online-Lernen, mit der Bubeck die Standardreferenz des Fachgebiets definierte.
  • Aleksander Madry — Mitarbeiter am k-Server; MIT-Professor, bekannt für Forschung zur adversarialen Robustheit.

Persönlicher Stil

Bubeck Forschung zeichnet sich durch einen ungewöhnlichen Werdegang aus: von grundlegender Wahrscheinlichkeitstheorie und Wettbewerbsanalyse über konvexe Geometrie bis hin zur empirischen Untersuchung der fortschrittlichsten KI-Systeme. Der rote Faden des Denkens ist ein anhaltender Fokus auf das, was bewiesen werden kann – ob es sich nun um enge Bedauernsgrenzen für Bandit-Algorithmen, scharfe untere Schranken für die Parameteranzahl von Lipschitz-Netzen oder strenge (wenn auch nicht formale) Charakterisierungen der Fähigkeiten von GPT-4 handelt. Sein Blog, „I’m a Bandit“, der in Princeton begann und seit weit über einem Jahrzehnt läuft, wird durchweg als einer der wenigen technisch strengen persönlichen Blogs im theoretischen ML angemerkt, der offene Probleme, Vorlesungsskripte und originelle Kommentare in einem Stil behandelt, der gleichermaßen autoritativ und zugänglich ist. Er war ein großzügiger Mentor: Mehrere ehemalige Praktikanten (Yin Tat Lee, Yuanzhi Li, Mark Sellke) haben sich zu führenden Forschern entwickelt, und er hat öffentlich über den tragischen Verlust von Michael B. Cohen im Jahr 2017 geschrieben, was sein Engagement für die Menschen sowie für die Mathematik offenbart.

Referenzen