Quoc V. Le

Wiki
, , , ,
1

Computervisualist und Gründungsmitglied von Google Brain, dessen Arbeiten zu Seq2seq, Neural Architecture Search und groß angelegtem unüberwachtem Lernen die strukturellen Grundlagen für modernes Deep Learning und Sprach-KI legten.

Profil
Geboren 1982, Hương Thủy, Thừa Thiên Huế, Vietnam
Nationalität Vietnamesisch-Amerikanisch
Derzeitige Institution(en) Google DeepMind (Distinguished Scientist; Google Fellow)
Forschungsbereiche Deep Learning, Large Language Models, Neural Architecture Search, AutoML, Sequenzmodellierung, Repräsentationslernen, mathematisches Denken
Doktorvater Andrew Ng
Dissertation Scalable Feature Learning (Stanford University, 2013)
Website cs.stanford.edu/~quocle
X / Twitter @quocleix
Google Scholar Quoc V. Le – 440.000+ Zitationen

Überblick

Quoc V. Le (vietnamesisch: Lê Viết Quốc) ist ein Distinguished Scientist und Google Fellow bei Google DeepMind und einer der einflussreichsten KI-Forscher seiner Generation. Als Gründungsmitglied von Google Brain im Jahr 2011 stand er im Mittelpunkt mehrerer Paradigmenwechsel im Deep Learning über mehr als ein Jahrzehnt: von dem wegweisenden Experiment zum groß angelegten unüberwachten Lernen, das einem neuronalen Netz beibrachte, Katzen zu erkennen, über die Encoder-Decoder-Seq2seq-Architektur, die der modernen maschinellen Übersetzung zugrunde liegt, bis hin zum Neural Architecture Search-Programm, das die Modellentwicklung automatisierte. Sein Google Scholar-Zitationsindex übersteigt 440.000, was ihn zu einem der am häufigsten zitierten Forscher im maschinellen Lernen macht. Über die technische Arbeit hinaus hat sich Le durch Beratungs- und Bildungsrollen konsequent für die Demokratisierung des KI-Zugangs in Vietnam eingesetzt.

Frühes Leben und Ausbildung

Le wurde 1982 in Hương Thủy, einem Distrikt der Provinz Thừa Thiên Huế in Zentralvietnam, geboren. Er hat beschrieben, wie er zu Hause ohne Strom aufwuchs, aber in der Nähe eine Bibliothek hatte, wo Berichte über große Erfindungen den frühen Ehrgeiz weckten, einen Computer zu bauen, der intelligent genug ist, um eigene Entdeckungen zu machen. Er besuchte die Quốc Học Huế High School for the Gifted, eine der wettbewerbsintensivsten weiterführenden Schulen Vietnams.

2004 zog Le nach Australien, um an der Australian National University (ANU) in Canberra ein Grundstudium zu absolvieren, wo er mit Alex Smola bei NICTA (National ICT Australia) an Kernel-Methoden im maschinellen Lernen arbeitete. Er schloss mit First Class Honours ab. In dieser Zeit verbrachte er auch Zeit als Forschungsgast am Max-Planck-Institut für biologische Kybernetik in Tübingen, Deutschland, in der Abteilung von Bernhard Schölkopf.

2007 zog Le in die USA, um an der Stanford University unter Andrew Ng ein Doktoratsstudium zu beginnen. Seine Dissertation, Scalable Feature Learning, befasste sich mit der effizienteren Ausbildung tiefer neuronaler Netze auf großen Datensätzen, ein Problem, das damals in sinnvollem Umfang rechnerisch unlösbar war. Er promovierte 2013.

Karriere

Stanford AI Lab / Frühes Google Brain (2009–2013)

Während seiner Promotion begann Le mit Andrew Ng an groß angelegtem Deep Learning zu arbeiten – Arbeiten, die Googles Aufmerksamkeit erregten. 2011 wurde er neben Ng, Jeff Dean und Greg Corrado Gründungsmitglied von Google Brain. Das erste große öffentliche Ergebnis des Teams, das 2012 veröffentlicht wurde, war ein neuronales Netz, das auf 16.000 CPU-Kernen trainiert wurde und lernte, Katzen in YouTube-Thumbnails zu erkennen, ohne dass ihm gekennzeichnete Daten gegeben wurden – eine der ersten prominenten Demonstrationen von groß angelegtem unüberwachtem Lernen. Das Papier erregte Mainstream-Medienberichterstattung in der New York Times und dem Atlantic und machte Deep Learning als praktische Technologie einer breiten Öffentlichkeit bekannt.

Google Brain – Vom Research Scientist zum Distinguished Scientist (2013–2023)

Nach seinem Abschluss in Stanford wechselte Le hauptberuflich zu Google Brain. Im Laufe des nächsten Jahrzehnts stieg er in den Forschungsebenen zum Senior Research Scientist und dann zum Distinguished Scientist auf und trug zu Arbeiten in mehreren Teilbereichen bei.

Sequenzmodellierung (2014). Zusammen mit Ilya Sutskever und Oriol Vinyals stellte Le auf dem NeurIPS 2014 die Sequence-to-Sequence (Seq2seq)-Architektur vor. Das Encoder-Decoder-Framework, bei dem ein rekurrentes Netz eine Eingabesequenz in einen Vektor fester Länge komprimiert und ein anderes sie in eine Ausgabesequenz dekodiert, wurde zum direkten Vorläufer des Transformers und bildete die Grundlage für die erste Generation praktischer neuronaler maschineller Übersetzungssysteme. Im selben Jahr führte er mit Tomáš Mikolov doc2vec (Paragraph Vectors) ein, das Wort-Embedding-Ideen auf Texte variabler Länge ausweitete.

Google Neural Machine Translation (2016). Le war ein wichtiger Mitwirkender am Google Neural Machine Translation (GNMT)-System, dem produktionsreifen Einsatz von Seq2seq, das phrasenbasierte Systeme in Google Translate ersetzte und die neuronale maschinelle Übersetzung zu Hunderten von Millionen Nutzern brachte.

Neural Architecture Search und AutoML (2017–2020). Le initiierte und leitete das AutoML-Projekt bei Google Brain und war Co-Autor von „Neural Architecture Search with Reinforcement Learning“ (2017) mit Barret Zoph. Die Arbeit zeigte, dass bestärkendes Lernen verwendet werden konnte, um neuronale Netzarchitekturen automatisch zu entwerfen, was jahrelange Experten-Handabstimmung ersetzte. Nachfolgende Arbeiten unter seiner Leitung brachten Efficient Neural Architecture Search (ENAS), EfficientNet (2019) – eine Familie von Bildklassifikatoren, die mit einem Bruchteil der Parameterzahl die damals beste Genauigkeit erreichte oder übertraf – und AutoML-Zero (2020) hervor, das ML-Algorithmen aus primitiven mathematischen Operationen mit nahezu null menschlichem Input entwickelte. Das Projekt wurde schließlich zu Google Cloud AutoML, was das Modelltraining für nicht-experten Anwender demokratisierte.

Meena / LaMDA (2020). Le trug zu Meena bei, das später in LaMDA umbenannt wurde, einem von Googles frühen groß angelegten offenen Dialogmodellen, das auf Seq2seq-Grundlagen aufbaute und den Weg von seiner Architekturabteilung von 2014 zu produktionsreifen Dialogsystemen aufzeigte.

Chain-of-Thought Prompting (2022). Le war leitender Co-Autor von „Chain-of-Thought Prompting Elicits Reasoning in Large Language Models“ (NeurIPS 2022), einem der meistzitierten NLP-Papiere der 2020er Jahre, das zeigte, dass das Auffordern von LLMs, Zwischenschritte zu generieren, die Leistung bei mehrstufigen Aufgaben drastisch verbessert.

Google DeepMind (2023–heute)

Nach der Fusion von Google Brain und DeepMind zu Google DeepMind im Jahr 2023 trägt Le den Titel Distinguished Scientist und Google Fellow. Er hat seine Arbeit am mathematischen Denken fortgesetzt und zu AlphaGeometry (2024) beigetragen, einem KI-System, das 25 von 30 Geometrieproblemen der Internationalen Mathematik-Olympiade löste – ein Ergebnis, das in der Nature veröffentlicht wurde und weithin als Meilenstein des automatischen Theorembeweisens gilt.

AI for Vietnam Foundation (2025–heute)

Le ist Senior Advisor der AI for Vietnam Foundation (AIV), einer Non-Profit-Organisation, die daran arbeitet, KI-Werkzeuge zu entwickeln, die an den vietnamesischen Sprach- und Kulturkontext angepasst sind, und lokale KI-Talente-Pipelines aufzubauen. Er hat die begrenzte Verfügbarkeit von KI-Ressourcen in vietnamesischer Sprache als persönliche Motivation für diese Rolle angeführt.

Wichtigste Beiträge

  • Groß angelegtes unüberwachtes Lernen („Cat Paper“, 2012) – „Building High-level Features Using Large Scale Unsupervised Learning“, mit Andrew Ng und Jeff Dean. Die erste öffentliche Demonstration, dass ein auf unbeschrifteten Videos in ausreichendem Umfang trainiertes neuronales Netz spontan semantisch bedeutungsvolle Repräsentationen lernt, einschließlich eines „Katzendetektors“. Erhielt den ICML 2022 Test of Time Honorable Mention Award.

  • Sequence to Sequence Learning (Seq2seq, 2014) – „Sequence to Sequence Learning with Neural Networks“ (NeurIPS 2014), mit Ilya Sutskever und Oriol Vinyals. Führte die Encoder-Decoder-Architektur ein, die für das folgende Jahrzehnt zum dominanten Paradigma für maschinelle Übersetzung, Zusammenfassung und Dialog wurde und der unmittelbare strukturelle Vorfahre des Transformers ist. Erhielt den NeurIPS 2024 Test of Time Award.

  • doc2vec / Paragraph Vectors (2014) – „Distributed Representations of Sentences and Documents“, mit Tomáš Mikolov. Erweiterte word2vec-Embeddings auf Texte variabler Länge und bot eine allgemeine, unüberwachte Satzrepräsentationsmethode, die vor der Transformer-Ära weit verbreitet war.

  • Google Neural Machine Translation (GNMT, 2016) – Schlüsselbeitrag zum Produktionssystem, das regelbasierte und phrasenbasierte Pipelines in Google Translate ersetzte, die neuronale maschinelle Übersetzung zu Hunderten von Millionen Nutzern brachte und zum Start schätzungsweise ein Drittel der Fehlerrate von Google Translate eliminierte.

  • Neural Architecture Search with Reinforcement Learning (NAS, 2017) – „Neural Architecture Search with Reinforcement Learning“, mit Barret Zoph. Zeigte, dass ein mit RL trainiertes Controller-Netzwerk konvolutionale und rekurrente Architekturen entwerfen konnte, die mit menschlich entworfenen hochmodernen Architekturen konkurrieren können, und begründete damit das AutoML-Feld.

  • EfficientNet (2019) – Mit Mingxing Tan. Führte Compound Scaling ein – die systematische Skalierung von Netzwerktiefe, -breite und -auflösung in einem prinzipientreuen Verhältnis – und produzierte Modelle, die neue Genauigkeits-Effizienz-Pareto-Grenzen auf ImageNet erreichten und gut auf nachgelagerte Aufgaben übertragbar waren. Weit verbreitet in Produktions-Bildsystemen.

  • Chain-of-Thought Prompting (2022) – Leitender Co-Autor des NeurIPS 2022-Papiers mit Jason Wei, Denny Zhou und anderen. Das Papier zeigte, dass das Auffordern von Sprachmodellen, explizite Denkschritte zu generieren, die Leistung bei Benchmark-Aufgaben zu Arithmetik, Allgemeinwissen und symbolischem Denken drastisch verbessert.

  • AlphaGeometry (2024) – Mitwirkender Autor von „Solving Olympiad Geometry Without Human Demonstrations“, veröffentlicht in der Nature (Januar 2024). Das System, das ein auf synthetischen Geometriebeweisen trainiertes Sprachmodell mit einer symbolischen Deduktionsmaschine kombiniert, löste 25 von 30 IMO-Geometrieproblemen und übertraf damit die durchschnittliche Leistung von IMO-Silbermedaillengewinnern.

Auszeichnungen und Anerkennungen

  • ECML Best Paper Award (2007) – Verliehen für Arbeiten zu Kernel-Methoden während seiner ANU-Zeit.
  • MIT Technology Review Innovators Under 35 (2014) – Anerkannt für Beiträge zur Google Neural Machine Translation und zum groß angelegten unüberwachten Lernen.
  • ICML Test of Time Honorable Mention Award (2022) – Für das „Cat Paper“ von 2012 zum groß angelegten unüberwachten Lernen, zehn Jahre nach der Veröffentlichung für seinen nachhaltigen Einfluss ausgezeichnet.
  • ANU School of Computing Alumni Laureate (2022) – Verliehen von der Australian National University in Anerkennung der Karriereleistung, im Rahmen des 50-jährigen Jubiläums der Informatikausbildung.
  • NeurIPS Test of Time Award (2024) – Für „Sequence to Sequence Learning with Neural Networks“ (2014), Co-Autor mit Ilya Sutskever und Oriol Vinyals. Das Auswahlkomitee beschrieb das Seq2seq-Framework als einen „Eckpfeiler“ der modernen KI, der die Encoder-Decoder-Architektur etablierte und die notwendige Grundlage für große Sprachmodelle legte.
  • Google Fellow – Einer von wenigen Forschern bei Google, der die Auszeichnung Google Fellow trägt, den höchsten technischen Einzelbeitragstitel des Unternehmens.

Wichtige Beziehungen

  • Andrew Ng – Doktorvater in Stanford und Mitbegründer von Google Brain; die Mentorenbeziehung, die Le in Googles Orbit brachte und seinen Ansatz zum groß angelegten Lernen prägte.
  • Ilya Sutskever – Enger Mitarbeiter an Seq2seq bei Google Brain; später OpenAI-Mitbegründer und Chefwissenschaftler. Ihr Papier von 2014 bleibt eine der folgenreichsten Zusammenarbeiten in der Geschichte des Deep Learnings.
  • Oriol Vinyals – Google Brain-Kollege und Seq2seq-Co-Autor; später VP of Drastic Research bei Google DeepMind.
  • Jeff Dean – Google Brain-Mitbegründer und Google Chief Scientist; leitender Kollege während Les gesamter Google-Karriere und Co-Autor des Cat Papers von 2012.
  • Barret Zoph – Hauptmitarbeiter bei Neural Architecture Search und EfficientNet; das NAS-Forschungsprogramm war die nachhaltigste Zusammenarbeit während Les Zeit bei Google.
  • Alex Smola – Bachelor-Mentor an der ANU/NICTA, der Le durch Kernel-Methoden in die rigorose ML-Forschung einführte.
  • Jason Wei – Jüngerer Kollege bei Google Brain; Co-Autor des Chain-of-Thought-Prompting-Papiers; später zu OpenAI und Meta gewechselt.
  • Tomáš Mikolov – Wissenschaftler bei Facebook AI Research; Co-Autor von doc2vec während seiner Zeit bei Google Brain.

Persönlicher Stil

Les Forschungsehros ist geprägt von einem Drang, menschliche Arbeit aus der Pipeline des maschinellen Lernens zu entfernen – der Impuls hinter dem Cat Paper (unüberwachtes Lernen in großem Maßstab), Seq2seq (end-to-end gelernte Übersetzung) und AutoML (Architekturdesign ohne menschliche Abstimmung). Kollegen haben angemerkt, dass er ungeduldig mit manuellen Prozessen ist und sich zu Problemen hingezogen fühlt, bei denen Automatisierung mühevolle Expertenarbeit ersetzen kann. Sein öffentliches Auftreten ist im Vergleich zu seinem Zitations-Fußabdruck relativ zurückhaltend; er beteiligt sich selten an politischen Debatten oder KI-Diskursen in sozialen Medien und lässt lieber veröffentlichte Ergebnisse für sich sprechen. Sein anhaltendes Engagement in Vietnam über die AI for Vietnam Foundation spiegelt eine persönliche Verpflichtung wider, sicherzustellen, dass die Technologien, die er mitentwickelt hat, auch außerhalb der Kontexte, in denen sie ursprünglich entwickelt wurden, zugänglich sind.

Referenzen