Nando de Freitas

Wiki
, , , ,
1

Machine-Learning-Forscher, serieller akademischer Unternehmer und Vizepräsident bei Microsoft AI, dessen grundlegende Beiträge zu Bayes’scher Inferenz, sequenziellen Monte-Carlo-Methoden, Bayes’scher Optimierung und Deep Learning das Feld über drei Jahrzehnte und vier Institutionen hinweg geprägt haben.

Profil

Feld Detail
Vollständiger Name Nando de Freitas
Geburtsdatum Nicht öffentlich bekannt
Geburtsort Zimbabwe
Staatsangehörigkeit Südafrikanisch / Portugiesisch (aufgewachsen in Zimbabwe, Mosambik, Portugal, Venezuela und Südafrika)
Aktuelle Institution Microsoft AI
Aktuelle Rolle Vizepräsident für KI
Forschungsgebiete Bayes’sche Inferenz, sequenzielle Monte-Carlo-Methoden, Bayes’sche Optimierung, Deep Learning, bestärkendes Lernen, multimodale KI
PhD-Arbeit Bayesian Methods for Neural Networks (2000)
PhD-Betreuer Andrew Howard Gee, Mahesan Niranjan, Christophe Andrieu, Arnaud Doucet
Persönliche Website (UBC) cs.ubc.ca/~nando
Oxford-Seite cs.ox.ac.uk/people/nando.defreitas
Microsoft AI-Seite microsoft.ai/team/nando-de-freitas
X / Twitter @NandoDF
GitHub nandodf
Google Scholar nzEluBwAAAAJ

Überblick

Nando de Freitas ist einer der einflussreichsten Forscher im modernen maschinellen Lernen. Über mehr als dreißig Jahre hinweg hat er bahnbrechende Beiträge zu Bayes’schen probabilistischen Methoden, Bayes’scher Optimierung und Deep Learning geleistet. Er hatte Professuren an der University of British Columbia (2001–2014) und der University of Oxford (2013–2017) inne, gründete Ausgründungen, die von CNN bzw. Google DeepMind übernommen wurden, und verbrachte etwa ein Jahrzehnt bei DeepMind, wo er Arbeiten zu generativen Audio- und Bildsystemen leitete. Im September 2024 wechselte er als Vizepräsident zu Microsoft AI, wo er ein Team leitet, das sich auf multimodale Wahrnehmung und Generierung konzentriert. Seine Veröffentlichungen umfassen mehrere Arbeiten, die mit Best Paper Awards auf ICML, ICLR und IJCAI ausgezeichnet wurden, und er gilt weithin als Mitbegründer der Communities für Partikelfilterung und Bayes’sche Optimierung im maschinellen Lernen. Neben seiner Forschung hat er sich durch Initiativen wie Deep Learning Indaba und Khipu AI langfristig für die KI-Bildung in Afrika und Lateinamerika engagiert.

Frühes Leben & Ausbildung

De Freitas wurde in Zimbabwe geboren und wuchs in mehreren Ländern auf – Mosambik, Portugal, Venezuela und Südafrika – bevor er für sein Grund- und Masterstudium an der University of the Witwatersrand (Wits) in Johannesburg sesshaft wurde. Seine erste Berührung mit neuronalen Netzen kam durch ein Abschlussprojekt im Grundstudium, bei dem er Diagnosetools für Regelventile in südafrikanischen Minen entwickelte – eine Erfahrung, die er als richtungsweisend für seine gesamte Karriere beschrieben hat. Er hat über die finanzielle Unsicherheit seines frühen akademischen Lebens gesprochen und darüber, dass er zunächst vorhatte, sein Graduiertenstudium aufzugeben, um eine Stelle anzunehmen, bevor ihn ein Cambridge-Professor und, nach dem gewaltsamen Tod seines Vaters, der Wunsch seiner Familie, weiterzumachen, dazu ermutigten.

B.Sc. (mit Auszeichnung) in Elektrotechnik, University of the Witwatersrand, 1991–1994. Er erhielt den Bernard-Price-Preis als bester Absolvent des Jahres in Elektrotechnik, den Preis der Institution of Electrical Engineers und die Verdienstmedaille des Engineering Council of South Africa, neben zahlreichen weiteren Auszeichnungen.

M.Sc. (mit Auszeichnung) in Regelungssystemen, University of the Witwatersrand, 1994–1996. Arbeit: Neuro-Netz-basierte nichtparametrische Regression zur Systemidentifikation und Fehlererkennung. Unterstützt durch die Foundation for Research Development und die Portugiesische Regierungsmedaille für den portugiesischen Studenten mit den besten akademischen Leistungen im südlichen Afrika (1995).

Ph.D. in Bayes’schen Methoden für neuronale Netze, Trinity College, University of Cambridge, 1996–2000. Betreut von Andrew Howard Gee, Mahesan Niranjan, Christophe Andrieu und Arnaud Doucet. Unterstützt u. a. durch das Cambridge Commonwealth Trust Fellowship, das Trinity College External Research Studentship und das South African Foundation for Research Development Overseas PhD Scholarship.

Karriere

UC Berkeley – Postdoktorand (1999–2001)

In Stuart Russells KI-Gruppe arbeitend, entwickelte de Freitas Fachkenntnisse in maschinellem Lernen, Computer Vision, Bildabruf, variationeller Inferenz, Partikelfilterung und MCMC-Simulation. Diese Zeit brachte einige seiner nachhaltigsten frühen Arbeiten über sequenzielle Monte-Carlo-Methoden hervor.

University of British Columbia – Professor (2001–2014)

De Freitas trat eine Tenure-Track-Stelle am Fachbereich Informatik der UBC an und wurde zum ordentlichen Professor befördert. In dieser Zeit baute er eine äußerst produktive Forschungsgruppe auf, betreute zahlreiche Doktoranden, war Mitherausgeber des grundlegenden Bandes Sequential Monte Carlo Methods in Practice (Doucet, de Freitas, Gordon, 2001) und veröffentlichte den vielzitierten Artikel „An Introduction to MCMC for Machine Learning“ (Andrieu, de Freitas, Doucet, Jordan, Machine Learning, 2003). Er gründete zwei Unternehmen aus seiner Forschung: Zite, eine personalisierte Nachrichten-App, die auf Empfehlungs-ML basierte, das er mit den Studenten Eric Brochu und Mike Klaas entwickelte, die von CNN übernommen wurde und zur Engine für CNN Trends wurde; und später Dark Blue Labs (siehe unten). Er erhielt den Charles A. McDowell Award for Excellence in Research (2013), den MITACS Young Researcher Award (2010), das Killam Faculty Research Fellowship (2008), das CIFAR Fellowship (2009) und viermal den UBC Incredible Instructor Award (2002, 2003, 2004, 2009). Er war General Chair der UAI 2013. Nach seinem Wechsel nach Oxford blieb er Adjunct Professor an der UBC.

University of Oxford – Professor (2013–2017)

De Freitas wechselte als ordentlicher Professor und Fellow des Linacre College an den Fachbereich Informatik in Oxford, wo seine Gruppe bahnbrechende Arbeiten im tiefen bestärkenden Lernen, der Programminduktion und dem multimodalen Sequenzlernen hervorbrachte. Zu den wichtigsten Veröffentlichungen aus dieser Zeit gehören die Arbeit zu Dueling Network Architectures (ICML 2016 Best Paper), Neural Programmer-Interpreters (ICLR 2016 Best Paper) und LipNet (2016). Er verließ Oxford formell im April 2017.

Google DeepMind (2014–2024)

Im Oktober 2014 übernahm DeepMind Dark Blue Labs, eine Oxford-Ausgründung, die von de Freitas mitbegründet wurde, im Rahmen einer gleichzeitigen Übernahme von zwei britischen KI-Teams. De Freitas kam als leitender Forschungswissenschaftler zu DeepMind und leitete später das Team, das für Werkzeuge zur Generierung von Audio und Bildern zuständig war. Sein Jahrzehnt bei DeepMind umfasste grundlegende Arbeiten im tiefen bestärkenden Lernen, generativer Modellierung und groß angelegten Lernsystemen. Er erhielt 2014, zeitgleich mit der Übernahme, einen Google Faculty Research Award.

Microsoft AI – Vizepräsident (September 2024–heute)

De Freitas wechselte im September 2024 als Vizepräsident für KI zu Microsoft AI. Er ist Teil des multimodalen Teams, das sich auf Wahrnehmung und Generierung konzentriert – das Verstehen von Bildinhalten und das Erzeugen interaktiver Medien. Er hat sein Ziel beschrieben, ein Team von Ingenieuren und Forschern zu befähigen, während er persönlich der Forschung, dem Programmieren und der neuesten Literatur nahe bleibt. Seine öffentlichen Äußerungen aus dieser Zeit spiegeln eine verstärkte Fokussierung auf KI-Skalierung, Sicherheit und die gesellschaftlichen Auswirkungen leistungsstarker KI-Systeme wider.

Wichtigste Beiträge

  • „An Introduction to MCMC for Machine Learning“ (Andrieu, de Freitas, Doucet, Jordan; Machine Learning, 2003) – Einer der einflussreichsten Tutorial-Artikel im probabilistischen maschinellen Lernen; führte eine ganze Generation von ML-Forschern in Markov-Chain-Monte-Carlo ein und bleibt eine Standardreferenz für Graduiertenkurse.

  • Sequential Monte Carlo Methods in Practice (Herausgeberband, Doucet, de Freitas, Gordon; Springer, 2001) – Mitherausgeber des grundlegenden Buches auf dem Gebiet der Partikelfilterung, das die Terminologie standardisierte und die Community der sequenziellen Bayes’schen Inferenz zusammenbrachte.

  • „Taking the Human Out of the Loop: A Review of Bayesian Optimization“ (Shahriari, Swersky, Wang, Adams, de Freitas; Proceedings of the IEEE, 2016) – Ein umfassender Überblick über die Bayes’sche Optimierung, der zur Standardreferenz des Feldes wurde und in den Communities für maschinelles Lernen, AutoML und experimentelles Design weithin zitiert wird.

  • REMBO: Bayesian Optimization in High Dimensions via Random Embeddings (Wang, Zoghi, Hutter, Matheson, de Freitas; IJCAI 2013, Distinguished Paper Award) – Erweiterte die Bayes’sche Optimierung auf milliardendimensionale Räume mithilfe von zufälligen linearen Einbettungen und ermöglichte so ihre Anwendung auf groß angelegte Hyperparameter- und Algorithmenkonfigurationsprobleme.

  • Dueling Network Architectures for Deep Reinforcement Learning (Wang, de Freitas, Lanctot; ICML 2016, Best Paper) – Führte die Dueling-Architektur für tiefe Q-Netzwerke ein, die Zustandswert und Vorteilsschätzung trennt und auf dem Atari-Benchmark die damals beste Leistung erzielte.

  • Neural Programmer-Interpreters (Reed, de Freitas; ICLR 2016, Best Paper) – Schlug ein rekurrentes Netzwerk vor, das lernt, Programme darzustellen und auszuführen, wodurch die Forschungslinie der Programminduktion vorangetrieben und nachfolgende Arbeiten zu neuronalem Denken und Codegenerierung beeinflusst wurden.

  • LipNet (Assael, Shillingford, Whiteson, de Freitas; 2016) – Das erste Deep-Learning-System, das end-to-end Lippenlesen auf Satzebene durchführte und in seinem Benchmark eine weit über menschliche Leistungen hinausgehende Genauigkeit erzielte, was breite Aufmerksamkeit in den Sprach-, Bildverarbeitungs- und Barrierefreiheits-Communities erregte.

  • Dark Blue Labs – Von de Freitas mitbegründete Oxford-Ausgründung, die 2014 von DeepMind übernommen wurde; eine der Transaktionen, die DeepMinds Forschungskapazität in den Bereichen natürliche Sprache und Audio erheblich erweiterten.

  • Zite – Nachrichtenpersonalisierungs-Startup, das mit UBC-Studenten entwickelt, von CNN übernommen und als Empfehlungsmaschine für CNN Trends eingesetzt wurde; demonstrierte die frühe industrielle Anwendung Bayes’schen maschinellen Lernens.

  • YouTube-ML-Kurse – Frei verfügbare Vorlesungsreihen zum maschinellen Lernen auf Bachelor- und Master-Niveau, aufgezeichnet an der UBC, gehören zu den frühesten und meistgesehenen offenen Kursen in diesem Bereich und waren ein Vorbild für den ML-Lehrplan der MOOC-Ära.

  • Deep Learning Indaba und Khipu AI – Bildungsinitiativen, für die de Freitas persönliches Engagement bekundet hat und die das Wachstum der ML-Forschungsgemeinschaften in Afrika bzw. Lateinamerika unterstützen.

Auszeichnungen & Anerkennungen

  • Best Paper Award, ICML 2016 – Dueling Network Architectures for Deep Reinforcement Learning
  • Best Paper Award, ICLR 2016 – Neural Programmer-Interpreters
  • Yelp Dataset Challenge Award, KDD 2015 – Multi-Instance Transfer Learning Paper
  • Distinguished Paper Award, IJCAI 2013 – REMBO (Bayesian Optimization in High Dimensions)
  • Charles A. McDowell Award for Excellence in Research (2012/2013) – Die höchste Forschungsauszeichnung der UBC für einen Fakultätsmitarbeiter
  • Google Faculty Research Award (2014) – Für Arbeiten zum Deep Learning, verliehen zeitgleich mit der Übernahme von Dark Blue Labs
  • MITACS Young Researcher Award (2010) – Mathematics of Information Technology and Complex Systems
  • CIFAR Fellowship (2009) – Neural Computation and Adaptive Perception Program, Canadian Institute for Advanced Research
  • Killam Faculty Research Fellowship (2008) – UBC
  • UBC Incredible Instructor Award – Viermal: 2002, 2003, 2004, 2009
  • Best Paper, Cognitive Computer Vision track, ECCV 2004 – Mit Kenji Okuma, Ali Taleghani, James Little und David Lowe
  • Best Paper, Cognitive Computer Vision track, ECCV 2002 – Mit Pinar Duygulu, Kobus Barnard und David Forsyth
  • Cambridge Commonwealth Trust Fellowship (1997)
  • Portugiesische Regierungsmedaille (1995) – Für den portugiesischen Studenten mit den besten akademischen Leistungen im südlichen Afrika
  • Bernard-Price-Preis (1994) – Bester Absolvent des Jahres in Elektrotechnik, University of the Witwatersrand

Wichtige Beziehungen

  • Arnaud Doucet – PhD-Ko-Betreuer in Cambridge und langjähriger Mitarbeiter; gemeinsam gaben sie den grundlegenden Band zur Partikelfilterung heraus und verfassten das MCMC-Tutorial-Papier, das beide als Autoritäten auf dem Gebiet der sequenziellen Monte-Carlo-Methoden etablierte.

  • Stuart Russell – Postdoktoranden-Betreuer an der UC Berkeley; führte de Freitas in die KI-Forschungsgemeinschaft in Nordamerika ein und prägte seine Integration von probabilistischem Denken mit maschinellem Lernen.

  • Yannis Assael – DPhil-Student in Oxford; Co-Erstautor von LipNet und heute Senior Staff Research Scientist bei Google DeepMind; einer der erfolgreichsten Absolventen von de Freitas’ Oxforder Gruppe.

  • Ziyu Wang – DPhil-Student in Oxford; Erstautor des Dueling Networks Papers (ICML 2016 Best Paper) und des REMBO-Papers; repräsentiert den Strang des tiefen bestärkenden Lernens in de Freitas’ Forschungsgruppe.

  • Scott Reed – Mitarbeiter in Oxford/DeepMind; Co-Autor von Neural Programmer-Interpreters (ICLR 2016 Best Paper) und später eine Schlüsselfigur in der groß angelegten generativen Modellierung.

  • Jakob Foerster – DPhil-Student in Oxford; Co-Autor von Arbeiten zur Multi-Agenten-Kommunikation, später Fakultätsmitglied in Oxford und Mitbegründer von Recursive.AI.

  • Christophe Andrieu – PhD-Ko-Betreuer in Cambridge; arbeitete während und nach der Promotion an grundlegenden MCMC- und Partikelfilterungsarbeiten mit.

  • Mustafa Suleyman – CEO von Microsoft AI; der Manager, der de Freitas 2024 von DeepMind – wo Suleyman Mitbegründer war – zu Microsoft AI holte.

Persönlicher Stil

De Freitas’ Forschungskarriere zeichnet sich durch eine ungewöhnliche Breite aus: Er hat grundlegende theoretische Arbeiten in der Bayes’schen Statistik, algorithmische Beiträge zum bestärkenden Lernen, angewandte Arbeiten in Computer Vision und Sprachverarbeitung sowie Systembeiträge durch Unternehmensausgründungen veröffentlicht. Er hat seine treibende Motivation nicht in einem bestimmten Teilgebiet beschrieben, sondern in der Frage, was Intelligenz ist und wie Gehirne funktionieren – eine Rahmung, die er auf sein erstes neuronales Netzprojekt als Student in Südafrika zurückführt. Auf X (@NandoDF) spiegeln seine Beiträge eine ähnlich breite Ausrichtung wider: Technische Kommentare zu KI-Skalierung und -Sicherheit stehen neben dem Eintreten für KI-Bildung im Globalen Süden, philosophischen Betrachtungen und gelegentlich persönlichen Schriften über seinen Hintergrund. Er hat öffentlich über das Aufwachsen in mehreren Ländern, die Erfahrung von Rassendiskriminierung während der Apartheid und die Rolle außergewöhnlicher Lehrer gesprochen, die seinen Werdegang ermöglicht haben – Positionen, die sein langjähriges Engagement in Bildungsinitiativen in Afrika und Lateinamerika prägen.

Referenzen