Deutsch-amerikanischer NLP-Pionier, der neuronale Netze in die Sprachverarbeitung einführte, GloVe-Wortvektoren und grundlegende Ideen des Prompt Engineerings erfand und seitdem eine Reihe von KI-Unternehmen aufgebaut hat – MetaMind, You.com und Recursive –, die alle darauf abzielen, KI breiter zugänglich oder leistungsfähiger zu machen.
Profil
| Geboren | 1983 in Dresden, Ostdeutschland |
| Staatsangehörigkeit | Deutsch-amerikanisch |
| Derzeitige Institution(en) | Recursive (CEO & Co-Gründer); You.com (CEO & Gründer); AIX Ventures (Gründer & Managing Partner) |
| Forschungsgebiete | Natürliche Sprachverarbeitung, Deep Learning, Wortrepräsentationen, Multi-Task-Lernen, Rekursive Neuronale Netze, KI-Suche, Selbstverbessernde KI-Systeme |
| Doktorvater | Christopher Manning; Andrew Ng |
| Doktorarbeit | Recursive Deep Learning for Natural Language Processing and Computer Vision (Stanford University, 2014) |
| Webseite | socher.org |
| X / Twitter | @RichardSocher |
| Google Scholar | Richard Socher — über 180.000 Zitationen |
Überblick
Richard Socher ist ein deutsch-amerikanischer KI-Forscher und Serienunternehmer, dem weithin zugeschrieben wird, tiefe neuronale Netze in die natürliche Sprachverarbeitung eingeführt zu haben – zu einer Zeit, als die Forschungsgemeinschaft diesem Ansatz äußerst skeptisch gegenüberstand. Seine Doktorarbeit und frühe Postdoc-Arbeit an der Stanford University, die er mit Christopher Manning und Andrew Ng durchführte, etablierte Rekursive Neuronale Netze als praktische Architektur für kompositionelles Sprachverständnis, führte den Stanford Sentiment Treebank ein und gipfelte in GloVe – jahrelang die am weitesten verbreitete Methode für Worteinbettungen. Nach der Gründung von MetaMind (übernommen von Salesforce, 2016) und seiner Tätigkeit als Chief Scientist bei Salesforce war er Mitautor des decaNLP-Papiers, das die Idee einführte, alle NLP-Aufgaben als Fragebeantwortung zu betrachten – ein Einfluss auf das Paradigma des Prompt Engineerings. 2020 gründete er You.com mit – die erste Suchmaschine, die ein Sprachmodell integrierte – und startete 2026 Recursive, ein Unternehmen, das rekursiv selbstverbessernde Superintelligenz anstrebt und innerhalb weniger Monate nach seiner Gründung 650 Millionen US-Dollar bei einer Bewertung von 4,65 Milliarden US-Dollar einsammelte. Er hat über 180.000 Google-Scholar-Zitationen und ist einer der wenigen Forscher, die in drei verschiedenen NLP-Jahrzehnten Auszeichnungen als Erstautor gewonnen haben.
Frühes Leben & Ausbildung
Socher wurde 1983 in Dresden im damaligen Ostdeutschland geboren und wuchs nach der Wiedervereinigung in einer Stadt mit einer starken mathematischen und technischen Kultur auf. Er hat seinen Weg als die Suche nach der unwahrscheinlichen Schnittstelle seiner beiden Leidenschaften – Mathematik und Sprache – beschrieben, die er in der Computerlinguistik und NLP fand. Um 2003 begann er in Deutschland ein Studium der linguistischen Informatik, bevor er für seine Promotion in die USA ging.
An der Stanford University promovierte Socher in Informatik unter der gemeinsamen Betreuung von Christopher Manning (dem führenden Computerlinguisten, der Stanford NLP leitete) und Andrew Ng. Seine Dissertation, Recursive Deep Learning for Natural Language Processing and Computer Vision (2014), war die erste umfassende Behandlung von baumstrukturierten neuronalen Netzen als allgemeine Architektur für das Sprachverständnis. Sie gewann 2014 den Arthur L. Samuel Best Computer Science PhD Thesis Award an der Stanford University. Anschließend war er außerordentlicher Professor im Fachbereich Informatik in Stanford und unterrichtete CS224n (Natural Language Processing with Deep Learning), das durch seine öffentlich zugänglichen Vorlesungsaufzeichnungen zu einer der meistgesehenen NLP-Kursreihen der Welt wurde.
Er erhielt die Ehrendoktorwürde (Dr.-Ing. h.c.) der TU Dresden, der technischen Spitzenuniversität seiner Geburtsstadt, in Anerkennung seiner Beiträge zur KI.
Karriere
Stanford NLP Group – Doktorandenforschung (2010–2014)
Sochers Promotionszeit fiel in eine Phase, in der fast die gesamte NLP-Forschung statistische und regelbasierte Methoden verwendete und neuronale Netze als ungeeignet für Sprache galten. Ab 2010 veröffentlichte er auf ICML, EMNLP, NIPS und ICLR und zeigte, dass Rekursive Neuronale Netze – Netze, deren Struktur den syntaktischen Parse-Baum eines Satzes widerspiegelt – kompositionelle Repräsentationen lernen konnten, die die damals modernsten statistischen Methoden bei Aufgaben wie Sentimentanalyse, Paraphrase-Erkennung, Szenen-Parsing und semantischer Rollenmarkierung übertrafen.
2013 führte er den Stanford Sentiment Treebank (SST) ein – einen Datensatz, der Sentiment an jedem Knoten eines Parse-Baums annotiert, nicht nur auf Satzebene, und so eine detaillierte Untersuchung ermöglicht, wie sich Sentiment über Klauseln hinweg zusammensetzt. Das begleitende Recursive Neural Tensor Network (RNTN)-Modell setzte den Maßstab für diesen Datensatz und wurde weitgehend übernommen. Das Papier von 2013 erhielt zehn Jahre später den ACL 2023 Test of Time Award.
2014 veröffentlichte er zusammen mit Jeffrey Pennington und Christopher Manning GloVe (Global Vectors for Word Representation) auf der EMNLP. GloVe lernte Worteinbettungen aus globalen Ko-Okkurrenz-Statistiken anstatt aus lokalen Kontextfenstern und übertraf Word2Vec mehrere Jahre lang bei Standard-Benchmarks. Es wurde zur Standard-Wortrepräsentation in der NLP-Forschung, bis kontextuelle Einbettungen (ELMo, BERT) es um 2018 herum ablösten.
MetaMind – CEO & CTO (2014–2016)
Unmittelbar nach seiner Promotion gründete Socher MetaMind, ein KI-Startup mit Sitz in Palo Alto, das Werkzeuge entwickelte, um das Training neuronaler Netze für nicht-spezialisierte Unternehmen zugänglich zu machen. MetaMind bot eine Cloud-Plattform für das Training von NLP- und Computervisions-Modellen an und entwickelte unternehmensorientierte NLP-Anwendungen für Branchen wie das Gesundheitswesen und den Kundenservice. Das Unternehmen wurde 2016 von Salesforce übernommen.
Salesforce – Chief Scientist & EVP (2016–2020)
Als erster Chief Scientist und Executive Vice President von Salesforce baute Socher die Salesforce Research-Abteilung von einer kleinen Gruppe zu einem der aktivsten industriellen NLP-Forschungsteams der Welt aus. Die von ihm geleiteten Teams veröffentlichten auf ICML, NeurIPS, ICLR und ACL und produzierten neben wettbewerbsfähiger akademischer Forschung eine Reihe einflussreicher angewandter Systeme.
Zu den wichtigsten Forschungsergebnissen dieser Zeit gehören CoVe (Contextualized Word Vectors, NeurIPS 2017, mit Bryan McCann, James Bradbury und Caiming Xiong), das ELMo darin vorausging, dass es zeigte, dass Repräsentationen, die von einem neuronalen Maschinenübersetzungsmodell übertragen werden, die Leistung bei nachgelagerten NLP-Aufgaben verbessern – eine frühe Demonstration dessen, was später Transferlernen für NLP wurde. Das Salesforce-Team veröffentlichte auch Arbeiten zur abstraktiven Zusammenfassung (Deep Reinforced Model, ICLR 2018) und zum AI Economist, einem Framework für bestärkendes Lernen zur Untersuchung der Steuerpolitik.
Das zentrale Ergebnis der Salesforce-Phase war