Tim Rocktäschel

wiki
, , , ,
1

Directeur et responsable de l’équipe Open-Endedness chez Google DeepMind et professeur d’intelligence artificielle à l’UCL, dont les recherches couvrent le raisonnement neuro-symbolique, l’apprentissage par renforcement et l’AGI ouverte.

Profil
Nationalité Allemande
Institutions actuelles Google DeepMind (Directeur, Principal Scientist, Responsable de l’équipe Open-Endedness) ; University College London — Département d’informatique (Professeur d’IA ; PI, DARK Lab)
Domaines de recherche Intelligence Artificielle Générale, Ouverture, Auto-Amélioration, Apprentissage par Renforcement, Intégration Neuro-Symbolique, Traitement du Langage Naturel
Directeur de thèse Sebastian Riedel
Thèse de doctorat (titre non confirmé) (University College London, vers 2017)
Site web rockt.ai
X / Twitter @_rockt
GitHub rockt
Google Scholar Tim Rocktäschel

Présentation

Tim Rocktäschel est un chercheur allemand en IA qui a construit une carrière exceptionnellement large, couvrant le raisonnement neuro-symbolique, l’apprentissage par renforcement profond et les environnements génératifs à grande échelle. Il est à la fois Directeur et Responsable de l’équipe Open-Endedness chez Google DeepMind et Professeur d’Intelligence Artificielle à l’University College London, où il dirige le DARK (Deciding, Acting, and Reasoning with Knowledge) Lab. Ses travaux de doctorat à l’UCL ont produit des résultats influents sur l’implication textuelle et la preuve de théorèmes différentiable ; son passage ultérieur à l’apprentissage par renforcement et à l’ouverture lui a valu deux prix du meilleur article à l’ICML 2024 et une conférence invitée à l’ICLR 2025, faisant de lui l’une des figures les plus reconnaissables à l’intersection de l’apprentissage et du raisonnement dans l’IA contemporaine.

Jeunesse et formation

Rocktäschel a étudié l’informatique à l’Université Humboldt de Berlin, obtenant son Diplôme (équivalent d’un M.Sc.) en 2012. Au cours de ses années de premier cycle et de début de troisième cycle, entre 2010 et 2012, il a travaillé comme assistant étudiant, puis en 2013 comme assistant de recherche dans le groupe de gestion des connaissances en bioinformatique de la même institution. En 2013, il a commencé son doctorat au sein du groupe Machine Reading de l’UCL sous la direction de Sebastian Riedel, financé initialement par une bourse de doctorat Microsoft Research. Pendant son doctorat, il a effectué un stage chez Google DeepMind à l’été 2015, et en 2017, il a obtenu une bourse de doctorat Google en traitement du langage naturel — l’une des distinctions doctorales les plus compétitives dans le domaine.

Carrière

University College London — Doctorat (2013–vers 2017)

Travaillant au sein du groupe Machine Reading de l’UCL, les recherches doctorales de Rocktäschel se sont concentrées sur les modèles d’apprentissage automatique intégrant des connaissances structurales préalables. Son travail de doctorat le plus cité est l’article de 2015 « Reasoning about Entailment with Neural Attention » (ICLR 2016), co-écrit avec Edward Grefenstette, Karl Moritz Hermann, Tomáš Kočiský et Phil Blunsom, qui a introduit l’attention mot-à-mot sur les encodeurs LSTM et est devenu une référence dans la recherche en NLI neuronale. Son travail connexe à sa thèse sur le End-to-End Differentiable Proving (NeurIPS 2017), co-écrit avec Riedel, a introduit les Neural Theorem Provers qui reformulent le chaînage arrière de type Prolog en un calcul différentiable sur des plongements de symboles, combinant la logique symbolique avec l’apprentissage basé sur le gradient.

Université d’Oxford — Chercheur postdoctoral (mai 2017–août 2018)

Après avoir obtenu son doctorat, Rocktäschel a rejoint le Whiteson Research Lab du département d’informatique d’Oxford en tant que chercheur postdoctoral en apprentissage par renforcement. Il a simultanément occupé des postes de Junior Research Fellow en informatique au Jesus College et de Stipendiary Lecturer au Hertford College. Cette période a marqué son virage vers l’apprentissage par renforcement et les environnements basés sur les agents, un fil conducteur qui allait définir la phase suivante de sa carrière.

Meta AI — FAIR (août 2018–vers 2022)

Rocktäschel a rejoint Facebook AI Research (FAIR) à Londres en tant que Research Scientist, pour finalement devenir Manager et Area Lead. Parallèlement à son entrée chez FAIR, il a été nommé Lecturer (plus tard Professeur) à l’UCL à partir d’août 2018, fondant le DARK Lab. Chez FAIR, son groupe a travaillé de manière approfondie sur les agents RL ancrés et les environnements d’apprentissage ouverts, y compris une implication significative dans le NetHack Learning Environment — un jeu de type roguelike généré procéduralement qui est devenu une référence standard pour l’efficacité d’échantillonnage et la généralisation dans la recherche en RL. Son groupe a défendu NetHack en tant que domaine de défi précisément parce qu’il restait difficile pour l’IA contemporaine malgré son apparente simplicité, nécessitant un raisonnement à long terme et une adaptation.

Google DeepMind (vers 2022–présent)

Rocktäschel a rejoint Google DeepMind, où il occupe les fonctions de Directeur, Principal Scientist et Responsable de l’équipe Open-Endedness. Dans ce rôle, il dirige des recherches visant à développer des systèmes d’IA capables d’auto-amélioration ouverte et de génération de curriculum. Son équipe a produit deux articles qui ont remporté le prix du meilleur article à l’ICML 2024 : « Genie: Generative Interactive Environments », qui a démontré un modèle du monde capable de générer des environnements interactifs 2D à partir d’une seule image d’invite, et « Debating with More Persuasive LLMs Leads to More Truthful Answers », qui a montré qu’une supervision à l’échelle via le débat entre LLM peut améliorer l’exactitude factuelle. Il a prononcé une conférence invitée à l’ICLR 2025 sur l’ouverture et l’intelligence générale. Il est également Fellow de l’ELLIS (European Laboratory for Learning and Intelligent Systems).

Contributions clés

  • « Reasoning about Entailment with Neural Attention » (ICLR 2016, avec Grefenstette, Hermann, Kočiský, Blunsom) — Le premier système générique différentiable de bout en bout à atteindre l’état de l’art sur un ensemble de données d’implication textuelle, popularisant l’attention mot-à-mot et contribuant à orienter la recherche en NLI qui a précédé l’ère Transformer.
  • End-to-End Differentiable Proving / Neural Theorem Provers (NeurIPS 2017, avec Riedel) — A introduit les NTP, qui reformulent le chaînage arrière de Prolog en un calcul différentiable sur des représentations vectorielles de symboles, une contribution fondatrice à l’IA neuro-symbolique.
  • e-SNLI: Natural Language Inference with Natural Language Explanations (NeurIPS 2018, avec Camburu, Lukasiewicz, Blunsom) — A étendu le benchmark SNLI avec des explications humaines en texte libre, permettant de nouvelles recherches sur les modèles de NLI explicables.
  • NetHack Learning Environment — A co-développé le NLE en tant que benchmark RL rigoureux, fournissant un environnement généré procéduralement qui reste largement non résolu et continue de stimuler la recherche sur l’efficacité d’échantillonnage et la généralisation.
  • « Genie: Generative Interactive Environments » (ICML 2024 Best Paper, avec Bruce, Dennis, Parker-Holder et al. chez DeepMind) — A démontré un modèle du monde qui génère des environnements interactifs 2D jouables à partir de vidéos non étiquetées, faisant progresser le programme de l’ouverture.
  • « Debating with More Persuasive LLMs Leads to More Truthful Answers » (ICML 2024 Best Paper, avec Khan, Hughes, Grefenstette, Bowman, Perez et al.) — A fourni un soutien empirique pour une supervision à l’échelle via le débat en tant que mécanisme pour améliorer la véracité des LLM.
  • UCL DARK Lab — A fondé et dirige un groupe de recherche à l’UCL axé sur les agents qui décident, agissent et raisonnent avec des connaissances, produisant un flux d’étudiants en doctorat et de postdocs en RL et en TAL qui ont ensuite occupé des postes chez DeepMind, FAIR et dans des institutions académiques.

Récompenses et reconnaissance

  • Bourse de doctorat Microsoft Research (2013) — Financement compétitif pour des études doctorales à l’UCL.
  • Bourse de doctorat Google en traitement du langage naturel (2017) — L’une des rares attribuées chaque année dans le monde entier dans tous les domaines de l’informatique.
  • Deux prix du meilleur article à l’ICML (2024) — Pour « Genie » et « Debating with More Persuasive LLMs » ; parmi les très rares chercheurs à avoir reçu plusieurs distinctions de meilleur article lors de la même conférence de premier plan en une seule année.
  • Conférence invitée à l’ICLR (2025) — Reconnu comme une voix de premier plan sur l’ouverture et l’intelligence générale.
  • ELLIS Fellow — Membre du réseau paneuropéen des meilleurs chercheurs en IA.

Relations clés

  • Sebastian Riedel — Directeur de thèse à l’UCL ; collaborateur sur les Neural Theorem Provers ; actuellement chez Google DeepMind. La relation intellectuelle la plus formatrice dans la carrière de Rocktäschel.
  • Shimon Whiteson — Superviseur du postdoc à Oxford ; le Whiteson Research Lab a initié Rocktäschel au RL profond, façonnant sa trajectoire ultérieure.
  • Edward Grefenstette — Collaborateur récurrent depuis l’article sur l’attention pour l’implication (2015) ; également co-auteur sur l’article sur le débat à l’ICML 2024.
  • Phil Blunsom — Co-auteur sur les articles sur l’implication et e-SNLI ; figure de longue date dans l’écosystème TAL d’Oxford/DeepMind.
  • Jack Parker-Holder — Collaborateur proche chez DeepMind sur l’ouverture et Genie ; membre central de l’équipe Open-Endedness.
  • Ethan Perez — Co-auteur sur l’article sur le débat ; Perez est maintenant chez Anthropic travaillant sur la supervision à l’échelle, reflétant des intérêts communs pour l’alignement via le débat.
  • Jeff Clune — Principal défenseur de l’ouverture ; allié intellectuel dont les travaux antérieurs sur la qualité-diversité et les algorithmes générateurs d’IA informent le programme d’ouverture de DeepMind.

Style personnel

La recherche de Rocktäschel a une cohérence longitudinale distincte : ses travaux de doctorat sur la rendue différentiable de la logique symbolique, ses travaux de l’ère RL sur les agents qui doivent construire et transférer des connaissances, et son programme actuel d’auto-amélioration ouverte sont tous des variations sur une seule question — comment construire des systèmes qui accumulent et réutilisent des connaissances structurées sans qu’on leur dise exactement comment. Il a la réputation de défendre des benchmarks difficiles et « non résolus » comme NetHack comme antidotes à la saturation des benchmarks, et ses écrits publics et ses conférences ont tendance à souligner ce que les modèles actuels ne peuvent pas encore faire plutôt que de célébrer ce qu’ils peuvent faire. Ses rôles académiques et industriels simultanés reflètent une stratégie consciente : garder un laboratoire universitaire pour poursuivre des horizons de recherche à long terme tout en étant intégré dans une organisation de recherche industrielle disposant de la puissance de calcul pour les tester.

Références