Chris Olah

ref · Mai 25, 2026, 7:27

Chercheur en interprétabilité mécaniste et cofondateur d’Anthropic — le Canadien autodidacte qui a inventé le terme « interprétabilité mécaniste », a fait du blog colah.github.io la ressource pédagogique en ML la plus lue des années 2010, et a passé quinze ans à poursuivre une seule question : que calculent réellement les réseaux de neurones ?

Profil

Domaine	Détail
Nationalité	Canadienne
Institution actuelle	Anthropic (Cofondateur ; chercheur en interprétabilité)
Domaines de recherche	Interprétabilité mécaniste, interprétabilité des réseaux de neurones, visualisation des caractéristiques, circuits, superposition, autoencodeurs creux, sécurité de l’IA
Formation	The Abelard School, Toronto (diplômé National AP Scholar, 2010) ; a quitté l’université sans diplôme ; Thiel Fellowship (2012)
Blog	colah.github.io
Fil de recherche	transformer-circuits.pub
X / Twitter	@ch402
GitHub	@colah
Google Scholar	scholar.google.com

Présentation

Chris Olah est un chercheur canadien en apprentissage automatique et cofondateur d’Anthropic qui a consacré toute sa carrière à une seule question : que font réellement les réseaux de neurones à l’intérieur ? Il a inventé le terme « interprétabilité mécaniste » en 2020, a dirigé l’équipe d’OpenAI qui a publié le fil Circuits sur Distill, et dirige depuis la recherche en interprétabilité chez Anthropic, qui a produit les articles Toy Models of Superposition, Towards Monosemanticity, Scaling Monosemanticity et Circuit Tracing — l’ensemble des travaux qui définissent la frontière actuelle du domaine. Il n’a pas de diplôme universitaire formel, ayant quitté l’université à 18 ans pour poursuivre des recherches indépendantes soutenues par une bourse Thiel, et son blog technique (colah.github.io) est devenu l’une des ressources les plus lues dans l’enseignement de l’apprentissage automatique dans les années 2010 avant qu’il ne se tourne vers la publication de recherche. Il a cofondé Distill (2017), un journal scientifique dédié à la communication exceptionnelle en ML, puis a cofondé Anthropic (2021) avec Dario Amodei, Ilya Sutskever et d’autres partis d’OpenAI. Time l’a nommé parmi les 100 personnes les plus influentes dans l’IA pour 2024.

Jeunesse et formation

Olah a grandi au Canada et a obtenu son diplôme de la Abelard School de Toronto en tant que National AP Scholar en 2010. Il s’est inscrit à l’université mais l’a quittée à 18 ans sans obtenir de diplôme, attiré par la recherche indépendante en mathématiques et en informatique. Vers 2012, il a reçu une bourse Thiel — la récompense de 100 000 $ de la fondation de Peter Thiel conçue pour encourager les jeunes surdoués à poursuivre la recherche ou l’entrepreneuriat plutôt que l’université traditionnelle — qui a soutenu financièrement ses premiers travaux en autonomie.

Durant cette période, Olah tenait un blog précoce (christopherolah.wordpress.com / colah.ca) couvrant des sujets mathématiques, notamment la topologie, le calcul et la vision par ordinateur. Le style d’écriture qu’il a développé — clair, riche en diagrammes, construit à partir des principes premiers — a établi des habitudes qui ont fait de son blog ultérieur sur le ML l’une des ressources pédagogiques les plus influentes du domaine.

Carrière

Recherche indépendante et colah.github.io (2012–2014)

Avant de rejoindre une institution, Olah a développé de manière indépendante une compréhension approfondie des réseaux de neurones par la lecture, l’implémentation et l’écriture. Son blog colah.github.io est devenu la destination pour des explications accessibles de sujets alors considérés comme impénétrables : réseaux convolutifs, réseaux récurrents, attention, plongements de mots, rétropropagation. Des articles comme « Understanding LSTM Networks » (2015) et « Deep Learning, NLP, and Representations » (2014) ont accumulé des millions de lectures et sont devenus des références standard dans les cours universitaires du monde entier — inscrivant son nom dans l’expérience d’apprentissage de toute une génération de praticiens du ML. Il a décrit sa mission personnelle comme voulant « comprendre les choses clairement et les expliquer bien » — une phrase qui apparaît sur son profil GitHub et qui résume sa carrière.

Google Brain (env. 2014–2019)

Olah a rejoint Google Brain en tant que chercheur, où il a principalement travaillé sur la compréhension de ce que les réseaux de neurones apprennent — à l’époque, une direction de recherche de niche et quelque peu sous-évaluée. Sa contribution la plus visible publiquement de cette période a été la co-création de DeepDream (2015, avec Alexander Mordvintsev et Mike Tyka), une technique pour amplifier les motifs qu’un réseau de neurones a appris à reconnaître en optimisant les images d’entrée vers des activations élevées de neurones cibles. Les visualisations psychédéliques qui en ont résulté sont devenues virales bien au-delà de la communauté ML et ont démontré à un large public que les réseaux de neurones construisaient des représentations internes riches du monde, et non pas seulement une correspondance statistique de motifs en surface.

Plus importante sur le plan technique a été son travail sur la visualisation des caractéristiques — des méthodes systématiques pour comprendre à quoi réagissent les neurones et les canaux individuels dans un réseau — qu’il a développé en collaboration avec Shan Carter et d’autres, et publié via le journal Distill qu’il a cofondé. L’article « Feature Visualization » de 2017 et l’article « Building Blocks of Interpretability » de 2018 ont établi un vocabulaire et une méthodologie pour l’analyse structurée des internes des réseaux qui ont directement précédé les travaux sur les Circuits.

Distill (cofondé en 2017) : Aux côtés de Shan Carter et d’autres, Olah a cofondé Distill, un journal scientifique bâti sur la conviction que la présentation et la clarté dans la communication scientifique ne sont pas une décoration mais une substance. Les articles de Distill combinaient des visualisations interactives, des diagrammes animés et une prose claire pour expliquer les concepts de ML ; le journal a attiré des contributions de haut niveau sur l’attention, les GAN et la visualisation des caractéristiques. Bien que Distill ait mis en pause les nouvelles publications en 2021 en raison de la charge de maintenance, son esthétique a influencé toute une génération de chercheurs en ML et a établi une norme pour ce à quoi une communication scientifique soignée dans le domaine pourrait ressembler. Le fil transformer-circuits.pub qu’Olah a ensuite lancé chez Anthropic perpétue le même ethos.

OpenAI — Équipe de clarté (env. 2019–2021)

Olah a rejoint OpenAI pour diriger son équipe de clarté (« Clarity team ») axée sur l’interprétabilité. Le résultat le plus significatif de cette période est le fil Circuits — une séquence d’articles publiés sur Distill à partir de 2020 qui étudiait InceptionV1, un modèle de vision, au niveau des neurones individuels et des connexions entre eux. L’article inaugural, « Zoom In: An Introduction to Circuits » (2020, avec Nick Cammarata et d’autres), a démontré que des neurones individuels correspondaient à des concepts reconnaissables (détecteurs de courbes, détecteurs de textures, voire un « détecteur d’oreilles tombantes ») et que les connexions entre neurones formaient des algorithmes significatifs — impliquant que les réseaux de neurones pourraient en principe être rétroconçus en composants interprétables. L’article a inventé le terme « interprétabilité mécaniste » et a proposé trois propriétés des réseaux de neurones — caractéristiques, circuits et universalité — comme principes d’organisation pour le domaine.

Activation Atlases (2019) : Co-développé avec Shan Carter chez Google et OpenAI, Activation Atlases fournissait une carte globale de l’espace des caractéristiques d’un réseau de neurones en agrégeant des millions de vecteurs d’activation et en visualisant leur structure — permettant une « vue d’ensemble » de ce qu’un réseau a appris plutôt qu’une inspection neurone par neurone.

Anthropic — Cofondateur et responsable de l’interprétabilité (2021–présent)

Olah a cofondé Anthropic en 2021 avec Dario Amodei, Daniela Amodei, Tom Brown, Chris Jones, Sam McCandlish, Jack Clark et Jared Kaplan — un groupe qui a quitté OpenAI en grande partie en raison de préoccupations concernant le rythme des travaux de sécurité par rapport au développement des capacités. Chez Anthropic, l’interprétabilité est l’une des priorités de recherche essentielles de l’entreprise, et Olah dirige l’équipe d’interprétabilité, qui a produit les travaux les plus influents du domaine dans les années 2020 :

« Toy Models of Superposition » (2022) : Cet article a étudié pourquoi les neurones dans les réseaux de neurones semblent « polysémantiques » — répondant à plusieurs caractéristiques sans lien — et a développé un cadre théorique et empirique centré sur la « superposition » : le phénomène par lequel un réseau de neurones avec n neurones peut représenter plus de n caractéristiques en les regroupant dans des directions qui se chevauchent dans l’espace d’activation. L’article a posé les bases mathématiques pour comprendre pourquoi l’interprétabilité mécaniste est difficile (les caractéristiques ne sont pas proprement assignées aux neurones) et pourquoi les méthodes creuses pourraient aider à les décomposer.

« Towards Monosemanticity: Decomposing Language Models with Dictionary Learning » (2023) : A appliqué les autoencodeurs creux (SAE) aux neurones MLP du transformer pour extraire un large dictionnaire de caractéristiques interprétables — abordant le problème de la superposition en trouvant un espace de dimension supérieure dans lequel les directions individuelles correspondent à des concepts reconnaissables par l’humain. Ce travail a déplacé le programme de recherche en interprétabilité mécaniste vers l’apprentissage de dictionnaire comme outil principal de décomposition des caractéristiques.

« Scaling Monosemanticity » (2024) : A étendu l’approche de l’autoencodeur creux à Claude Sonnet, trouvant des millions de caractéristiques interprétables dans un modèle de langage à l’échelle de la production — y compris des caractéristiques correspondant à des personnages, des concepts et des abstractions étonnamment humaines, dont des caractéristiques associées à des états émotionnels et à des concepts introspectifs.

Circuit Tracing et Attribution Graphs (2025) : A introduit les transcodeurs inter-couches (CLT) comme une nouvelle forme d’autoencodeur creux qui remplace les couches MLP par des composants interprétables, permettant la construction de « graphes d’attribution » — des cartes causales de quelles caractéristiques ont influencé quelles sorties lors d’un passage avant particulier du modèle. Cette approche a été appliquée à Claude 3.5 Haiku en production et la base de code a été libérée en open source, rendant l’infrastructure de traçage de circuits accessible à la communauté de recherche plus large.

Transformer Circuits Thread (transformer-circuits.pub) : Olah a organisé les résultats de recherche en interprétabilité d’Anthropic dans ce fil de publication public, qui fonctionne comme le lieu de publication principal de fait du domaine, dans l’esprit de Distill.

Contributions clés

A inventé l’« interprétabilité mécaniste » — Le terme et le programme de recherche qu’il nomme proviennent tous deux de l’article Circuits d’Olah en 2020 ; le domaine qui s’est développé autour comprend aujourd’hui des dizaines de groupes de recherche et des centaines de chercheurs dans le monde entier.
« Zoom In: An Introduction to Circuits » (2020) — L’article fondateur de l’interprétabilité mécaniste moderne ; a démontré que les neurones individuels et leurs connexions dans un modèle de vision peuvent être rétroconçus en algorithmes interprétables ; a introduit les caractéristiques, les circuits et l’universalité comme principes d’organisation.
« Toy Models of Superposition » (2022) — A fourni le cadre théorique pour comprendre la polysémie et l’hypothèse de superposition ; a redirigé la recherche en interprétabilité vers les méthodes de décomposition creuse.
« Towards Monosemanticity » (2023) et « Scaling Monosemanticity » (2024) — Ont démontré que les autoencodeurs creux peuvent décomposer des modèles de langage de production en millions de caractéristiques interprétables ; les articles d’interprétabilité mécaniste les plus cités de leurs années.
Circuit Tracing / Attribution Graphs (2025) — Ont introduit un cadre unifié pour tracer les chemins causaux à travers le calcul d’un modèle ; ont libéré les outils en open source ; ont été appliqués à Claude en production pour la première fois.
DeepDream (2015) — A co-créé la technique qui a rendu les représentations internes des réseaux de neurones visibles et compréhensibles publiquement ; un jalon culturel et scientifique qui a changé la façon dont le grand public comprenait ce que les réseaux de neurones apprennent.
Blog colah.github.io — Des articles dont « Understanding LSTM Networks », « Calculus on Computational Graphs », « Neural Networks, Types, and Functional Programming » et « Visual Information Theory » sont devenus des références éducatives standard ; le blog a atteint des millions de lecteurs et a formé une génération de praticiens du ML.
Distill (cofondé en 2017) — A cofondé le journal scientifique ML axé sur la communication exceptionnelle, établissant une norme pour les articles ML interactifs et guidés par des diagrammes qui a influencé la façon dont le domaine publie et s’explique.
Feature Visualization (2017, avec Shan Carter) — Méthodologie systématique pour comprendre ce que les neurones individuels optimisent ; fondement de tous les travaux ultérieurs sur les composants internes des réseaux de neurones.

Distinctions et reconnaissance

TIME100 AI — Personnes les plus influentes dans l’IA (2024) — Citée comme pionnière de l’interprétabilité mécaniste.
Bourse Thiel (2012) — Récompense de 100 000 $ reconnaissant les jeunes chercheurs et entrepreneurs exceptionnels.
National AP Scholar (2010) — Distinction académique lors de l’obtention du diplôme de la Abelard School.

Relations clés

Dario Amodei — PDG et cofondateur d’Anthropic ; l’interprétabilité est explicitement une priorité stratégique chez Anthropic en partie en raison de la propre opinion de Dario selon laquelle c’est « l’un des meilleurs paris pour un développement responsable de l’IA » ; l’accent commun d’Olah et d’Amodei sur l’importance de comprendre les systèmes d’IA avant de les déployer définit la culture de sécurité d’Anthropic.
Shan Carter — Collaborateur de recherche de longue date ; co-auteur de Feature Visualization, Building Blocks of Interpretability et Activation Atlases ; cofondateur de Distill aux côtés d’Olah ; l’association de la dynamique théorique d’Olah et de la sensibilité au design et à la communication de Carter a défini l’esthétique de Distill.
Nick Cammarata — Collaborateur clé sur le fil Circuits original chez OpenAI ; co-auteur de « Zoom In ».
Tom Brown — Cofondateur d’Anthropic ; autre ancien d’OpenAI ; l’auteur principal de GPT-3 a apporté une expertise en modélisation du langage qui complète l’accent sur l’interprétabilité d’Olah.
Andrej Karpathy — Parmi les adeptes les plus en vue d’Olah ; tous deux partagent un engagement à construire une compréhension publique du fonctionnement des réseaux de neurones, par des modalités différentes (Karpathy par des cours et du code, Olah par des essais visuels et de la théorie).

Style personnel

L’identité intellectuelle d’Olah peut être énoncée simplement parce qu’il l’a énoncée à plusieurs reprises : « Je veux comprendre les choses clairement et les expliquer bien. » Ce double engagement — envers une compréhension authentique et une communication authentique — n’est pas rhétorique ; il prédit à la fois la forme et le fond de sa production. Ses articles de blog se distinguent par le fait qu’ils partent des principes premiers, utilisant des diagrammes soigneusement conçus plutôt que des équations dans la mesure du possible, et insistant sur le fait que comprendre signifie être capable de construire une explication qui rend la chose évidente a posteriori. Ses articles de recherche chez Anthropic partagent la même esthétique : le fil transformer-circuits se lit davantage comme un récit scientifique patient et cumulatif que comme une séquence de contributions à une conférence.

Son approche de la sécurité de l’IA est également distinctive au sein du domaine : plutôt que de partir de la théorie de l’alignement ou de la gouvernance, il part de la question empirique de ce qui se passe réellement à l’intérieur des réseaux de neurones — traitant l’interprétabilité comme le prérequis à tout le reste. Il a décrit être incertain sur de nombreuses questions contestées en sécurité de l’IA mais confiant que « quelle que soit la réponse, comprendre ce que font les réseaux de neurones comptera ». Son profil Digg vibe (37 % interprétabilité mécaniste, « Informing » et « Teaching » dominants) capture avec précision un communicateur dont la présence publique est avant tout pédagogique — moins préoccupé par le débat que par la construction d’une compréhension partagée d’un problème empirique vraiment difficile.