Lucas Beyer

wiki
, , , ,
1

Chercheur belge en vision par ordinateur, co-auteur du Vision Transformer, de MLP-Mixer, SigLIP et PaliGemma chez Google Brain et DeepMind, brièvement co-fondateur du bureau zurichois d’OpenAI, et aujourd’hui chercheur en IA multimodale chez Meta à Zurich.

Profil
Né La Calamine, Belgique
Nationalité Belge
Institution(s) actuelle(s) Meta (Membre du personnel technique, Zurich)
Domaines de recherche Vision par ordinateur, IA multimodale, Modèles vision-langage, Apprentissage de représentations, Conception d’architectures neuronales, Transformers
Directeur de thèse Bastian Leibe
Thèse de doctorat Deep Learning for Computer Vision on Mobile Robots (RWTH Aachen University, 2018)
Site web lucasb.eyer.be
X / Twitter @giffmana
GitHub lucasb-eyer
Google Scholar Lucas Beyer

Aperçu

Lucas Beyer est un chercheur belge en vision par ordinateur et IA multimodale, actuellement chez Meta à Zurich, où il poursuit le programme de recherche qu’il a développé pendant six ans chez Google Brain et Google DeepMind. Se décrivant comme un « hacker autodidacte et scientifique formé » qui a grandi en Belgique avec le français et l’allemand comme langues maternelles et voulait initialement créer de l’IA pour les jeux vidéo, il a obtenu un Dipl.-Ing. et un doctorat en vision par ordinateur et perception robotique à la RWTH Aachen sous la direction de Bastian Leibe avant de rejoindre Google Brain Zurich en 2018. Là, aux côtés de Xiaohua Zhai, Alexander Kolesnikov, Neil Houlsby, Alexey Dosovitskiy et d’autres, il a co-écrit une série d’articles — ViT, BiT, MLP-Mixer, Scaling ViT, SigLIP et PaliGemma — qui ont collectivement établi le Vision Transformer comme paradigme dominant pour la vision par ordinateur et produit les encodeurs vision-langage open-source les plus largement déployés aujourd’hui. En décembre 2024, il a co-fondé le bureau zurichois d’OpenAI avec Zhai et Kolesnikov ; en juin 2025, il avait rejoint l’équipe de recherche de Meta à Zurich. Son site web, son blog et son GitHub public incarnent le côté « hacker » de son identité : il est l’auteur de plus d’une douzaine de bibliothèques open-source en C++, Go et Python, et maintient la base de code big_vision qui sert de fondement à la plupart des recherches récentes de Google en vision.

Jeunesse et éducation

Beyer a grandi à La Calamine, une petite commune de la communauté germanophone de l’est de la Belgique, près de la frontière allemande — une éducation bilingue qui lui a donné le français et l’allemand comme langues maternelles, et le néerlandais et l’anglais comme langues de travail. Il a fréquenté l’Athénée César Franck et a développé très tôt un intérêt pour le développement de jeux, la programmation et l’IA générée par ordinateur. Il a commencé ses études de premier cycle en 2006 à la RWTH Aachen en Allemagne, en Génie des sciences computationnelles (Computational Engineering Science) — un programme interdisciplinaire exigeant couvrant les mathématiques, la physique, l’ingénierie et l’informatique. Il a obtenu son diplôme en juillet 2012 avec le grade de Dipl.-Ing. (l’équivalent allemand pré-Bologne d’un M.Sc.) avec une note de 1,3, la meilleure mention dans le système allemand. Sa thèse de Diplôme, « Exploiting Graphics Accelerators for Computational Biology », appliquait le calcul accéléré par GPU aux études d’association pangénomique (GWAS) et a été notée 1,0 (parfaite).

Il a brièvement entamé un programme de doctorat en calcul haute performance à l’institut AICES fin 2012, travaillant sur la théorie de la fonctionnelle de la densité haute performance. Après avoir réalisé que la physique quantique n’était pas sa vocation, il a été transféré mi-2013 dans le groupe de vision par ordinateur du Prof. Bastian Leibe à l’Institut d’informatique visuelle de la RWTH, où il a achevé un doctorat en vision par ordinateur en 2018. Ses recherches doctorales — financées par les projets de robotique de service EU STRANDS et SPENCER — ont développé des méthodes d’apprentissage profond pour la perception robotique sous des contraintes de faible annotation : estimation de l’orientation de la tête (Biternion Nets), détection de piétons dans les scans laser (DROW), ré-identification (In Defense of the Triplet Loss) et compréhension de scène robotique à long terme. Pendant son doctorat, il a effectué deux stages chez Google Venice (Los Angeles) — sur la prédiction du regard dans les images en été 2016 et le désentrelacement FaceNet en été 2017 — et a passé un semestre chez Kindred AI à Toronto, travaillant sur l’apprentissage robotique à partir de démonstrations humaines.

Carrière

Google Brain / Google DeepMind, Zurich — Chercheur scientifique senior (2018–2024)

Beyer a rejoint Google Brain Zurich en juin 2018, immédiatement après avoir soutenu son doctorat, et y est resté six ans, jusqu’à la fusion avec DeepMind en 2023, détenant finalement le titre de chercheur scientifique senior. Pendant cette période, il a co-dirigé l’effort de recherche multimodal (vision-langage) et la base de code big_vision — l’infrastructure de recherche partagée sous-tendant les modèles de vision publiés et internes de l’équipe.

Mise à l’échelle des modèles de vision et Big Transfer (BiT, 2020). Son premier résultat majeur a été Big Transfer („Big Transfer (BiT): General Visual Representation Learning“, ECCV 2020), qui a caractérisé la recette pour des représentations visuelles transférables : il faut augmenter la capacité du modèle, la taille de l’ensemble de données de pré-entraînement et la durée d’entraînement de manière proportionnelle („diagonalement“) pour tirer parti de l’échelle. BiT a établi l’état de l’art sur un large éventail de benchmarks de transfert et a établi le paradigme de pré-entraînement visuel que ViT allait ensuite hériter.

Vision Transformer (ViT, ICLR 2021). La publication qui a eu l’impact le plus durable est „An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale“ (ICLR 2021), co-écrit avec Alexey Dosovitskiy, Neil Houlsby, Mostafa Dehghani, Dirk Weissenborn, Thomas Unterthiner, Aravindh Mahendran, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit et d’autres. L’article démontrait qu’un encodeur Transformer standard, appliqué directement à des patches d’une image — sans convolutions — égale ou dépasse les réseaux convolutionnels sur ImageNet et d’autres benchmarks de classification lorsqu’il est pré-entraîné à une échelle suffisante. ViT est devenu l’architecture dominante pour la recherche et la pratique en vision par ordinateur en deux ans. Beyer a été un contributeur central de l’article et de l’implémentation.

Étiquetage d’ImageNet (arXiv 2020). Avant ViT, le groupe a publié „Are we done with ImageNet?“, proposant de nouvelles annotations „ReaL“ (Reassessed Labels) pour ImageNet, corrigeant des erreurs systématiques dans les étiquettes de validation. Ce travail d’infrastructure est devenu un outil standard pour évaluer honnêtement les modèles de vision.

MLP-Mixer (NeurIPS 2021). „MLP-Mixer: An All-MLP Architecture for Vision“ (avec Ilya Tolstikhin, Neil Houlsby, Beyer et d’autres) a démontré que des résultats compétitifs en classification d’images peuvent être obtenus avec une architecture ne contenant ni attention ni convolution, uniquement des MLP. Un résultat techniquement provocateur qui a montré la flexibilité architecturale du paradigme basé sur les patches établi par ViT.

Distillation des connaissances et efficacité. „Patient and Consistent Distillation“ a introduit un protocole — distiller exceptionnellement longtemps, et avec des entrées cohérentes — qui a produit le meilleur modèle ResNet-50 (83 % top-1 ImageNet) jamais démontré à ce jour, montrant qu’une distillation minutieuse peut extraire beaucoup plus de capacités d’architectures modestes que l’entraînement standard.

Scaling ViT (CVPR 2022). „Scaling Vision Transformers“ (avec Zhai, Kolesnikov, Dehghani et d’autres) a démontré que les ViT se mettent à l’échelle de manière fiable avec la taille du modèle et les données, atteignant un nouvel état de l’art sur ImageNet à 90,45 % de précision avec un modèle de 22 milliards de paramètres — à l’époque le plus grand modèle de vision jamais entraîné.

SigLIP (ICCV 2023). „Sigmoid Loss for Language Image Pre-Training“ proposait de remplacer la perte contrastive softmax utilisée dans CLIP par une perte sigmoïde calculée indépendamment pour chaque paire image-texte. Le changement éliminait le besoin d’une étape de rassemblement global entre les appareils, rendant l’entraînement contrastif vision-langage nettement plus évolutif. Les modèles SigLIP surpassaient CLIP à échelle comparable, et le groupe de Beyer a open-sourcé le meilleur encodeur de vision et le meilleur modèle image-texte, qui ont été largement adoptés comme base de vision enfichable pour la recherche en modèles de langage multimodaux.

PaliGemma (2024). Beyer a co-dirigé le développement de PaliGemma, un modèle vision-langage de 3 milliards de paramètres combinant un encodeur de vision SigLIP avec Gemma-2B, conçu comme un modèle de transfert — fine-tunable sur un large éventail de tâches vision-langage. PaliGemma et son successeur PaliGemma 2 ont été publiés en poids ouverts sous une licence permissive et sont devenus des modèles de référence pour la recherche en apprentissage par transfert multimodal.

big_vision. Tout au long de la période Google, Beyer a co-maintenu big_vision, la base de code de recherche basée sur JAX sous-tendant les publications de l’équipe. Elle a été rendue publique et est devenue l’un des frameworks de recherche en vision non-PyTorch les plus utilisés.

OpenAI Zurich — Co-fondateur, Membre du personnel technique (décembre 2024 – juin 2025)

En décembre 2024, Beyer, Xiaohua Zhai et Alexander Kolesnikov ont quitté conjointement Google DeepMind pour co-fonder le premier bureau de recherche européen d’OpenAI à Zurich. Le départ de trois des chercheurs les plus seniors de Google Brain Zurich — responsables de ViT, SigLIP et PaliGemma — a attiré une attention médiatique considérable. Beyer a décrit le mandat comme « recherche fondamentale vers l’AGI ». Le bureau s’est rapidement développé début 2025 avec des embauches supplémentaires issues de la communauté de recherche européenne. En juin 2025, Beyer est parti après environ six mois, commentant publiquement les informations sur les primes de signature de 100 millions de dollars de Meta, qualifiant les chiffres d’exagérés et non représentatifs de sa propre expérience.

Meta Zurich — Membre du personnel technique (juin 2025 – présent)

Beyer a rejoint l’équipe de recherche de Meta à Zurich à l’été 2025, poursuivant la recherche fondamentale sur l’IA multimodale. Son site web personnel indique qu’il est « maintenant chez Meta à Zurich, où il continue de faire de la recherche en IA multimodale. »

Contributions clés

  • Vision Transformer (ViT, ICLR 2021) — Co-auteur de l’un des articles les plus cités en vision par ordinateur : a démontré qu’un encodeur Transformer pur opérant sur des patches d’image aplatis atteint l’état de l’art en classification d’images à grande échelle. A déclenché un changement radical du domaine de la vision par ordinateur, passant des architectures convolutionnelles aux architectures basées sur l’attention.

  • Big Transfer (BiT, ECCV 2020) — A établi la recette de mise à l’échelle pour des représentations visuelles transférables (mettre à l’échelle le modèle, le jeu de données et la durée ensemble), établissant l’état de l’art sur un large ensemble de tâches de transfert et définissant le paradigme de pré-entraînement hérité par ViT.

  • MLP-Mixer (NeurIPS 2021) — Co-auteur de la démonstration que la classification d’images compétitive peut être obtenue avec des architectures ne contenant ni attention ni convolution, utilisant uniquement des MLP — une preuve techniquement importante de la généralité du paradigme basé sur les patches.

  • Scaling Vision Transformers (CVPR 2022) — A démontré que les ViT se mettent à l’échelle de manière fiable jusqu’à 22 milliards de paramètres, atteignant 90,45 % de précision top-1 sur ImageNet — le modèle de vision le plus grand et le plus précis au moment de la publication.

  • SigLIP (ICCV 2023) — A remplacé la perte contrastive softmax dans CLIP par une formulation sigmoïde, permettant un entraînement plus évolutif et produisant une famille d’encodeurs de vision open-source qui sont devenus la base enfichable dominante pour la recherche en modèles vision-langage.

  • PaliGemma (2024) — A co-dirigé le développement d’un modèle vision-langage de 3 milliards de paramètres à poids ouverts combinant SigLIP et Gemma-2B, conçu pour un transfert par fine-tuning large. Largement adopté pour la recherche multimodale et les applications en aval.

  • Étiquettes ReaL ImageNet / „Are we done with ImageNet?“ (2020) — A produit des annotations multi-étiquettes corrigées pour l’ensemble de validation ImageNet, fournissant un protocole d’évaluation honnête qui a exposé les exagérations de progrès dans le benchmarking de la vision.

  • Base de code big_vision — A co-maintenu l’infrastructure de recherche basée sur JAX sous-tendant le programme de recherche en vision de Google Brain/DeepMind Zurich, rendue publique et adoptée par la communauté de recherche au sens large.

  • Bibliothèques open-source personnelles — A créé Go-Colorful (manipulation des couleurs en Go), PyDenseCRF (wrapper Python pour les CRF denses), libheatmap (bibliothèque de heatmap haute performance en C utilisée dans au moins quatre produits commerciaux) et DeepFried2 (une bibliothèque d’apprentissage profond basée sur Theano), parmi plus d’une douzaine d’outils open-source en C++, Python et Go.

Prix et reconnaissance

  • ICLR 2021 Oral / Spotlight — L’article Vision Transformer présenté à l’ICLR 2021 avec une haute reconnaissance.
  • Bourse doctorale AICES — Bourse de la RWTH pour les « étudiants extrêmement qualifiés » pendant le doctorat.
  • Bourse Bildungsfonds — Attribuée aux étudiants les plus prometteurs pendant les études de premier cycle.
  • National Data Science Bowl — Top 10 % — A terminé dans le premier décile parmi plus de 1 000 participants à une compétition de science des données Kaggle.
  • Google Developer Group Aachen Hackathon Winner — Gagné avec Alexander Hermans.
  • 50+ publications dans des conférences de premier plan — CVPR, NeurIPS, ICCV, ICLR, ECCV et d’autres ; profil Google Scholar cité des dizaines de milliers de fois.

Relations clés

  • Xiaohua Zhai — Le partenaire de recherche à long terme le plus proche de la carrière de Beyer ; co-dirigeant de l’équipe multimodale chez Google Brain/DeepMind Zurich ; co-fondateur d’OpenAI Zurich ensemble ; co-auteur sur ViT, SigLIP, scaling ViT et de nombreux autres articles.
  • Alexander Kolesnikov — Troisième membre du trio Google Brain Zurich qui a co-fondé OpenAI Zurich ; co-auteur sur BiT, ViT et d’autres articles sur la mise à l’échelle.
  • Neil Houlsby — Chercheur senior chez Google Brain et collaborateur proche ; co-auteur sur ViT, MLP-Mixer et d’autres travaux ; l’un des membres fondateurs de l’équipe vision de Zurich.
  • Alexey Dosovitskiy — Auteur principal de ViT ; Beyer était un co-responsable de l’article et des travaux ultérieurs ; Dosovitskiy est co-fondateur de Recursive.
  • Bastian Leibe — Directeur de thèse à la RWTH Aachen ; chef de l’Institut d’informatique visuelle et l’un des principaux chercheurs en vision par ordinateur d’Allemagne ; a fourni l’environnement de perception robotique dans lequel la carrière de chercheur de Beyer a commencé.
  • Andreas Steiner — Collaborateur régulier sur big_vision, SigLIP et les articles sur la mise à l’échelle.
  • Mostafa Dehghani — Co-auteur sur scaling ViT et d’autres articles sur la vision à grande échelle.

Style personnel

Beyer se décrit comme un « hacker autodidacte et scientifique formé » — une caractérisation qui correspond précisément à sa production. Le côté hacker se manifeste dans un profil GitHub couvrant plus d’une douzaine de bibliothèques open-source dans plusieurs langages de programmation (C++, Go, Python, JavaScript), un site web personnel écrit avec un humour pince-sans-rire et des gags occasionnels d’injection de prompt pour les systèmes d’IA entraînés sur son contenu, et une trajectoire de carrière qui a commencé par vouloir créer des jeux vidéo. Le côté scientifique se manifeste dans un enchaînement continu d’articles fondateurs en vision et un intérêt sérieux pour une évaluation correcte — l’article „Are we done with ImageNet?“ est caractéristique de quelqu’un qui se soucie de la réalité des progrès. Il joue à DOTA2 suffisamment sérieusement pour que son site web le mentionne comme activité de loisir principale et que sa bio personnelle le précise, et il a entraîné l’équipe de hockey sur glace de son université pendant deux ans. Il a un enfant et vit à Zurich, en Suisse, où il est basé depuis qu’il a rejoint Google Brain. Ses commentaires publics sur les informations concernant la prime de signature de Meta — mettant un frein aux chiffres de 100 millions de dollars — reflètent une franchise sur la dynamique de l’industrie qui est inhabituelle pour un chercheur de son ancienneté.

Références