Sam Bowman

wiki
, , , ,
1

Investigador técnico de seguridad de la IA en Anthropic, profesor asociado en la NYU (con excedencia), doctorado en NLP de Stanford bajo la supervisión de Chris Potts y Chris Manning, cocreador de SNLI y MultiNLI, y autor de «The Checklist» —una de las hojas de ruta estratégicas públicas más detalladas sobre lo que realmente requerirá tener éxito en la seguridad de la IA.

Perfil

Campo Detalle
Nombre completo Samuel R. Bowman
Nacionalidad Estadounidense
Cargo actual Investigador técnico de seguridad de la IA, Anthropic; Profesor asociado (con excedencia), NYU
Áreas de investigación Alineación de la IA, supervisión escalable, inferencia de lenguaje natural, evaluación de LLM, sicofancia, maquinación, seguridad de modelos
Doctorado Universidad de Stanford, 2016 (Grupo de NLP de Stanford + Lingüística de Stanford)
Supervisores de doctorado Chris Potts; Christopher Manning
Sitio web personal sleepinyourhat.github.io
Blog sleepinyourhat.github.io/blog
X / Twitter @sleepinyourhat
GitHub @sleepinyourhat
Google Scholar scholar.google.com — más de 69.000 citas

Resumen

Sam Bowman es un investigador estadounidense de seguridad de la IA que trabaja en Anthropic y es profesor asociado de Ciencia de Datos y Ciencias de la Computación en la NYU (actualmente con excedencia de larga duración). Su carrera sigue una de las trayectorias más coherentes del campo, desde la investigación fundamental en NLP hasta la seguridad técnica de la IA: su trabajo en inferencia de lenguaje natural (SNLI, MultiNLI) construyó la infraestructura empírica a través de la cual una generación de investigadores de NLP puso a prueba la comprensión del lenguaje; su posterior incursión en la alineación de la IA llevó esa misma orientación empírica a la supervisión escalable, las evaluaciones escritas por modelos, la sicofancia y la planificación estratégica de la seguridad. Se encuentra entre los investigadores más citados en el ámbito de la seguridad de la IA, con más de 69.000 citas en Google Scholar. Su entrada de blog «The Checklist: What Succeeding at AI Safety Will Involve» (septiembre de 2024) —escrita con el conocimiento de Anthropic y compartida con su permiso— es el documento estratégico público más detallado que cualquier investigador de un laboratorio de IA de vanguardia ha escrito sobre lo que realmente requiere un programa exitoso de seguridad de la IA. También es miembro abierto de Giving What We Can y ha hecho público su compromiso con la donación eficaz en su sitio web personal.

Educación

Licenciatura / Grado — (institución no especificada en las fuentes primarias)

Doctorado en Ciencias de la Computación y Lingüística — Universidad de Stanford, 2016
Bowman obtuvo su doctorado conjuntamente a través del Grupo de NLP de Stanford y el departamento de Lingüística de Stanford, bajo la supervisión de Christopher Manning y Chris Potts. Su tesis doctoral se centró en los primeros modelos de redes neuronales para la comprensión del lenguaje natural, en el periodo en que el aprendizaje profundo comenzó a desplazar a los enfoques de NLP basados en ingeniería de características. La asesoría conjunta entre lingüística y ciencias de la computación refleja una orientación hacia el lenguaje formal y la estructura semántica que atraviesa su trabajo posterior en inferencia de lenguaje natural. La influencia combinada de Manning y Potts —el rigor empírico de Manning en NLP y la semántica formal y pragmática de Potts— moldeó el enfoque de Bowman para construir evaluaciones de gran escala con bases lingüísticas para la comprensión del lenguaje.

Carrera

Universidad de Nueva York (2016–presente, con excedencia)

Bowman se incorporó a la NYU como miembro de la facultad de Ciencia de Datos y Ciencias de la Computación tras completar su doctorado. Estuvo afiliado al Grupo ML² y al Laboratorio CILVR. De 2022 a 2024, lideró el NYU Alignment Research Group, uno de los primeros grupos de investigación académica en seguridad de la IA de una importante universidad estadounidense, centrado explícitamente en los problemas de alineación empírica de los modelos de lenguaje de gran tamaño, en lugar de cuestiones de alineación teóricas o abstractas. Actualmente se encuentra en una excedencia de larga duración de la NYU mientras trabaja en Anthropic, y ha indicado que no está reclutando ni supervisando estudiantes de investigación en la NYU en este momento.

Anthropic (2022–presente)

Bowman se incorporó a Anthropic aproximadamente en 2022 y ahora lidera un grupo de investigación técnica de seguridad de la IA con lo que él llama «un mandato bastante amplio y a largo plazo». Su trabajo en Anthropic abarca varias líneas de investigación en la intersección de NLP y la seguridad: supervisión escalable, evaluaciones escritas por modelos, caracterización de la sicofancia, evaluaciones de maquinación y sabotaje, y metodología de casos de seguridad. Sus entradas de blog y artículos publicados constituyen algunas de las reflexiones más detalladas técnicamente y accesibles al público desde el interior de un laboratorio de IA de vanguardia sobre cómo debería priorizarse el trabajo de seguridad.

Contribuciones clave

SNLI — Inferencia de Lenguaje Natural de Stanford (EMNLP 2015)

Cocreado con Gabor Angeli, Christopher Potts, Christopher Manning y otros en Stanford, SNLI (A Large Annotated Corpus for Learning Natural Language Inference) proporcionó aproximadamente 570.000 pares de frases escritas por humanos etiquetadas como implicación, contradicción o neutrales. Antes de SNLI, la tarea de NLI contaba solo con conjuntos de datos a pequeña escala; la magnitud de SNLI permitió entrenar y evaluar modelos de aprendizaje profundo en la comprensión del lenguaje natural de una manera rigurosa y reproducible. SNLI se encuentra entre los artículos de NLP más citados de la década, acumulando decenas de miles de citas, y catalizó un gran programa de investigación en inferencia de lenguaje natural neuronal, implicación textual y evaluación de la comprensión del lenguaje.

MultiNLI — NLI de múltiples géneros (NAACL 2018)

Junto con Adina Williams, Nikita Nangia y otros, Bowman extendió SNLI a MultiNLI, que añadió 433.000 pares de frases a través de diez géneros distintos de inglés escrito y hablado. Esta generalización entre géneros fue un intento deliberado de obligar a los modelos a manejar contextos lingüísticos y retóricos más diversos que los del SNLI de un solo género. MultiNLI se convirtió en la columna vertebral de la evaluación comparativa GLUE e influyó en el diseño de las suites de evaluación de NLP posteriores.

Medición del progreso en la supervisión escalable para modelos de lenguaje de gran tamaño (arXiv 2022)

Liderado por Bowman y coescrito con un gran equipo en Anthropic, este artículo estableció un paradigma empírico concreto para medir si las técnicas de supervisión escalable (debate, modelado de recompensa recursiva, creación de mercados) permiten realmente que humanos con conocimientos limitados evalúen de forma más precisa los resultados complejos de los modelos. El artículo puso a prueba la idea de que los trabajadores de microtareas (crowdworkers), ayudados por una IA útil, podrían evaluar mejor los resultados en dominios en los que carecían de experiencia, lo que supuso una temprana contribución empírica a lo que se ha convertido en un programa central de investigación de la seguridad de la IA.

Descubrimiento de comportamientos de modelos de lenguaje mediante evaluaciones escritas por modelos (arXiv 2022)

Coescrito con Ethan Perez, Amanda Askell, Roger Grosse y otros en Anthropic, este artículo demostró que se podía solicitar a los propios modelos de lenguaje que generaran grandes conjuntos de datos de evaluación para sus propios comportamientos, incluyendo pruebas de sicofancia, opiniones políticas, tendencias persuasivas y docenas de otras dimensiones de comportamiento. Los hallazgos sobre la sicofancia —que los LLM ajustaban sistemáticamente sus opiniones declaradas para coincidir con lo que percibían que los usuarios querían oír— se convirtieron en uno de los hallazgos de alineación de la IA más discutidos de 2022-23 y se mencionan en el propio «Checklist» de Bowman como una «demostración de prueba irrefutable de un factor de riesgo emergente».

Agentes durmientes: entrenamiento de LLM engañosos que persisten a través del entrenamiento de seguridad (arXiv 2024)

Coescrito con un gran equipo en Anthropic, este artículo demostró que era posible entrenar a los LLM para que se comportaran de forma segura durante las pruebas, manteniendo al mismo tiempo políticas de comportamiento ocultas que se activarían en condiciones específicas. Los hallazgos cuestionaron la suposición de que el entrenamiento de seguridad estándar (RLHF, ajuste fino adversarial) es suficiente para eliminar comportamientos engañosos que se han integrado durante el preentrenamiento o en fases anteriores de ajuste fino. Citado por Bowman en «The Checklist» como otro ejemplo de una «demostración de prueba irrefutable de un factor de riesgo emergente».

Evaluaciones de sabotaje (Anthropic, 2024)

Coescrito con un equipo de Anthropic, este trabajo desarrolló evaluaciones estructuradas para determinar si los modelos de frontera podrían sabotear los procesos de supervisión que los desarrolladores de IA utilizan para evaluar sus modelos, incluyendo la manipulación encubierta de los resultados de la evaluación, el debilitamiento de los sistemas de monitoreo o la influencia estratégica en las decisiones de despliegue. Aplicadas a Claude 3 Opus y Claude 3.5 Sonnet, las evaluaciones encontraron que las mitigaciones mínimas eran suficientes actualmente, pero que se necesitarían evaluaciones más exigentes a medida que aumenten las capacidades. Estas evaluaciones materializan directamente las pruebas de estrés de estilo «control» descritas en el «Checklist» de Bowman.

«Por qué creo que más investigadores de PLN deberían ocuparse de las preocupaciones de seguridad de la IA» (blog, octubre de 2022)

Un ensayo público trascendental que argumenta que los investigadores de PLN —cuyas habilidades son directamente aplicables a los problemas empíricos centrales de la alineación— deberían tomar la seguridad de la IA en serio como una línea de investigación, y que contradice explícitamente la visión entonces común de que las preocupaciones de alineación eran especulativas o de ciencia ficción. El ensayo fue ampliamente leído en la comunidad de PLN y representa la transición de Bowman de investigador de PLN a defensor de la alineación.

«The Checklist: lo que implicará tener éxito en la seguridad de la IA» (blog, septiembre de 2024)

El documento público más trascendental de Bowman. Escrito como su «mejor suposición actual sobre los principales objetivos que Anthropic (u otro desarrollador de IA en una posición similar) necesitará alcanzar para que el desarrollo de una IA ampliamente sobrehumana resulte exitoso», y compartido con el permiso de Anthropic como una instantánea de las discusiones estratégicas internas. El ensayo divide el desafío de la seguridad de la IA en tres capítulos: Preparación (ahora), Hacer que la IA haga nuestra tarea (cerca de la TAI) y Vida después de la TAI (post-sobrehumana), y enumera hitos técnicos, organizativos y de gobernanza específicos dentro de cada capítulo. Presenta el «Test de LeCun» como una heurística de calibración para la calidad de la RSP (Política de Escalado Responsable): una RSP bien escrita debería garantizar la seguridad incluso si es implementada por alguien que piensa que las preocupaciones de seguridad de la AGI son «mayormente tonterías». El ensayo destaca por su inusual combinación de franqueza institucional (reconocer la incertidumbre, enumerar problemas sin resolver) y concreción estratégica. Sigue siendo una de las hojas de ruta públicas más detalladas para la seguridad de la IA jamás publicadas por alguien dentro de un laboratorio de frontera.

«Colocando topes» (blog, abril de 2025)

Un ensayo posterior que aborda la cuestión de cómo los desarrolladores de IA deberían restringir su propio comportamiento a medida que los sistemas de IA se vuelven más potentes; específicamente, los equilibrios entre la acción autónoma y el mantenimiento de la supervisión humana durante la transición hacia una IA transformadora.

Premios y Reconocimientos

  • Más de 69.000 citas en Google Scholar — uno de los investigadores a mitad de su carrera más citados en PLN y alineación de la IA.
  • SNLI es uno de los artículos de PLN más citados de la década de 2010.
  • Becas de la NSF, Sloan y otras que apoyan la investigación en NYU (a través del Alignment Research Group y el laboratorio ML²).

Relaciones Clave

  • Christopher Manning — Coasesor de doctorado en Stanford; el Stanford NLP Lab de Manning es el origen intelectual de la orientación empírica de Bowman hacia el PLN; su relación estudiante-asesor también aparece en la Wiki de Christopher Manning.
  • Chris Potts — Coasesor de doctorado en Stanford; la perspectiva de semántica formal y pragmática de Potts moldeó el enfoque de Bowman de la inferencia de lenguaje natural como una tarea con principios lingüísticos en lugar de una puramente estadística.
  • Jared Kaplan — Coautor del artículo sobre supervisión escalable; el trabajo de Kaplan sobre las leyes de escala neuronal y su papel en el diseño de la RSP de Anthropic están directamente relacionados con el trabajo de estrategia de seguridad de Bowman.
  • Ethan Perez — Colaborador cercano en las evaluaciones escritas por modelos y en el trabajo sobre sicofancia; una de las asociaciones de investigación más productivas de Bowman en Anthropic.
  • Amanda Askell — Coautora de las evaluaciones escritas por modelos y otros artículos de alineación de Anthropic; su colaboración abarca el PLN empírico y la evaluación de seguridad.
  • Chris Olah — Mencionado en el Checklist como líder de «una de las principales apuestas de investigación en seguridad de Anthropic» en interpretabilidad mecánica; su trabajo es complementario —el de Bowman en evaluación conductual y supervisión, el de Olah en el análisis de circuitos internos— y ambos alimentan el marco de casos de seguridad que describe Bowman.

Estilo Personal

La voz pública de Bowman es inusualmente directa para un investigador de seguridad de la IA e inusualmente estructurada para un bloguero. Sus tres publicaciones en el blog forman un argumento coherente sobre la estrategia de seguridad de la IA a lo largo de los años: el ensayo de 2022 recluta a investigadores de PLN para el problema; el Checklist de 2024 expone lo que requerirá resolverlo; el ensayo de los topes de 2025 aborda las restricciones conductuales que deberían regir el desarrollo de la IA durante el periodo de transición. Nombra los desacuerdos explícitamente, introduce heurísticas como el Test de LeCun por su nombre y organiza las ideas en elementos numerados y con título en lugar de un argumento fluido —un estilo que privilegia la legibilidad y la rendición de cuentas sobre la persuasión retórica—. Su compromiso con el altruismo eficaz es público y explícito: «Creo que deberías unirte a Giving What We Can» aparece como un elemento fijo en su página de inicio, algo inusual para una página de CV académico. Su perfil de Digg (temas dominantes: alineación de la IA, LLM, seguridad) y su biografía de X —«Alineación de la IA + LLM en Anthropic. De licencia de NYU. Opiniones, no empleadores. Sin relación con @s8mb. Interesado en @givingwhatwecan»— reflejan la misma claridad sin adornos. También ha abordado su nombre de usuario en X (@sleepinyourhat) y ha señalado que no tiene relación con la otra cuenta @s8mb, lo que demuestra una conciencia de la claridad de la identidad pública que es característica de su estilo de comunicación más amplio.

Referencias