Anthropic evalúa explicaciones de LLMs con experimentos contrafactuales

El equipo de Alignment Science de Anthropic publicó una investigación que examina cómo evaluar las explicaciones del comportamiento de los grandes modelos de lenguaje (LLMs) en condiciones reales, utilizando experimentos contrafactuales como herramienta metodológica central.

La pregunta clave del estudio es si una explicación sobre por qué un modelo respondió de determinada manera seguiría siendo válida si se modificaran ciertos elementos del contexto o del prompt. Este enfoque busca distinguir entre explicaciones genuinamente informativas y aquellas que simplemente parecen plausibles pero no capturan la causalidad real del comportamiento del modelo.

Los experimentos contrafactuales consisten en alterar sistemáticamente variables específicas —como el tono de la pregunta, el contexto previo o la formulación exacta— para observar si los cambios en la salida del modelo coinciden con lo que las explicaciones predicirían. Según los investigadores, este método permite filtrar explicaciones superficiales de aquellas que reflejan mecanismos internos más profundos.

El trabajo forma parte de los esfuerzos más amplios de Anthropic por desarrollar metodologías robustas de interpretabilidad y alineación, áreas críticas para garantizar que los sistemas de IA sean comprensibles y seguros a medida que escalan en capacidad y despliegue.