Interpretabilidad en IA

La interpretabilidad es la disciplina que intenta abrir la caja negra de los modelos de IA: identificar qué representan internamente sus neuronas y capas, y cómo se combinan esas representaciones para producir una salida. No se conforma con observar lo que el modelo responde, sino que busca el mecanismo que lo explica. En Anthropic es una de las líneas de investigación centrales y se aplica directamente a los modelos Claude.

Cómo funciona

Un LLM no está programado con reglas legibles: su comportamiento emerge de miles de millones de parámetros entrenados. El problema es que una sola neurona suele activarse ante conceptos muy distintos, un fenómeno llamado superposición: el modelo comprime más conceptos que neuronas tiene. Por eso mirar neuronas individuales sirve de poco.

La interpretabilidad mecanicista, el enfoque que sigue Anthropic, aborda esto en dos pasos:

• Extracción de features: con técnicas como los sparse autoencoders (autocodificadores dispersos) se descomponen las activaciones en direcciones interpretables, cada una asociada a un concepto (una ciudad, un tipo de error de código, la adulación, el engaño).
• Trazado de circuitos: con grafos de atribución se sigue cómo esas features se activan e influyen unas sobre otras capa a capa hasta llegar al token de salida.

Una vez localizada una feature, se puede intervenir: amplificarla o suprimirla y comprobar si el comportamiento cambia. Esa intervención es lo que convierte una correlación en una explicación causal.

Por qué importa

Para quien construye con Claude, la interpretabilidad no es una API que se pueda llamar, pero condiciona cómo debes razonar sobre el modelo:

• El razonamiento visible no es el mecanismo: la investigación de Anthropic ha mostrado casos en los que la cadena de pensamiento que el modelo escribe no coincide con el proceso interno que realmente usó. Úsala para depurar, no como prueba de cómo decidió.
• Seguridad verificable: Anthropic utiliza herramientas de interpretabilidad en auditorías previas al lanzamiento para buscar comportamientos ocultos que los tests de caja negra no detectan.
• Entender fallos: parte de las alucinaciones se explican por circuitos concretos, por ejemplo cuando el modelo reconoce un nombre como familiar sin saber realmente nada de él y se desactiva su tendencia por defecto a decir que no sabe.

Ejemplos reales con Claude

En 2024, Anthropic publicó Scaling Monosemanticity, donde extrajo millones de features de Claude 3 Sonnet. Una de ellas correspondía al puente Golden Gate; al amplificarla, el modelo empezó a mencionarlo en cualquier conversación e incluso a identificarse con él. Fue la demostración pública de que esas features son reales y manipulables.

En 2025, con el trabajo de trazado de circuitos sobre Claude 3.5 Haiku, se observó que el modelo planifica por adelantado: al escribir un poema elige la palabra que rimará antes de componer el verso. También se vio que resuelve sumas combinando una ruta aproximada y otra exacta en paralelo, aunque si se le pregunta explica el algoritmo escolar de llevarse una.

Errores comunes

• Confundirla con explicabilidad superficial: pedirle a Claude que justifique su respuesta no es interpretabilidad. Es otra salida generada, sujeta a los mismos sesgos.
• Creer que está resuelta: los métodos actuales solo explican una fracción del cómputo del modelo y requieren mucho trabajo manual por cada caso analizado.
• Pensar que es solo académica: ya se usa en evaluaciones de seguridad de modelos en producción y es clave para cumplir con exigencias de transparencia regulatoria.