Inteligencia Artificial

Qué significa realmente que una IA sea una “caja negra”

La expresión “caja negra” no denota a ese misterioso (y morboso) mecanismo de seguridad de los aviones comerciales, sino que viene de la ingeniería de sistemas y la computación. Refiere a cualquier elemento del que conocemos sus “Entradas” (Inputs) y “Salidas” (Outputs), pero desconocemos cómo funciona. Metafóricamente, está contenido en una caja opaca, y sólo podemos observarlo mediante los estímulos que recibe y su reacción, es decir, su comportamiento.

En el mundo moderno, cada vez hay más procesos cuyos entresijos son casi totalmente desconocidos. A menudo se citan las herramientas de IA, los algoritmos de Google… pero tampoco faltan interpretaciones más filosóficas: El pionero de la cibernética Ross Ashby comentaba a mediados de los años 50 que incluso una sencilla bicicleta puede considerarse una caja negra. Entendemos su movimiento al aplicar fuerza mecánica en ella, pero jamás veremos cómo esa fuerza invisible se transmite en su estructura, de los pedales a las ruedas y finalmente al asfalto.

Volviendo a los modelos de aprendizaje automático, en las empresas disponemos de herramientas que aprueban y deniegan créditos, coberturas sanitarias, seleccionan entre un sinfín de CVs, o detectan fraudes, con una impresionante precisión. Ni los propios técnicos saben con exactitud por qué se toman unas decisiones y no otras, y cada vez más procesos y roles de la empresa dependen de ellas. ¿Cómo navegaremos esta incertidumbre de no conocer?

Opacidad técnica vs opacidad organizativa

Antes de entrar en materia, vamos a distinguir dos tipos de opacidad que debemos tener muy claros. No, no es un chiste. La mala noticia es que en muchas empresas conviven ambas modalidades.

Por un lado, la opacidad técnica es la que acabamos de describir. Se trata de la incapacidad inherente de ciertos algoritmos para explicar sus propias decisiones en términos comprensibles. Es una limitación del modelo en sí mismo.

En cambio, la opacidad organizativa es diferente, y en muchos casos, más peligrosa. Se produce cuando nadie en la empresa sabe exactamente qué modelo se está usando, con qué datos fue entrenado, quién lo validó, cuándo se actualizó por última vez, quién es responsable de su funcionamiento… Ya os imagináis.

Ahora bien, mucho cuidado, incluso un modelo perfectamente explicable puede generar una gran opacidad organizativa. Basta con que nadie documente ni establezca responsabilidades claras.

El dilema entre rendimiento predictivo y explicabilidad

Cuanto más preciso es un modelo de IA, más difícil es entender cómo llega a sus conclusiones. También ocurre al revés: Si podemos explicarlos paso a paso, en general, aciertan menos. Por desgracia, no es un problema técnico que se vaya a resolver pronto, sino un tira y afloja que toda empresa gestionará. Inicialmente, la pregunta que cabe hacerse no es ”¿Qué modelo es mejor?”. sino ”¿Qué me costará más: equivocarme… o no poder explicar la decisión?” Pues bien, depende muchísimo del contexto.

Imaginemos que queremos predecir qué productos recomendar en una tienda online, basándonos en el usuario, compras anteriores, productos visualizados… Si nos equivocamos y recomendamos artículos poco relevantes, el error puede radicar en miles de euros a largo plazo. Sin embargo, el riesgo “real” del error es más bien bajo.

Otra historia es si un modelo decide si alguien recibe un crédito o pasa una selección de personal: Ahí el error puede costar una sanción o un juicio. No hay respuestas universales, pero la pregunta, al fin de al cabo, es siempre la misma: “¿Qué consecuencias tiene equivocarse?” vs. “¿Qué consecuencias tiene no poder explicar la decisión?”.

Por qué la falta de transparencia no elimina responsabilidad

El siguiente punto es fundamental y conviene grabárselo a fuego:

Que un algoritmo tome la decisión no implica que la empresa quede exonerada. Ese ”lo hizo la IA” no es una defensa válida ante ningún regulador europeo en 2025, y menos aún en los años venideros. El hecho de que el modelo sea opaco no nos eximirá de rendir cuentas.

El novedoso Reglamento Europeo de Inteligencia Artificial (AI Act) establece obligaciones claras para los sistemas de IA de alto riesgo, como los que operan en infraestructuras críticas, servicios de educación, empleo, salud o justicia. Se requerirá una cuidadosa documentación técnica, supervisión humana, transparencia… así que debemos ser conscientes de dichas obligaciones. Repetimos: No importa si el modelo es opaco por naturaleza, la organización que lo despliegue será responsable de sus consecuencias.

En lo que refiere al RGPD, desde 2018 se reconoce el derecho a no ser objeto de decisiones únicamente automatizadas que produzcan efectos significativos, y establece el derecho a obtener explicaciones. No es un “en teoría”; hay empresas que ya han recibido sanciones por no poder justificar las decisiones de sus sistemas automatizados.

Riesgos reales de decidir con modelos no explicables

“Nunca exigiremos responsabilidades a un ordenador. Por tanto, un ordenador nunca debe tomar una decisión de gestión.” ~ Cita atribuida a un curso para directivos de IBM (1979)

Veamos en qué se concretan estos riesgos, ya que son más tangibles e inmediatos de lo que suele pensarse. No todos son hipotéticos ni lejanos, algunos ya están ocurriendo, y en sectores muy concretos.

Impacto legal, regulatorio y reputacional

Imagina que tu herramienta de selección de personal rechaza sistemáticamente a candidatos de cierta zona geográfica, o que tu modelo de precios discrimina a clientes según edad u origen. Quizás no se diseñara con intención discriminatoria, pero su resultado sí puede serlo.

Este riesgo legal no es hipotético: En sectores como el financiero, sanitario, aseguradoras o RRHH, los reguladores ya miran con lupa cómo se utilizan las herramientas automatizadas. La Agencia Española de Protección de Datos (AEPD) ha publicado guías específicas sobre IA, la Comisión Nacional del Mercado de Valores (CNMV) vigila el uso de algoritmos en la toma de decisiones financieras, e Inspección de Trabajo pone foco en la evaluación de empleados.

Por supuesto, el daño reputacional que cualquiera de estas meteduras de pata entraña es aún más difícil de gestionar. Un periodista, un cliente afectado, o una ONG, pueden hacerse eco de cómo “el algoritmo de tu empresa” tomó una decisión perjudicial que nadie supo fundamentar. El coste de imagen que supondría no es cosa menor.

Dependencia de proveedores y pérdida de control interno

Otro gran riesgo (del que quizá se hable menos) es la dependencia tecnológica. Muchas empresas adquieren soluciones de IA como servicio (SaaS o mediante APIs) cuyos modelos residen en los servidores del proveedor. Por si fuera poco, fue entrenado con datos que no controlas completamente… y puede actualizarse sin previo aviso.

Si el modelo cambia sin notificarte, tus predicciones pueden silenciosamente irse a pique. También, si el proveedor echa el cierre o es absorbido, tu proceso productivo puede verse drásticamente alterado. ¿Y si necesitas auditar las decisiones tomadas hace dos años por ese sistema? ¿Tendrás acceso a la versión del modelo que existía por aquel entonces? No pinta bien la cosa… en la mayoría de los casos, la respuesta es un No rotundo.

La pérdida de soberanía tecnológica no es solo un problema de IT. Es un riesgo operativo, estratégico y de cumplimiento que debería preocupar a los consejos de administración tanto como cualquier otra dependencia crítica de terceros. Este fenómeno tiene mucho en común con otro asunto que cada vez más empresas están empezando a tomar en serio y que analizamos en profundidad en Shadow AI: El futuro de la IA en las empresas modernas, te invitamos a su lectura.

Qué hacer cuando la explicabilidad no es viable

Sí, hemos visto los riesgos… pero, habitualmente, estas cajas negras son los modelos que mejor funcionan. La pregunta no es si usarlos o no, sino cómo hacerlo con responsabilidad. Prohibir el uso de modelos opacos no es realista ni necesario, lo que sí es imprescindible es tener un plan. Estas son las acciones concretas a tomar:

Definir límites de uso según criticidad de la decisión

No todas las decisiones empresariales tienen el mismo impacto. Es necesario establecer una política clara que diferencie entre, al menos, tres tipos de toma de decisiones.

• Bajo impacto: Aquí la tolerancia a la opacidad puede ser mayor, pues no “nos jugamos el cuello” si tenemos que escoger entre A o B. Podemos mencionar recomendaciones de contenido, personalización de campañas de marketing, optimización de rutas logísticas…

• Impacto medio: En este punto nos referimos a decisiones que requieren alguna forma de validación, pero que no necesitan ser explicadas en su totalidad. Podemos hablar de priorización de casos de soporte, segmentación de clientes para ofertas, o la predicción para el mantenimiento de activos en el almacén.

• Alto impacto: Ahora sí que sí. Llegados a este punto, la “explicabilidad” no es opcional, y si no entendemos sus causas, no debería ser el único factor en la toma de decisiones. Se trata de medidas severas y decisiones que afectan a personas, como conceder créditos, seleccionar personal, evaluar rendimiento, acceder a servicios, o detectar fraude con consecuencias inmediatas. Un diminuto error puede causar gran número de afectados.

Esta es una sencilla clasificación, pero debería ser el primer paso de cualquier política de gobernanza de IA que se precie. Sin ella, cualquier empresa estará dando palos de ciego, atrapada en lo más profundo de la caja negra.

Supervisión reforzada y validación cruzada

Cuando un modelo de caja negra toma decisiones de impacto significativo, la supervisión humana no puede ser un trámite burocrático abstracto, sino real y efectiva. Para ello diseñaremos procesos donde la persona que revise la toma de decisiones del modelo tenga tiempo, información y autoridad para corregirla.

Imagina a un revisor que aprueba en masa las salidas del algoritmo, sólo porque se le ha impuesto un objetivo de productividad. No hace supervisión real, sino que firma un “visto bueno” sin validez. Por cierto… ¿qué rol tienen las personas frente a los sistemas automatizados? Te invitamos a echar un vistazo al artículo “IA al servicio del empleado, no al revés,” donde exploramos la cuestión en mayor detalle.

Un método interesante para reducir la ambigüedad es la validación cruzada. Mediante esta herramienta, contrastamos las predicciones del modelo opaco con las uno más sencillo y explicable. Si el complejo y el simple se contradicen, la discrepancia merece atención antes de ejecutar. Es cierto que el modelo complejo se equivoca menos, pero cualquier contraste entre primeras y segundas opiniones no debe ignorarse.

Mecanismos compensatorios de control

Si no podemos abrir la caja de Pandora, tendremos que observarla bien desde fuera. En el caso de una IA opaca, compensaremos el enigma mediante controles externos. Por ejemplo, algunos más o menos efectivos serían:

• Monitorización continua: ¿Han cambiado las distribuciones de las predicciones? ¿Ha aumentado la tasa de falsos positivos o negativos? ¿Hay grupos de población afectados desproporcionadamente? Estos y otros indicadores te servirán de alerta cuando algún componente se tuerce.

• Auditorías periódicas: Debemos revisar habitualmente si nuestro modelo produce resultados distintos para grupos que deberían ser tratados de forma equivalente. Podemos establecer un chequeo a modo de hábito y asegurarnos de que se cumple con la periodicidad adecuada. No hace falta entender el modelo, sino analizar sus salidas con la metodología adecuada.

• Procedimientos claros de reclamación: Cualquier persona afectada por una decisión automatizada deberá disponer de un canal accesible para impugnarla y recibir una revisión humana real. No sólo es una obligación legal, también es por seguridad. Todo modelo puede fallar en un sinfín de maneras que el monitoreo no detectó inicialmente.

Gobernanza y responsabilidad en entornos de IA opaca

”La simplicidad es la complejidad resuelta” ~ Constantin Brâncuși, escultor modernista (1876-1957)

Cuando la tecnología no se entiende, la organización no puede permitirse el lujo de improvisar. El hecho de simplificar la gobernanza no implica ignorarla, sino saber quién decide, quién responde y qué queda documentado.

Quién asume la decisión cuando el modelo no se entiende

Esta es la pregunta incómoda que ningún proveedor de software resolverá por ti: Si el modelo toma una decisión incorrecta o perjudicial… ¿quién se responsabiliza?

Respuesta: Deberá ser una persona o comité dentro de la organización. Ni el modelo ni el proveedor “darán la cara”, a no ser que haya habido un incumplimiento contractual. La empresa que despliega un sistema es la responsable última de sus consecuencias.

A su vez, el modelo ha de tener un propietario, con nombre y apellido, que responda del comportamiento y decida cuándo usarlo, actualizarlo y retirarlo. Sin un propietario claro, la responsabilidad se diluye en la organización y nadie cargará con la culpa.

Documentación, trazabilidad y tabla comparativa: modelo explicable vs. caja negra

La documentación no es burocracia; Es la única forma de demostrar, cuando se nos pone en escrutinio, que la empresa tomó decisiones informadas y razonables. Por tanto, un modelo de IA debería tener, como mínimo:

• Descripción de objetivos y decisiones que apoya
• Datos de entrenamiento utilizados (origen, fecha, transformaciones aplicadas…)
• Métricas de rendimiento y condiciones de validación
• Análisis de riesgos y limitaciones conocidas
• Propietario, última revisión, calendario de revisiones futuras…
• Registro de incidencias y cambios

En la siguiente tabla aparecen resumidas, desde la perspectiva de gobernanza, las diferencias prácticas más relevantes entre trabajar con un modelo explicable y uno de caja negra.

Dimensión	Modelo explicable	Modelo de caja negra
Justificación de decisiones	Posible y directa	Requiere métodos aproximados (SHAP, LIME…) o no será posible.
Cumplimiento regulatorio	Más sencillo de demostrar	Requiere Controles compensatorios adicionales
Detección de sesgos	Relativamente directa	Requiere auditoría exhaustiva de resultados
Rendimiento predictivo	Generalmente inferior en tareas complejas	Generalmente superior en tareas complejas
Dependencia de proveedor	Menor en modelos más abiertos	Mayor en modelos propietarios
Coste de auditoría	Bajo	Alto
¿Apto para decisiones de alto impacto sin supervisión humana?	Sí, con condiciones	No recomendable

Checklist para comités de dirección

Pensemos antes de actuar… Para aprobar el uso de un modelo de IA opaco en un proceso relevante, el comité de dirección deberá poder responder afirmativamente a estas preguntas:

• ¿Hemos clasificado esta decisión según su nivel de criticidad e impacto?
• ¿Existe un propietario con responsabilidad formal?
• ¿Contamos con documentación que describa datos de entrenamiento y limitaciones conocidas?
• ¿Hemos evaluado el cumplimiento bajo AI Act, RGPD y normativa sectorial aplicable?
• ¿Existe un proceso de supervisión humana genuina para decisiones de mayor impacto?
• ¿Tenemos mecanismos de monitorización continua del comportamiento?
• ¿Existen procedimientos claros para que los afectados puedan impugnar decisiones?
• ¿Hemos realizado un análisis de equidad algorítmica antes del despliegue?
• ¿Tenemos un plan de contingencia si el modelo empieza a comportarse de forma inesperada?
• ¿Hemos evaluado nuestra dependencia al proveedor y las condiciones de salida?

¿Dónde marcamos el límite? Debemos partir desde lo honesto y admitir la realidad. Si más de dos o tres puntos no pueden cumplirse, no está listo para producción, y no porque la tecnología sea mala, sino porque carecemos de preparación para usarla con responsabilidad. Si quieres entender cómo construir este marco desde cero, en nuestro artículo “Gobernanza de IA en empresa: cultura, políticas y control” encontrarás más pautas por las que guiarte.

Conclusiones

En cierto modo, en estos últimos años hemos realizado un experimento a escala internacional para aprender a usar la IA de caja negra. Compartimos prompts, proyectos, ideas, y poco a poco descubrimos maneras de obtener distintos resultados. No obstante, seamos conscientes de que todo modelo sencillo evoluciona con el tiempo, y la velocidad y complejidad aumentan de forma proporcional… y cada día nos rodean más sistemas incomprensibles.

La IA opaca no es la panacea ni la peste, sino una herramienta poderosa, con limitaciones concretas, que requiere una gestión consciente. En el panorama venidero convivirán dos tipos de organizaciones, las que saldrán bien paradas y las que no. Lo que las separa no es el uso o no-uso de modelos de caja negra, sino establecer buenas estructuras de gobernanza, documentación y supervisión para usar estos modelos de forma responsable.

La buena noticia es que no hay que empezar desde cero. Los marcos de gobernanza, el AI Act, las guías de la AEPD y los estándares internacionales como el ISO 42001 ofrecen un punto de partida sólido. Lo que de verdad hace falta es voluntad organizativa para tomárselos en serio antes de que llegue el momento en que no quede más remedio.