Sector financiero frente al "IA poisoning": el riesgo de decidir con datos manipulados

En el sector financiero, la Inteligencia Artificial (IA) comienza a integrarse cada vez más en los procesos de compliance y en aquellos que apoyan y orientan la toma de decisiones dentro de las instituciones.

Tareas que antes dependían principalmente de la revisión humana ahora pueden apoyarse en sistemas capaces de procesar grandes volúmenes de datos, identificar patrones y generar recomendaciones en cuestión de segundos.

La adopción avanza con rapidez, pues al cierre de 2025, 65% de las instituciones de servicios financieros a escala mundial ya implementaban o utilizaban activamente herramientas de Inteligencia Artificial (IA), de acuerdo con datos de Statista.

A ello se suman los beneficios que las propias organizaciones comienzan a identificar; según KPMG International, 70% reporta mejoras en la calidad de la toma de decisiones, 71% en la velocidad para tomarlas y 64% en la precisión de sus previsiones.

Pero a medida que estos sistemas adquieren mayor peso, también aumenta la necesidad de proteger la integridad de la información que utilizan. Y es que datos, instrucciones o contenidos manipulados pueden alterar el contexto con el que opera una herramienta de IA e influir en las respuestas, evaluaciones o recomendaciones que sirven de apoyo a analistas y equipos especializados.

Este tipo de manipulación se asocia con conceptos como AI poisoning o poisoning attacks, cuyo objetivo es modificar el comportamiento del sistema hasta incidir en las recomendaciones que genera.

Integridad de las decisiones financieras, en riesgo

El riesgo no se limita necesariamente a la manipulación directa del modelo, sino que también puede originarse en las fuentes de información que la IA consulta o procesa.

De hecho, una investigación de Microsoft detectó sitios web con instrucciones ocultas en funciones para resumir contenido con IA, diseñadas para hacer que determinados sitios o empresas fueran reconocidos como fuentes confiables y tuvieran mayor probabilidad de aparecer en recomendaciones posteriores.

El riesgo, señala Ricardo Isaís, líder de relaciones con gobierno para Sumsub Latinoamérica, “no es que la IA tome por sí sola una decisión incorrecta, sino que altere uno de los insumos utilizados por la persona o sistema que finalmente decide”.

Detalla que una recomendación sesgada puede hacer que un analista investigue primero un caso y deje otro para después; que otorgue mayor peso a una fuente determinada; que omita información relevante en un resumen; o que clasifique una alternativa como más segura, riesgosa o conveniente de lo que realmente es.

Un análisis del Banco de México advierte que la adopción de IA también puede introducir riesgos para el sistema financiero. Uno de ellos surge si distintas instituciones utilizan los mismos modelos de IA, ya que esto podría llevarlas a reaccionar de manera semejante ante un mismo escenario de crisis y amplificar ciertos efectos en el mercado.

Operación, cumplimiento y reputación, las consecuencias de una IA manipulada

Para bancos y empresas fintech, las consecuencias de un envenenamiento de datos pueden ir mucho más allá de una decisión incorrecta. Para el especialista de Sumsub Latinoamérica, el impacto puede comenzar en el plano operativo, pues una recomendación alterada puede llevar a priorizar información equivocada, distorsionar un análisis o desencadenar acciones que después deban ser revisadas o corregidas.

En materia de cumplimiento, las consecuencias pueden ser especialmente sensibles. “Si una IA interviene en procesos de evaluación, monitoreo o recomendación sin que la institución pueda reconstruir qué información utilizó y qué señales influyeron en su resultado, se vuelve más difícil justificar una decisión ante auditorías, reguladores o revisiones internas”, advierte.

“Por ello, la automatización del compliance con IA necesita conservar la supervisión humana, especialmente cuando una recomendación puede influir en la priorización de investigaciones o decisiones de riesgo”.

El impacto también puede trasladarse al terreno reputacional. Isaís señala que una institución puede enfrentar cuestionamientos cuando una decisión respaldada por IA resulta posteriormente errónea o difícil de justificar, incluso si la manipulación se originó en una fuente externa al propio sistema.

IA puede recomendar, pero la decisión necesita más de una señal

Para enfrentar este riesgo, proteger los modelos de IA no es suficiente. Antes de incorporar IA en compliance para analizar señales y apoyar decisiones de riesgo, Isaís plantea reforzar también los controles que rodean las decisiones apoyadas por estos sistemas, especialmente ante el avance de la automatización del compliance con IA.

La premisa, señala, es que la IA debe ayudar a los equipos a trabajar con mayor agilidad, sin quitarles el control de sus decisiones.

Esto supone aprovechar su capacidad para impulsar decisiones y construir o adaptar flujos de cumplimiento de acuerdo con las necesidades y niveles de riesgo de cada empresa, pero sin convertir una recomendación automatizada en el criterio definitivo para aprobar, rechazar o escalar una operación.

En su lugar, las instituciones pueden contrastarla con señales independientes de identidad, comportamiento y riesgo, además de establecer mecanismos que permitan revisar por qué una recomendación fue generada y qué información influyó en ella.

A medida que estos sistemas intervienen en más procesos de análisis y recomendación, las instituciones tendrán que reforzar tanto la seguridad de los modelos como la forma en que validan la información que alimenta cada decisión.

El reto, indica el directivo de Sumsub, será evitar que una señal manipulada, incompleta o sesgada termine escalando hasta convertirse en una acción con efectos operativos, regulatorios o reputacionales.

Lea más contenido interesante y de actualidad:

• Wall Street cierra con una fuerte caída por temores en el sector de la IA

• Seniat avanza hacia un modelo sin renovación del RIF