Agentes de IA con autonomía: ¿quién responde cuando se equivocan?

Los agentes de IA ya están trabajando dentro de las empresas. Una encuesta de IDC de julio de 2026 indica que el 95% de las organizaciones tiene al menos un flujo de trabajo con agente en producción, y casi una de cada cuatro ya tiene más de quince [1]. La pregunta dejó de ser si la empresa va a usar agentes. Ahora es otra: hasta dónde puede llegar el agente por sí solo, y quién responde cuando llega.

Las dos firmas de análisis más citadas del mercado responden de maneras que, a primera vista, parecen opuestas. Conviene leer ambas con atención, porque en la tensión entre ellas está la forma correcta de operar agentes.

En resumen

• Los agentes de IA ya actúan solos: el 95% de las organizaciones tiene al menos un flujo con agente en producción, según IDC [1].
• La autonomía total todavía no está lista: Gartner recomienda implementaciones semiautónomas y proyecta que más del 40% de los proyectos de agentes se cancelará antes de 2027 [2].
• La autonomía debe darse por acción, según el riesgo: el agente hace solo lo que tiene vuelta atrás, propone lo que exige juicio, y lo que no tiene vuelta atrás pasa por dos personas.
• La responsabilidad no se transfiere al agente: el deber de quien administra es fiduciario, y el registro de lo que hizo el agente es la prueba de la diligencia de quien responde [14].

Dos lecturas del mismo mercado

IDC define la categoría por la autonomía. En la evaluación que publicó en octubre de 2026, una plataforma de IA agéntica es el sistema que permite construir, desplegar, gobernar y orquestar agentes capaces de razonar, decidir y ejecutar tareas de varias etapas sin supervisión humana continua [1]. La misma definición, sin embargo, exige que personas y agentes trabajen juntos en los procesos del negocio, con escalamiento y traspaso a la persona cuando sea necesario.

Gartner pone el freno en el mismo punto. En el Hype Cycle de IA Agéntica de 2026, la lectura es que los agentes totalmente autónomos aún no están listos para la mayoría de los casos corporativos, que la supervisión humana sigue siendo esencial y que las empresas deben planificar despliegues semiautónomos [2]. En el Hype Cycle de IA de 2026, Gartner proyecta que más del 40% de los proyectos de agentes serán cancelados hasta 2027, por costo, valor poco claro y fallas en la gestión de riesgo [2].

Las cifras de adopción también divergen. Gartner habla de un 17% de organizaciones con agentes desplegados y un 42% que espera desplegarlos en doce meses [2]; IDC habla de un 95% con algún flujo de agente en producción [1]. Las encuestas tienen fechas, muestras y definiciones distintas (un flujo con agente no es lo mismo que un agente desplegado), y por eso las cifras no se anulan. Muestran un mercado que experimenta mucho y todavía escala poco.

Leídas en conjunto, las dos fuentes dicen lo mismo: el valor está en la autonomía, y la autonomía solo escala cuando alguien puede explicar, limitar y responder por lo que el agente hace.

Nuestra tesis

La forma en que operamos agentes cabe en una frase: autonomía que crece con prueba, dentro de reglas que la empresa define, y una persona que siempre responde.

En la práctica, esto tiene tres partes.

La autonomía se otorga por acción, según el riesgo. Verificar documentos, armar un expediente o revisar inventario son acciones reversibles y de bajo riesgo; el agente puede hacerlas solo, con registro de cada paso. Liberar un crédito por encima de la política o enviar datos personales a un socio son acciones de otra naturaleza; en ellas el agente se detiene, propone y una persona decide. Una acción que no tiene vuelta atrás exige dos personas.

La autonomía sube con evidencia y baja sola. Cuando el historial de una acción muestra que el agente acierta dentro de los límites, la persona responsable puede pedir más autonomía para ella, y otra persona decide. Si el agente excede los límites de forma repetida, si su comportamiento cambia o si el responsable deja de responder por él, el nivel baja sin esperar a nadie. Ampliar exige una decisión humana; reducir es automático.

Toda autonomía tiene dueño. El agente actúa siempre en nombre de alguien con autoridad sobre ese trabajo. Si esa persona se va, la autonomía del agente se va con ella, hasta que otra persona asuma. La responsabilidad nunca queda en manos del agente ni del proveedor de la herramienta.

Esto se traduce en cuatro resultados que la dirección sigue en conjunto: productividad (lo que el agente hace solo), presupuesto (el costo de los agentes puesto junto a la ganancia medida), controles y riesgos (lo que queda fuera del límite y por qué) y autoridad responsable (quién delegó, quién decidió y con qué prueba).

Por qué la responsabilidad no se delega

Hay tres razones, en orden creciente de peso.

La regulación. El Reglamento Europeo de IA exige que los sistemas de alto riesgo puedan ser supervisados de manera efectiva por personas, y que esas personas puedan interpretar el resultado, decidir no usarlo, revertirlo e interrumpir el sistema con seguridad [3]. En Brasil, la LGPD (Ley General de Protección de Datos) da al titular el derecho de pedir la revisión de decisiones tomadas únicamente con base en un tratamiento automatizado y de recibir información clara sobre los criterios usados [4]. Sectores como crédito, salud y seguros suman reglas propias a ese mínimo.

Las normas de gestión. El NIST AI Risk Management Framework pone la rendición de cuentas en el centro de la función de gobernanza: roles, responsabilidades y líneas de autoridad definidos para los riesgos de IA [5]. La ISO/IEC 42001 pide un sistema de gestión de IA con roles asignados, evaluación de impacto y control sobre el ciclo de vida de los sistemas [6]. Gartner, en su lectura de AI TRiSM, insiste en que las políticas escritas no bastan: la gobernanza debe estar incorporada y aplicarse de forma continua, durante la ejecución [7].

La auditoría. La pregunta que llega al consejo, al auditor y al regulador es siempre la misma: ¿quién decidió, con qué información y con qué autorización? Un agente no firma esa respuesta. La firma una persona, y necesita tener la prueba a mano.

Los contrapuntos, tomados en serio

Una tesis solo se sostiene si resiste las objeciones más fuertes. Estas son las cinco que más escuchamos.

1. “La supervisión humana no escala. Se vuelve un sello.”

Es verdad, y la literatura es antigua. Parasuraman y Manzey mostraron que las personas frente a sistemas automatizados tienden a la complacencia y al sesgo de automatización: aceptan la recomendación sin examinarla, sobre todo cuando el sistema suele acertar [8]. El Reglamento Europeo de IA cita ese sesgo por su nombre y exige que quien supervisa sea capaz de reconocerlo [3].

La respuesta es no poner a la persona a revisar la rutina. Si el agente puede actuar solo dentro de los límites, la persona interviene únicamente en lo que sale de ellos, y el volumen de revisión baja a lo que de verdad merece atención. En las decisiones más sensibles, la persona registra su propia evaluación antes de ver la recomendación del agente, para que la recomendación no decida por ella. Una supervisión que se vuelve sello indica que el límite está mal diseñado.

2. “La autonomía incremental es lenta. Quien dé autonomía total llega antes.”

Llega antes a la cancelación, si Gartner tiene razón sobre el 40% [2]. El incremento que defendemos opera por acción y en proporción al riesgo. Una acción reversible puede ganar autonomía rápido; una acción sin vuelta atrás quizá nunca la gane. IDC registra que el 69% de las organizaciones prioriza agentes especializados en tareas y procesos específicos [1], que es exactamente el terreno donde se puede medir y liberar autonomía acción por acción.

3. “La gobernanza es un costo. Retrasa el valor.”

Los datos indican lo contrario. Los tres mayores desafíos citados ante IDC son la transparencia y explicabilidad de los resultados (37%), el costo de implementación e integración (36%) y la gestión del cambio cultural (34%) [1]. Gartner lista la observabilidad, la ciberseguridad y el control proactivo de costos como prioridades ante la adopción rápida [2]. Para entrar en la evaluación de IDC, la gobernanza es la única capacidad obligatoria, y la medición de valor es una de las once evaluadas [1]. Sin gobernanza, la empresa no sabe qué hizo el agente ni cuánto costó. Sin saberlo, no puede demostrar el retorno, y el proyecto entra en la estadística de los cancelados.

4. “La ley no exige un humano en todo.”

Correcto. El Reglamento Europeo de IA exige supervisión humana para los sistemas de alto riesgo, no para todos [3]. La LGPD, desde la modificación de 2019, asegura el derecho a la revisión de decisiones automatizadas, pero no exige que esa revisión la haga una persona [4]. Nuestra posición se apoya en la responsabilidad corporativa, y no en el mínimo legal: alguien debe responder ante el consejo, el cliente y el auditor por lo que se hizo en nombre de la empresa, con o sin obligación legal específica.

5. “Las grandes plataformas ya gobiernan agentes.”

También es verdad, e IDC muestra al mercado convergiendo desde varias direcciones: proveedores de aplicaciones corporativas, de automatización, de datos, de nube y de modelos [1]. Varias de esas plataformas ya gobiernan agentes propios y de terceros. Sin embargo, dos cosas siguen abiertas para muchas empresas. La primera es dónde corre el agente: IDC registra que el 42% de las organizaciones apunta a la nube privada y el 34% a servidores propios para sus agentes [1], y no toda plataforma ofrece eso. La segunda es quién responde por cada caso: gobernar el acceso del agente es distinto de tener una persona con nombre, autoridad y prueba para cada acción que él realiza.

Cómo aparece esto en la operación

La mejor prueba de la tesis es llevarla adonde el error cuesta más. En los tres casos siguientes, todos ilustrativos, se repite la misma regla. El agente hace solo lo que es rutina y tiene vuelta atrás. Propone lo que exige juicio, y una persona decide. Lo que no tiene vuelta atrás pasa por dos personas. La autonomía se libera peldaño a peldaño, según el riesgo de cada acción, y cada caso tiene un dueño con nombre.

Crédito: la decisión que la ley manda explicar

Una financiera recibe solicitudes de crédito personal y de capital de trabajo cada mañana. La gerente de crédito es la dueña del caso: define cuánto pueden costar los agentes, qué hacen solos y cuál es el efecto esperado, que es aprobar más solicitudes buenas sin aumentar la morosidad.

• El agente hace solo: arma el expediente de cada solicitud (registro del cliente, ingresos, consulta de crédito, documentos), verifica la información y calcula los indicadores de la política. Cada paso deja registro, y ninguno mueve dinero.
• El agente propone, una persona decide: la concesión. Cuando el solicitante es una persona física, la evaluación crediticia figura entre los usos de alto riesgo del Reglamento Europeo de IA [9], y la LGPD da al cliente el derecho de pedir la revisión de la decisión automatizada que define su perfil de crédito y de conocer los criterios usados [4].
• Dos personas: la excepción a la política, como un límite superior a lo que la política permite. Después del desembolso, no hay vuelta atrás.
• Cómo la autonomía crece y cae: con el historial, la renovación de límite de clientes al día, dentro de la política, puede pasar a salir sola, si la gerente lo pide y otra persona lo aprueba. El cliente sigue pudiendo pedir revisión, y la gerente sigue respondiendo por cada renovación. Si el desempeño de esas renovaciones cae por debajo de lo que la política acepta, la autonomía vuelve a ser solo de propuesta, sin esperar a nadie.

Salud: aprobar sí, negar nunca

Una aseguradora de salud recibe miles de solicitudes de autorización de exámenes y procedimientos por día. El dueño del caso es el médico responsable de la regulación asistencial.

• El agente hace solo: verifica la cobertura del contrato, el período de carencia y los documentos de la solicitud, y autoriza los exámenes de rutina cuando todos los criterios del contrato se cumplen. Los datos de salud son datos personales sensibles en la LGPD [4], y los límites del agente definen también qué datos puede consultar.
• El agente propone, una persona decide: cualquier negativa. El agente puede aprobar lo que cumple los criterios, pero nunca niega solo. La negativa va a un médico auditor, que decide y firma la justificación. Las reglas de la ANS (la agencia reguladora de la salud suplementaria en Brasil) exigen que la negativa se entregue por escrito, con el motivo y la cláusula o norma que la fundamenta, y aseguran al beneficiario el derecho a pedir un nuevo análisis [12].
• Dos personas: la negativa de un procedimiento de alto costo o de un tratamiento continuado, como el oncológico, en que el efecto sobre el paciente puede ser grave y difícil de revertir. El médico auditor decide, y una segunda revisión clínica lo confirma.
• Cómo la autonomía crece y cae: las autorizaciones automáticas pueden extenderse a nuevos tipos de examen a medida que el historial muestre acierto. Si la auditoría encuentra autorizaciones indebidas por encima de lo que la aseguradora acepta, el agente vuelve a proponer en ese tipo de solicitud.

Riesgos y cumplimiento: la comunicación que no tiene vuelta atrás

Un banco monitorea millones de transacciones por mes para prevenir el lavado de dinero. El dueño del caso es el director responsable de la prevención del lavado de dinero, función que la regulación del Banco Central do Brasil (el banco central del país) exige que la institución designe [11].

• El agente hace solo: monitorea las transacciones, las cruza con el registro del cliente y con las listas restrictivas, y arma el expediente de cada alerta con el historial del cliente.
• El agente propone, una persona decide: cerrar una alerta como falso positivo o clasificarla como sospechosa. El analista decide y registra el motivo.
• Dos personas: la comunicación al Coaf, la unidad de inteligencia financiera de Brasil. No tiene vuelta atrás, y la ley prohíbe dar conocimiento de ella a cualquier persona, incluido el cliente [10]. El agente prepara la comunicación para que quepa en el plazo de 24 horas que impone la ley, pero quienes la envían son dos personas, y el agente nunca habla con el cliente sobre la alerta.
• Cómo la autonomía crece y cae: con el historial, el cierre de alertas de un patrón conocido y de bajo riesgo puede salir solo. Si una revisión muestra que una alerta se cerró indebidamente, la autonomía de esa acción cae de inmediato, y el patrón vuelve al analista.

En los tres casos, la pregunta “¿quién decidió?” tiene siempre un nombre, y la autonomía que el agente tiene hoy es la que su historial justificó. El costo de los agentes queda junto a la ganancia medida, y quien cierra la cuenta es la empresa.

Cómo se aplican estos límites a agentes de varias plataformas se explica en El décimo despliegue no se rediseña y en la arquitectura de agentes de Arcogi.

Dónde está esto en el mapa del mercado

En el Hype Cycle de IA Agéntica de 2026, la gobernanza y la seguridad de la IA agéntica aparecen cerca del pico de expectativas, mientras que el espacio de colaboración entre personas y agentes y los agentes guardianes están aún al inicio de la curva [2]. En el Hype Cycle de Tecnologías Emergentes de 2026, la primera prioridad que se señala a los CIO es distribuir las decisiones entre personas y máquinas autónomas, equilibrando innovación con supervisión humana y preparación de la organización [2]. En otras palabras: el mercado ya entendió que necesita gobernar agentes, y está empezando a diseñar cómo trabajan juntos personas y agentes. Es en esa segunda parte donde se decide la responsabilidad.

El punto: la autonomía no excluye la responsabilidad

La autonomía de los agentes es lo que genera productividad, y por eso va a crecer. Pero la autonomía no excluye la responsabilidad humana. Dar autonomía a un agente es una decisión de alguien, y quien decide responde por lo que decidió.

Equivocarse es humano, y los agentes también se equivocan. Se equivocan de otra manera: un modelo de lenguaje puede producir una respuesta falsa con toda la apariencia de ser correcta, y el NIST lista esa confabulación entre los riesgos propios de la IA generativa [13]. Por eso la pregunta útil no es quién se equivoca menos, si la persona o el agente. La pregunta útil es si el error aparece a tiempo, si se puede deshacer y si alguien responde por él. Los límites por riesgo, el registro de cada acto y la autonomía que cae sola existen para que las tres respuestas sean sí.

La responsabilidad de quien administra una empresa es fiduciaria. La Ley de Sociedades por Acciones exige del administrador el cuidado y la diligencia que una persona activa y proba emplea en sus propios negocios, y lealtad a la compañía [14]; el Código Civil exige el mismo cuidado a los administradores de las demás sociedades [15]. Ese deber no se transfiere a una herramienta, a un proveedor ni a un agente. Quien delega trabajo en el agente sigue respondiendo por el resultado.

Hay un lado de ese deber que suele pasar inadvertido. La misma Ley de Sociedades por Acciones permite que el juez excluya la responsabilidad del administrador que actuó de buena fe y en interés de la compañía [14]. Cuando un agente se equivoca, lo que muestra la buena fe y la diligencia de quien responde es la prueba: el límite que estaba definido, el registro de lo que el agente hizo, quién autorizó y por qué. La gobernanza de los agentes, por lo tanto, protege también a la persona que responde por ellos.

La cuestión, entonces, es si la autonomía crece con prueba, dentro de reglas que la empresa entiende y con alguien que responde, o si crece a oscuras hasta el primer incidente.

El agente actúa. La persona responde.

Fundamentos y lecturas

1. IDC. IDC MarketScape: Worldwide Agentic AI Platforms 2026 Vendor Assessment. Neil Ward-Dutton y Melih Murat. IDC #US54140926, octubre de 2026 (extracto IDC #US54140926e). Encuesta de IDC de julio de 2026 citada en el documento. enlace
2. Gartner. See 3 of the Most Popular Gartner Hype Cycles: Hype Cycle for Agentic AI (2026), Hype Cycle for Artificial Intelligence, 2026, y Hype Cycle for Emerging Technologies, 2026. Gartner, 2026. enlace
3. Unión Europea. Reglamento (UE) 2024/1689 (Reglamento de Inteligencia Artificial), art. 14, Supervisión humana. enlace
4. Brasil. Lei nº 13.709/2018 (LGPD, Ley General de Protección de Datos), art. 11 (datos sensibles) y art. 20 (revisión de decisiones automatizadas), con la redacción de la Lei nº 13.853/2019. enlace
5. NIST. Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1, enero de 2023, función GOVERN. enlace
6. ISO/IEC 42001:2023. Information technology. Artificial intelligence. Management system. enlace
7. Gartner. AI Trust, Risk and Security Management (AI TRiSM), artículo en gartner.com/en/articles/ai-governance-trism. enlace
8. Parasuraman, R.; Manzey, D. H. Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors, 52(3), 381–410, 2010. enlace
9. Unión Europea. Reglamento (UE) 2024/1689, Anexo III, punto 5, letras b y c (evaluación crediticia de personas físicas; riesgo y precio en seguros de vida y salud). enlace
10. Brasil. Lei nº 9.613/1998, art. 11, II, con la redacción de la Lei nº 12.683/2012 (Ley de prevención del lavado de dinero; comunicación al Coaf en 24 horas, sin dar conocimiento a ninguna persona). enlace
11. Banco Central do Brasil. Circular nº 3.978/2020 (política, procedimientos y controles internos de prevención del lavado de dinero y de la financiación del terrorismo). enlace
12. ANS. Resolução Normativa nº 623/2024 (atención al beneficiario; derogó la RN nº 395/2016), vigente desde el 1 de julio de 2025. enlace
13. NIST. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. NIST AI 600-1, julio de 2024 (riesgo de confabulación). enlace
14. Brasil. Lei nº 6.404/1976 (Ley de Sociedades por Acciones), arts. 153 (diligencia), 154, 155 (lealtad), 158 y 159, § 6º. enlace
15. Brasil. Lei nº 10.406/2002 (Código Civil), art. 1.011. enlace