AgentOps
De human-in-the-loop a la autonomía: ¿cuánto control?
Dar autonomía a un agente no significa simplemente retirar al ser humano del proceso. El verdadero desafío es definir qué decisiones pueden delegarse, bajo qué condiciones y con qué mecanismos de control.
La autonomía no tiene por qué ser una elección entre todo o nada
En los últimos artículos, hemos avanzado por distintas dimensiones de una misma transformación. Primero, discutimos si las operaciones están realmente preparadas para dar autonomía a la inteligencia artificial. Después, a partir del camino de las Autonomous Networks del TM Forum, vimos en redes autónomas: arquitectura preparada para la autonomía que los niveles más altos de autonomía dependen de una arquitectura capaz de ofrecer conocimiento y contexto para sostener decisiones.
En el artículo sobre silos de inteligencia, dejé una pregunta que quizá sea una de las más difíciles de este camino: incluso cuando un agente tiene conocimiento y contexto suficientes para tomar una decisión, ¿cuánto control estamos realmente dispuestos a entregarle?
La respuesta más inmediata suele poner dos alternativas en extremos opuestos. Por un lado, mantenemos a una persona participando en las decisiones importantes, revisando lo que la inteligencia artificial recomienda antes de que se ejecute cualquier acción. Por el otro, imaginamos una operación totalmente autónoma, en la que los agentes identifican situaciones, deciden qué hacer y ejecutan acciones sin depender de la aprobación humana.
En la práctica, probablemente existe un espacio mucho mayor entre esos dos extremos.
Es en ese espacio donde gana importancia el concepto de human-in-the-loop (humano en el circuito de decisión), en el que la participación humana sigue formando parte del proceso, de modo que el sistema puede analizar una situación y recomendar una acción, pero alguien debe validarla antes de la ejecución.
En el primer caso, la participación humana forma parte del propio flujo de decisión, es decir, el sistema puede analizar una situación y recomendar una acción, pero alguien debe validarla antes de la ejecución. A medida que aumenta la confianza, esa participación puede cambiar. En ciertos escenarios, el sistema pasa a actuar dentro de límites establecidos previamente mientras las personas acompañan su comportamiento y pueden intervenir cuando sea necesario.
Esta diferencia parece pequeña, pero representa un cambio importante en la manera en que pensamos la automatización y la inteligencia artificial. Durante muchos años, buena parte de las automatizaciones operacionales se construyó de forma determinista: una determinada condición produce una acción definida previamente. Podemos probar el flujo, conocer de antemano las posibilidades y establecer con razonable precisión lo que ocurrirá cuando se active cada regla.
Los agentes introducen una dinámica diferente, pues pueden analizar contexto, elegir herramientas, descomponer problemas, formular alternativas y adaptar sus próximos pasos de acuerdo con lo que encuentran durante la ejecución. Esa flexibilidad es una de las razones por las que la IA agéntica es tan prometedora, pero también es lo que hace insuficiente tratar su autonomía como si simplemente estuviéramos liberando un workflow más.
Esta preocupación gana otra dimensión en entornos críticos. Una recomendación inadecuada presentada a un especialista puede identificarse antes de producir consecuencias. La misma decisión, cuando se asocia a la capacidad de alterar configuraciones, reiniciar componentes, bloquear recursos o interferir en servicios, pasa a representar un riesgo operacional diferente.
Esto no significa que los agentes deban permanecer indefinidamente limitados a producir recomendaciones. Si hacemos eso, podemos dejar de capturar una parte importante del valor prometido por la IA agéntica. Significa que la autonomía debe tratarse como una capacidad progresiva, conquistada de acuerdo con el riesgo, la previsibilidad y la confianza acumulada en cada escenario.
Esta lógica se acerca bastante al propio camino de las Autonomous Networks. El TM Forum no trata la autonomía simplemente como ausencia de seres humanos. Su taxonomía describe una evolución en la que los sistemas asumen progresivamente percepción, análisis, decisión y ejecución, y el salto a L4 involucra operaciones orientadas por intención, análisis predictivo y closed loops con niveles significativamente mayores de autonomía. Hoy, la propia organización reconoce que la mayoría de los operadores aún se encuentra entre L2 y L3, aunque algunos ya avanzan hacia L4 en dominios específicos.
No toda decisión debería recibir el mismo nivel de autonomía
Imagine dos situaciones relativamente simples. En la primera, un agente identifica una condición conocida, cuya causa ya fue confirmada varias veces, y recomienda una acción estandarizada, reversible y de bajo impacto. En la segunda, identifica una combinación inédita de señales que involucra distintos sistemas y propone un cambio que puede afectar a miles de usuarios.
Sería difícil justificar que las dos decisiones recibieran exactamente el mismo nivel de autonomía.
Esta diferencia nos lleva a un punto importante: la autonomía debería estar asociada al riesgo de la decisión, y no solo a la capacidad técnica del agente que la ejecuta.
Incluso un agente sumamente competente puede encontrar situaciones para las que existe poca evidencia, contexto incompleto o consecuencias difíciles de anticipar. Por otro lado, las acciones suficientemente conocidas, observables y reversibles pueden ser buenas candidatas a mayores niveles de automatización.
En la práctica, esto sugiere una evolución gradual: un agente puede comenzar solo observando y explicando lo que encontró. Después, puede recomendar acciones para aprobación humana. A medida que se evalúan sus resultados, ciertas clases de decisión pueden autorizarse bajo condiciones específicas. Solo cuando la confianza, las evidencias y los mecanismos de control sean suficientes tendría sentido ampliar nuevamente ese espacio de actuación.
La analogía con la evolución de un profesional menos experimentado ayuda a comprender este proceso. Cuando alguien ingresa a una operación crítica, no recibe de inmediato todos los permisos disponibles solo porque tiene conocimiento técnico. Inicialmente acompaña procedimientos, aprende las particularidades de ese entorno y trabaja bajo supervisión. A medida que demuestra competencia y experiencia, pasa a asumir decisiones de mayor impacto.
Con agentes, la lógica puede ser similar, pero existe una diferencia fundamental, pues la confianza no puede ser solo una percepción subjetiva de que “la IA está funcionando bien”. Debe estar sustentada en evidencias.
Esto significa observar qué recomendaciones se produjeron, qué acciones se ejecutaron, en qué contexto ocurrieron, cuál fue el resultado y si hubo consecuencias no previstas. Significa también poder reconstruir posteriormente por qué se tomó determinada decisión y qué información estaba disponible en ese momento.
Es aquí donde los guardrails, las políticas, los permisos, la auditoría y la observabilidad de la propia IA dejan de ser elementos periféricos y pasan a formar parte de la arquitectura operacional.
Los guardrails pueden establecer lo que un agente está autorizado a hacer, a qué sistemas puede acceder, qué acciones exigen aprobación y qué condiciones deben interrumpir una ejecución. Las políticas pueden incorporar criterios relacionados con riesgo, criticidad e impacto. Los registros de auditoría permiten reconstruir decisiones, mientras que los mecanismos de observabilidad ayudan a acompañar el comportamiento de los agentes durante la operación.
No se trata solo de impedir errores. Esos mecanismos pueden permitir aumentar la autonomía con seguridad.
Hay además una cuestión que tiende a ganar importancia a medida que los agentes dejan de solo recomendar y pasan a actuar sobre infraestructura y servicios: ¿quién responde por las decisiones tomadas por la IA?
Esta pregunta no puede resolverse solo tecnológicamente. Involucra gobernanza corporativa, responsabilidades, seguridad, compliance y un entorno regulatorio que aún está evolucionando. El propio TM Forum viene discutiendo la necesidad de una capa de enforcement capaz de controlar y comprobar cómo se comportan los sistemas de IA mientras ejecutan acciones, especialmente en infraestructuras críticas y entornos regulados.
Por eso, entregar autonomía no significa abdicar del control, sino desplazar parte de ese control de la aprobación manual de cada acción a una arquitectura capaz de definir de antemano qué puede hacerse, por quién, en qué circunstancias y dentro de qué límites.
El objetivo no es retirar a las personas de la operación, sino cambiar dónde aportan valor
Cuando hablamos de operaciones autónomas, existe una tendencia natural a medir el avance por la reducción de la intervención humana. Cuantas menos personas participen en una actividad, más autónoma parecerá. Aunque esta relación tiene cierto fundamento, puede llevar a una interpretación limitada del objetivo de esta transformación.
El valor de la autonomía no está simplemente en retirar personas de los procesos, sino en dejar de utilizar especialistas para ejecutar continuamente tareas que los sistemas pueden realizar con seguridad, lo que les permite concentrar su atención en situaciones en las que el juicio, la experiencia, la creatividad o la responsabilidad humana siguen siendo importantes.
En un NOC, por ejemplo, una parte significativa del esfuerzo puede consumirse en el análisis repetitivo de alarmas, la búsqueda de información en distintas herramientas, la identificación de relaciones ya conocidas y la ejecución de procedimientos recurrentes. A medida que los sistemas asumen esas actividades, el papel de las personas puede migrar de la ejecución de cada paso a la definición de políticas, el tratamiento de excepciones, la investigación de situaciones inéditas y la supervisión de la propia inteligencia que pasa a participar en la operación.
Esto también cambia la forma en que deberíamos pensar el human-in-the-loop. En lugar de preguntar simplemente si habrá o no una persona en el proceso, quizá sea más útil preguntar dónde la participación humana produce valor suficiente para justificar su presencia.
En ciertos escenarios, eso podrá seguir ocurriendo antes de la acción. En otros, la supervisión podrá darse durante la ejecución o posteriormente, mediante el análisis de los resultados. Habrá además situaciones suficientemente conocidas y controladas en las que la participación humana en cada ocurrencia dejará de ser necesaria, aunque las políticas, la auditoría y los mecanismos de interrupción sigan presentes.
No existe, por lo tanto, un nivel ideal de autonomía que pueda aplicarse indistintamente a toda la operación. Existe una combinación entre escenario, riesgo, contexto, confianza y mecanismos de control que determina cuánto espacio de decisión puede entregarse a los agentes en cada momento.
Y esa combinación no es permanente: a medida que el entorno cambia, se incorporan nuevos agentes, evolucionan los modelos y se modifican los procesos, decisiones antes consideradas seguras pueden necesitar reevaluarse. La gobernanza de la autonomía también debe ser dinámica.
Quizá este sea uno de los puntos más importantes de esta discusión. Durante mucho tiempo, la gobernanza se percibió principalmente como algo que restringía lo que sistemas y personas podían hacer. En operaciones agénticas, puede asumir un papel diferente y ser el mecanismo que permite ampliar la autonomía sin perder el control sobre sus consecuencias.
El objetivo no debería ser llegar rápidamente a una operación sin personas. Debería ser construir una operación capaz de decidir, con evidencias, dónde la participación humana sigue siendo necesaria y dónde la autonomía ya puede producir mejores resultados.
El desafío no será simplemente decidir si confiamos o no en la inteligencia artificial. Será construir mecanismos que permitan saber en qué podemos confiar, hasta dónde y bajo qué condiciones.
Y eso quizá sea una definición más útil de madurez para operaciones verdaderamente autónomas.
De la visión a la práctica: ARGUS
Definir cuándo un agente puede actuar solo y cuándo necesita participación humana es una decisión que depende del riesgo, de la criticidad de la acción y de la confianza que la organización tiene en los mecanismos de control disponibles.
ARGUS contribuye a este escenario en dos dimensiones complementarias. Mediante las capacidades de AIOps, conecta información de distintas fuentes y construye el contexto operacional necesario para comprender la situación antes de decidir. Con AgentOps y AI Gateway, amplía este enfoque al seguimiento de las ejecuciones de los agentes y a la aplicación de políticas a su actuación.
Esta combinación puede ayudar a las organizaciones a evolucionar gradualmente sus modelos de autonomía, manteniendo visibilidad sobre lo que hacen los agentes e información relevante para la supervisión, la investigación y la auditoría.
ARGUS no determina qué decisiones deben permanecer bajo responsabilidad humana. Su contribución es apoyar una operación en la que autonomía y supervisión puedan evolucionar con más contexto, trazabilidad y control.
Conozca ARGUS y vea cómo funciona en la práctica.
Sobre el autor
Paulo Florêncio de Menezes es emprendedor, socio y cofundador de empresas como Target Solutions, BiPTT y ARGUS.
Es graduado en Procesamiento de Datos por la Universidad Federal de Amazonas (UFAM), tiene MBA en Gestión Empresarial por la Fundación Dom Cabral (FDC) y Máster Profesional en Economía por la Fundación Getulio Vargas (FGV).
En su investigación de máster desarrolló el IBEOP-IA (Índice Brasileño de Exposición Ocupacional Potencial a la Inteligencia Artificial), investigando la exposición potencial de las ocupaciones brasileñas a las capacidades de la IA mediante la combinación de datos ocupacionales, patentes de inteligencia artificial y técnicas de procesamiento de lenguaje natural.