AutoSynthData de ServiceNow convierte los fallos de los agentes en valiosas lecciones de formación

En resumen: AutoSynthData de ServiceNow CoreAI transforma los fallos de los agentes y los éxitos de los instructores en tareas SFT sintéticas validadas cuando las empresas necesitan evaluar la competencia del entorno, no solo obtener puntuaciones de referencia generales. Convierte las deficiencias en tarjetas de especificaciones de capacidad, multiplica el trabajo verificable y, posteriormente, evalúa la calidad antes de realizar ajustes. Según un informe del autor, EnterpriseOps Gym mejora si la capacidad del instructor, la calidad del verificador y la fidelidad del entorno coinciden.

Conclusiones clave:

Tarjetas de capacidad: Permiten encapsular los fallos en tarjetas para que los generadores nunca vean los identificadores originales.

Auditabilidad del verificador: Prefiera las comprobaciones de estado final de SQL que rechacen los resultados erróneos modificados.

Nivel de dificultad: Entrenar únicamente con tareas que el alumno rara vez resuelve y que el profesor suele superar.

Revisión humana: Mantenga la revisión humana en políticas de alto riesgo y acciones irreversibles antes de volver a capacitar.

Frontera en movimiento: Después de SFT, reevaluar y cambiar la fase objetivo hacia las brechas restantes.

Los agentes de IA empresariales rara vez fallan por falta de conocimientos generales. Fallan porque el entorno es específico: políticas de tickets, peculiaridades de esquema, contratos de herramientas, bases de datos predefinidas, artículos de conocimiento y flujos de trabajo entre sistemas que no se ajustan a las demostraciones de los libros de texto. Un modelo que obtiene buenos resultados en pruebas de rendimiento abiertas aún puede bloquearse cuando el siguiente paso debe respetar un período de cambios, una relación de CMDB o un verificador que comprueba el estado final en lugar de una conversación fluida.

ServiceNow CoreAI / ServiceNow-AI publicó AutoSynthData para abordar directamente esta deficiencia. El autor principal , Esakkivel Esakkiraja, describe un proceso que convierte los fallos de un agente objetivo, junto con los éxitos de un tutor más experimentado, en tareas de entrenamiento sintético validadas y adaptadas a entornos empresariales. El objetivo no es recopilar más registros de chat, sino multiplicar el trabajo riguroso y verificable que ejercita la misma capacidad en nuevas condiciones, de modo que el ajuste fino supervisado pueda subsanar las deficiencias específicas de cada entorno.

Este artículo analiza la idea central, la abstracción de tareas, el ciclo de generación y control de calidad, la arquitectura compartida y los resultados reportados por los autores sobre EnterpriseOps Gym en entornos híbridos y de gestión de servicios de TI (ITSM). Se basa en lo que describe la investigación: un programa dinámico de tareas sintéticas, sin afirmar que se resuelva de repente cualquier problema empresarial.

Por qué la competencia ambiental supera la capacidad general

Las empresas necesitan agentes que trabajen en su entorno: sus sistemas, reglas y estado de los datos. Una amplia capacidad no es lo mismo que una competencia en el entorno. Un agente puede saber cómo funciona habitualmente la gestión de servicios de TI y aun así pasar por alto la política local que prohíbe ciertas transiciones, o la herramienta que actualiza una tabla relacionada solo después de que exista un registro de prerrequisito.

Los fallos individuales son informativos, pero escasos como datos de entrenamiento. Una trayectoria fallida evidencia una debilidad; no proporciona las docenas de situaciones cercanas que enseñarían al modelo a recuperarse ante la variación. Los equipos necesitan muchas tareas nuevas que ejerciten la misma capacidad de forma diferente, que sean completables dentro del entorno, que resulten realistas según las necesidades del usuario y que sean verificables mediante comprobaciones de resultados.

Esa es la presión de diseño detrás de AutoSynthData. Los fallos se convierten en señales para las tarjetas de capacidad. Las tarjetas se convierten en generadores de nuevas tareas. Un profesor más eficaz demuestra trayectorias exitosas. Los filtros y verificadores deciden qué entra en el conjunto de ajuste fino supervisado. Tras el entrenamiento, la evaluación desplaza la frontera hacia las brechas restantes. El ciclo se adapta al currículo en lugar de ser una simple descarga de datos.

La forma de plantear las preguntas es crucial para los profesionales. Si solo se almacenan las indicaciones fallidas, se corre el riesgo de sobreajustar las tareas a esas entidades y formulaciones exactas. Si solo se generan solicitudes sintéticas sin restricciones, se corre el riesgo de crear tareas imposibles, poco realistas o inverificables. AutoSynthData se sitúa entre estos extremos: transforma las solicitudes fallidas en una especificación de capacidades y, a continuación, regenera tareas que conservan la esencia, pero modifican la forma superficial y las dimensiones controlables.

Estructura de la tarea práctica: sistema, indicación, verificador

Una abstracción viable para el trabajo de agentes es: tarea equivale a especificación del sistema, solicitud al usuario y verificador. Cada elemento conlleva restricciones que mantienen los datos sintéticos fundamentados y confiables.

La especificación del sistema abarca restricciones, políticas y el estado inicial, por ejemplo, las semillas de la base de datos y los artículos de conocimiento. Debe ser compatible con las herramientas y el estado disponibles. Las restricciones de dificultad arbitrarias que ignoran los contratos de las herramientas o el realismo de las semillas tienden a crear tareas frágiles que transmiten una lección errónea.

La calidad de las indicaciones para el usuario se evalúa desde tres perspectivas. La viabilidad determina si existe una trayectoria válida. El realismo evalúa si un usuario solicitaría esto de manera plausible. La dificultad evalúa si la tarea revela una debilidad actual del agente, en lugar de algo que el objetivo ya resuelve con fiabilidad. Una indicación trivial para el objetivo supone un desperdicio de presupuesto de entrenamiento; una indicación imposible genera desconfianza en la evaluación.

La calidad del verificador depende de la coherencia, la solidez y la exhaustividad. Las trayectorias demasiado laxas y débiles se aprueban. Las demasiado restrictivas, que solo permiten una trayectoria, y las soluciones alternativas válidas, se rechazan. En entornos empresariales, se suelen preferir las comprobaciones de resultados basadas en SQL o en el estado, ya que evalúan el entorno después de que el agente actúa, no la ruta exacta que siguió el agente.

AutoSynthData se basa en esta tríada para que el trabajo generado se mantenga coherente. Los generadores no inventan cuestionarios sin estructura definida. Producen tareas que pueden ejecutarse en el adaptador de entorno y ser evaluadas por verificadores que tienen en cuenta las propiedades requeridas del estado final.

Desde la evaluación diagnóstica hasta las tarjetas de especificaciones de capacidad

El proceso comienza con una evaluación diagnóstica del agente objetivo y de un tutor más competente dentro del entorno. Las pruebas comparativas revelan dónde falla el agente objetivo y dónde tiene éxito el tutor. Estos casos contrastantes constituyen la base para el diseño del currículo.

A continuación, se procede a la destilación en tarjetas de especificaciones de capacidades depuradas. Cada tarjeta captura la capacidad bajo prueba, las herramientas relevantes o la estructura del flujo de trabajo, dónde falla el objetivo y dónde tiene éxito el profesor, las propiedades requeridas del estado final y las dimensiones que pueden variar al crear nuevas tareas. Es fundamental destacar que el generador no recibe indicaciones, entidades, trayectorias ni detalles del verificador originales, solo las tarjetas.

Esa sanitización es una medida deliberada para evitar el sobreajuste. Si el generador viera los números exactos de los tickets fallidos, los identificadores de los artículos de conocimiento o los rastros del profesor, se vería tentado a parafrasear el mismo episodio. Las tarjetas fomentan la abstracción: enseñar la capacidad bajo variación controlable, no la instancia memorizada.

Una vez que existen las tarjetas, el sistema genera nuevas tareas a partir de ellas. El profesor luego muestra trayectorias exitosas para un ajuste fino supervisado. Estas demostraciones no son consejos arbitrarios; son éxitos basados ​​en el entorno que superan el mismo tipo de verificación que considera importante el currículo.

La estructura se basa en dos fases. La fase de selección se centra en muestras clave verificadas en torno a las brechas: las tareas con mayor señal cerca del punto donde falla el agente débil. La fase de multiplicación crea variantes novedosas de los objetivos aceptados. Las muestras multiplicadas no pueden generar nuevas rondas de multiplicación, lo que limita la deriva. Esta regla es sutil pero importante: la variación recursiva ilimitada puede desviarse de la capacidad especificada en la tarjeta.

Controlador compartido, adaptador de entorno y la frontera en constante evolución

En cuanto a su arquitectura, AutoSynthData utiliza un controlador compartido y un adaptador de entorno. El controlador coordina el diagnóstico, la creación de tarjetas, la generación, las demostraciones para profesores, los controles de calidad y la revisión por lotes. El adaptador conecta estos pasos a un entorno empresarial específico (herramientas, estado, políticas y verificadores), de modo que el mismo bucle de control puede aplicarse a diferentes dominios sin necesidad de reescribir la lógica del plan de estudios desde cero.

Tras el ajuste fino supervisado, el proceso se reevalúa. El currículo avanza entonces hacia las brechas restantes: una frontera en constante evolución en lugar de un conjunto de datos estático. Los experimentos descritos en este trabajo se centran en el ajuste fino supervisado. El mismo bucle podría utilizarse posteriormente para el aprendizaje por refuerzo; esta dirección se menciona como planificada, no como completada.

Para los equipos empresariales, la lección de arquitectura es modular. Los controladores no deben codificar un esquema de ticket fijo. Los adaptadores deben exponer suficiente estado y fidelidad de herramienta para que los verificadores sean útiles. El plan de estudios debe considerar los resultados de la evaluación como el siguiente aporte, no como un marcador único.

EnterpriseOps Gym es el entorno donde se ilustró este enfoque. Se trata de un banco de agentes empresariales a gran escala con aproximadamente 1150 tareas seleccionadas por expertos en 8 dominios, cerca de 512 herramientas, unas 164 tablas de base de datos, ejecución en contenedores, verificación de resultados basada en SQL, operaciones regidas por políticas, escenarios híbridos entre dominios, pruebas de inviabilidad y rechazo, y trayectorias con estado a largo plazo. AutoSynthData no se presenta como el inventor de este entorno; EnterpriseOps Gym es el banco de pruebas de estrés para el ciclo de síntesis.

Control de calidad a nivel de muestra que mantiene la fiabilidad de las tareas sintéticas

La generación sin compuertas es la causa de que los datos de agentes sintéticos fallen. AutoSynthData describe el control de calidad a nivel de muestra con varias comprobaciones complementarias.

Un filtro de dificultad del solucionador orienta el conjunto hacia tareas que resultan difíciles para el objetivo y resolubles para el profesor. La configuración descrita favorece las tareas que el objetivo resuelve en un máximo de tres intentos, mientras que el profesor las resuelve en al menos dos de tres. En ese rango, las demostraciones supervisadas pueden enseñar algo que el modelo débil aún no domina.

La verificación positiva requiere que una trayectoria de referencia supere la verificación. La verificación negativa requiere que los resultados erróneos modificados fallen. Juntas, ponen a prueba tanto la aceptación como el rechazo del verificador. Si solo se verifican los resultados positivos, un verificador permisivo puede admitir datos basura. Si solo se verifican los resultados negativos, un verificador demasiado estricto puede rechazar trabajos válidos.

Un ciclo de crítica y reparación, con un límite de reintentos, intenta corregir las tareas que no superan las pruebas en lugar de descartar inmediatamente cada intento fallido. Los límites de reintentos son importantes: una reparación interminable puede generar restricciones cada vez más artificiales solo para cumplir con una lista de verificación.

La metarevisión a nivel de lote analiza el conjunto en busca de cobertura, diversidad, redundancia y objetivos fallidos. Los filtros de muestra garantizan la integridad de cada elemento; la revisión por lotes evita que el currículo se concentre en un único modo de fallo o que se clonen elementos casi idénticos.

Estos controles explican por qué el proceso puede tardar horas en generar miles de muestras sin considerar el volumen como un sustituto del ajuste. La velocidad varía según el dominio y el tamaño del profesor, pero el proceso de control de calidad es consistente: banda de dificultad, verificación positiva y negativa, reparación con límites y, finalmente, metarevisión.

Fallos brutos frente a tarjetas frente a conjuntos SFT validados

Es útil comparar para qué sirve cada artefacto. Los registros de fallos sin procesar son diagnósticos. Las tarjetas de capacidad son contratos generativos. Los conjuntos de ajuste fino supervisados ​​y validados son los que se utilizan para el entrenamiento práctico.

En las instantáneas híbridas y de ITSM en EnterpriseOps Gym, las ejecuciones reportadas por el autor utilizaron Gemma-4-26B-A4B-it como objetivo. La versión híbrida combinó ese objetivo con Qwen3.8-27B como maestro y produjo alrededor de 2000 muestras híbridas en aproximadamente 18 horas, con el mejor punto de control en la época 5. El promedio de Pass@1 aumentó en 7,2 puntos porcentuales (alrededor del 35 por ciento relativo), y el éxito del verificador pasó del 63,01 por ciento al 68,55 por ciento, cerrando alrededor del 59 por ciento de la brecha de Pass@1 con respecto al modelo de referencia.

ITSM emparejó el mismo objetivo con DeepSeek-V4.1-Flash como maestro y produjo alrededor de 1994 muestras en aproximadamente 66 horas, un tiempo mayor debido en parte a un maestro más grande y a que algunas optimizaciones de la canalización aún no estaban implementadas. El promedio de Pass@1 pasó del 18,77 por ciento al 27,18 por ciento.

Estas cifras se interpretan como resultados de una investigación interna de la empresa sobre este gimnasio en los dominios analizados, no como una réplica independiente de terceros ni como una garantía empresarial universal. Los beneficios se obtienen cuando la calidad del instructor, la fiabilidad del verificador y la fidelidad del entorno se alinean.

Lo que los profesionales deberían copiar del bucle

Aunque tu pila tecnológica no sea la de investigación de ServiceNow, el patrón se aplica. Empieza con una evaluación comparativa de un objetivo similar a un entorno de producción y un modelo más sólido en un entorno de pruebas fiable. Convierte los fallos de contraste en tarjetas de capacidad que eliminen los identificadores y las trayectorias. Genera tareas que varíen las dimensiones permitidas, manteniendo las propiedades requeridas del estado final. Haz que el modelo demuestre los éxitos. Aplica niveles de dificultad, verificación positiva y negativa, reparación limitada y revisión de la diversidad de lotes. Perfecciona, reevalúa y amplía las fronteras.

Preste especial atención al diseño del verificador. Las comprobaciones de resultados SQL al estilo de EnterpriseOps Gym y las operaciones regidas por políticas ilustran por qué las rúbricas de chat por sí solas son insuficientes para el trabajo con estado. Si su verificador no puede distinguir entre resultados erróneos mutados y resultados finales correctos, la escala sintética amplificará el ruido.

Además, respete el espíritu de la regla de multiplicación: las variantes de objetivos aceptados no deben generar indefinidamente más variantes sin volver a los núcleos validados. La deriva es silenciosa. Un plan de estudios que inventa gradualmente restricciones más complejas puede superar filtros superficiales, pero dejando la capacidad original insuficientemente desarrollada.

Por último, considere el trabajo híbrido multidisciplinario como un caso de estrés de primer orden. Los usuarios cotidianos no se limitan a una sola herramienta. Las tareas híbridas, las trayectorias a largo plazo y las pruebas de rechazo o inviabilidad son donde se pone a prueba la competencia en el entorno, o donde se manifiesta de forma estrepitosa.

Advertencias, limitaciones y una lectura atenta de las ventajas

Los resultados publicados por los autores en EnterpriseOps Gym son indicadores informativos, no una garantía absoluta. Las mejoras publicadas para entornos híbridos y de gestión de servicios de TI (ITSM) se aplican a los dominios y combinaciones de modelos descritos. Otros dominios, modelos menos fiables, verificadores con mayor ruido o una menor fidelidad del entorno pueden reducir o anular el beneficio.

La calidad se basa en tres pilares fundamentales que ninguna estrategia de marketing puede obviar. La calidad del profesor determina el nivel de exigencia de las demostraciones. La calidad del verificador garantiza la fiabilidad de las etiquetas y los filtros. La fidelidad del entorno determina si los comportamientos aprendidos se mantienen tras el contacto con los sistemas de producción, las reglas y el estado de los datos.

Los experimentos de AutoSynthData hacen hincapié en el ajuste fino supervisado. El aprendizaje por refuerzo se menciona como una posible aplicación posterior del mismo ciclo, planificada pero no implementada en el trabajo presentado. Los lectores no deben confundir un motor de datos listo para su uso en currículos con una afirmación sobre un entrenamiento de aprendizaje por refuerzo ya finalizado.

Los lectores tampoco deben confundir el proceso de síntesis con el banco de pruebas en sí. EnterpriseOps Gym proporciona las tareas, herramientas, tablas, contenedores y la infraestructura de verificación predefinidas. AutoSynthData utiliza este entorno para convertir los fallos en valiosas lecciones aprendidas. Es importante reconocer la importancia de ambos componentes: el gimnasio somete a los agentes a un gran esfuerzo; el proceso multiplica las tareas de aprendizaje a partir de las deficiencias detectadas.

Tampoco hay tiempo de computación ni de calendario gratis dentro del entorno aislado. La síntesis híbrida se completó en horas para aproximadamente dos mil muestras; ITSM tardó más con un profesor más pesado y una configuración de canalización anterior. Los equipos deben presupuestar la inferencia del profesor, los reintentos en la crítica o reparación, y la reevaluación después de cada paso del currículo.

Pensamiento curricular para equipos de agentes empresariales

La idea más profunda de AutoSynthData es curricular, más que puramente generativa. Los fallos se diagnostican. Las tarjetas se abstraen. La generación se multiplica. El control de calidad valida. SFT actualiza el objetivo. La reevaluación amplía las fronteras. Esta secuencia trata la mejora del agente como una serie de lecciones basadas en el entorno, en lugar de un único volcado de trazas sin conexión.

La reflexión sobre el currículo cambia la forma en que los líderes asignan sus esfuerzos. En lugar de pedir solo más tickets o más anotaciones humanas, pregúntese qué capacidades siguen fallando ante la variación, si esas capacidades tienen propiedades de estado final claras y si un profesor más capacitado puede demostrarlas de manera confiable. Si el profesor no puede tener éxito con la suficiente frecuencia, la SFT sintética enseñará un comportamiento poco confiable. Si las propiedades del estado final son imprecisas, los verificadores discreparán con las estrategias válidas.

También cambia la forma de hablar del éxito. Cerrar parte de la brecha de Pass@1 con respecto a un modelo de referencia en Hybrid, o elevar ITSM Pass@1 de un porcentaje alto de 18 a un porcentaje alto de 29 en ejecuciones reportadas por los autores, representa un progreso en la competencia del entorno medido. No es prueba de que se hayan resuelto todos los flujos de trabajo, todas las políticas o todos los casos de rechazo. Mantenga el lenguaje de la frontera en constante evolución: las brechas restantes se convierten en la siguiente fase del Objetivo, no en una diapositiva de última hora.

Para el diseño del programa, combine este ciclo con la revisión humana en situaciones críticas (políticas de seguridad, acciones irreversibles, datos regulados), mientras que permita que los procesos automatizados gestionen el volumen de comprobaciones de estado bien definidas. Los datos sintéticos funcionan mejor cuando el entorno puede responder afirmativamente o negativamente con la claridad de SQL. Su eficacia disminuye cuando el éxito depende de criterios subjetivos.

Notas de diseño sobre dificultad, realismo y rechazo

La dificultad de los ejercicios merece una revisión. Priorizar tareas que el alumno resuelve como máximo un tercio de las veces evita que el entrenamiento se convierta en trivialidades. Exigir que el profesor tenga éxito al menos dos tercios de las veces evita que las demostraciones sean aleatorias. Este rango representa un equilibrio práctico entre desafío y facilidad de aprendizaje.

El realismo sigue siendo un criterio menos exigente, pero igualmente esencial. Los usuarios empresariales solicitan soluciones que se ajusten a sus funciones y sistemas. Los generadores que se guían únicamente por la rigidez pueden inventar complejos rompecabezas con múltiples restricciones que ningún operador solicitaría. Las fichas de capacidades que enumeran dimensiones variables son útiles, pero aún así, los humanos o la revisión exhaustiva deben detectar las indicaciones poco convencionales.

Las pruebas de rechazo e inviabilidad, presentes en el diseño general de EnterpriseOps Gym, recuerdan a los equipos que la competencia incluye decir no. Un flujo de trabajo optimizado solo para tareas completables puede subutilizar la capacidad de rechazar tareas. Al extender bucles al estilo de AutoSynthData, incluya tarjetas donde la propiedad final correcta sea un rechazo seguro según la política, y no solo una mutación exitosa del estado de la base de datos.

Las trayectorias con estado a largo plazo plantean otra consideración importante en el diseño. Las demostraciones para docentes deben mantener la coherencia entre las distintas llamadas a herramientas. Los verificadores que solo comprueban la última fila de la tabla pueden pasar por alto fallos de política intermedios. La exhaustividad en el diseño de verificadores implica abarcar las propiedades que realmente definen el éxito de dicha capacidad, incluidas las restricciones que deben mantenerse vigentes en todo momento, no solo al final.

Resumen final

AutoSynthData, de ServiceNow CoreAI / ServiceNow-AI y descrito en la publicación por Esakkivel Esakkiraja, es un sistema que transforma los fallos de los agentes objetivo y los éxitos de los instructores en tareas de entrenamiento sintético validadas para entornos empresariales. Abstrae los fallos en tarjetas de especificaciones de capacidades depuradas, genera nuevas tareas sin filtrar las indicaciones ni las trayectorias originales, recopila demostraciones de los instructores y aplica un control de calidad a nivel de muestra y de lote antes del ajuste fino supervisado.

El modelo mental práctico concibe la tarea como especificación del sistema, solicitud al usuario y verificador, manteniendo en tensión la viabilidad, el realismo y la dificultad, con verificadores que no son ni demasiado permisivos ni se ciñen a un único camino. Las fases de objetivo y multiplicación, una regla que impide la generación de semillas adicionales para las muestras multiplicadas, un controlador compartido más un adaptador de entorno y una reevaluación posterior a la SFT crean una frontera móvil que cubre las brechas restantes.

En EnterpriseOps Gym, los resultados híbridos reportados por el autor con Gemma-4-26B-A4B-it y Qwen3.8-27B muestran aproximadamente dos mil muestras en unas dieciocho horas y aumentos significativos en Pass@1 y éxito del verificador, cerrando una gran parte de la brecha con un modelo de referencia. ITSM con DeepSeek-V4.1-Flash como maestro muestra que Pass@1 aumenta del 18,77 por ciento al 27,18 por ciento en aproximadamente 1994 muestras durante una ejecución más larga. Considere estas cifras como señales investigadas en dominios específicos, que dependen de la fidelidad del maestro, el verificador y el entorno, y mantenga el aprendizaje por refuerzo como una extensión planificada del ciclo, no como una afirmación final.

Si recuerdas una frase: los agentes empresariales mejoran cuando los fallos se convierten en lecciones abstractas, multiplicadas y verificadas dentro de los sistemas con los que deben operar a diario, no cuando los equipos simplemente repiten el mismo error.

Ejemplo práctico: Ampliación de casos complejos de ITSM a partir de un conjunto de fallos congelado al estilo Gym

Guión

Un equipo de plataforma empresarial del Reino Unido (por ejemplo, un grupo de operaciones de servicios financieros de tamaño mediano que ejecuta ITSM al estilo ServiceNow con ventanas de cambio, relaciones de CMDB y transiciones controladas por políticas) tiene un agente similar al de producción que sigue tropezando con el mismo tipo de trabajo: actualizaciones entre tablas que deben respetar un requisito de aprobación previo, búsquedas de artículos de conocimiento que entran en conflicto con las congelaciones de cambios locales y solicitudes híbridas que cruzan ITSM con herramientas de operaciones adyacentes.

Congelan una suite privada al estilo EnterpriseOps Gym (sandbox en contenedores, comprobaciones de resultados SQL, tablas predefinidas, reglas de políticas) para que las puntuaciones sean comparables semana tras semana. Las ejecuciones de diagnóstico muestran que el agente objetivo falla donde un profesor más fuerte tiene éxito. La dirección quiere más señales de entrenamiento sin reproducir los mismos números de ticket e ID de entidad. AutoSynthData (o un bucle de síntesis a partir de fallos equivalente si la canalización de investigación está controlada en su pila) es el candidato: convierte los fallos de contraste en tarjetas de especificaciones de capacidad sanitizadas, genera nuevas tareas, recopila demostraciones de profesores y, luego, lo que es fundamental, revisa humanamente los rastros sintéticos antes de cualquier reentrenamiento.

En Gym Pass@1 no se envía nada por sí solo. Los datos sintéticos se tratan como un plan de estudios provisional, no como una verdad absoluta.

Lo que necesita el asistente

• Acceso al adaptador de entorno congelado estilo Gym: herramientas, estado inicial, políticas y verificadores SQL (o equivalentes basados ​​en estado).
• Registros de evaluación comparativos: se contrastan los fracasos de los alumnos con los éxitos de los profesores en las mismas tareas.
• Un esquema de tarjeta que captura la capacidad, la forma de las herramientas/flujo de trabajo, el contraste entre fallo y éxito, las propiedades requeridas del estado final y las dimensiones de variación permitidas, sin indicaciones, entidades, trayectorias ni elementos internos del verificador originales.
• Se aplican reglas de filtrado de información personal identificable (PII) y políticas (ID de tickets, nombres de usuarios, nombres de elementos de configuración, campos regulados) antes de que cualquier elemento salga del entorno aislado o entre en una solicitud del generador.
• Una cola de revisión humana para tareas sintéticas muestreadas y registros del profesor (viabilidad, realismo, fiabilidad del verificador, casos de rechazo/inviabilidad).
• Condiciones de parada claras: Fases de objetivo y luego de multiplicación; las muestras multiplicadas no inician rondas de multiplicación adicionales.

Ejemplo de instrucciones

La plataforma conduce al operador del plan de estudios (o a un asistente de orquestación que solo elabora tarjetas y paquetes de revisión; no reentrena ni promueve modelos):

“Ejecute la prueba diagnóstica Pass@1 en las secciones congeladas de ITSM e Hybrid contra nuestro objetivo actual y el profesor designado. Para cada contraste en el que el objetivo falle y el profesor tenga éxito en al menos dos de tres ensayos, redacte una tarjeta de especificación de capacidad saneada: nombre la capacidad, enumere las herramientas relevantes, indique las propiedades requeridas del estado final y enumere las dimensiones controlables (banda de prioridad, clase de CI relacionada, indicador de ventana de cambio, tipo de conflicto de conocimiento). Elimine los números de ticket, los identificadores de usuario, los nombres de CI y las trayectorias sin procesar. Genere un lote de nuevas tareas de la fase objetivo solo a partir de esas tarjetas. Haga que el profesor demuestre éxitos. Aplique la banda de dificultad (objetivo ≤1/3, profesor ≥2/3), verificación positiva y negativa, y crítica/reparación limitada. Produzca un paquete de revisión de muestras estratificadas del 5% más cada tarjeta de rechazo/inviabilidad. No inicie SFT hasta que dos revisores firmen el paquete y las comprobaciones de limpieza de PII pasen. Después de SFT en un punto de control candidato, vuelva a evaluar en el conjunto congelado y en un conjunto de coincidencia exacta de reserva que nunca usamos para generación. Informe la cobertura por clase de fallo y la tasa de regresión en comparación con el punto de control de producción anterior. No ascienda basándose únicamente en la puntuación de Gym

Cómo probarlo

1. Bloqueo de referencia: Registre las tasas de éxito de Pass@1 y del verificador en el conjunto congelado según la clase de fallo (orden de prerrequisitos, rechazo de ventana de cambio, herramienta cruzada híbrida, conflicto de conocimiento). Mantenga el conjunto y las semillas inmutables durante el ciclo.
2. Auditoría de tarjetas: Verificar aleatoriamente que los generadores nunca reciban indicaciones originales, entidades o rastros de profesores, solo tarjetas.
3. Control de calidad de la muestra: Confirmar que las trayectorias positivas pasan los verificadores y que los resultados erróneos mutados fallan. Rechazar las tareas que son triviales para el objetivo o que son como lanzar una moneda al aire para el profesor.
4. Revisión humana: Los revisores califican cada muestra como apta para conservar, reparar o descartar según su viabilidad, realismo y seguridad de las políticas. Se realiza un seguimiento del grado de acuerdo entre los revisores sobre un subconjunto compartido.
5. Prueba de validación con coincidencia exacta: Después de la prueba SFT candidata, califique una prueba con tareas reales (o previamente congeladas) que nunca se utilizaron como entrada para la generación de tarjetas. Califique por separado paráfrasis aproximadas de las tareas de entrenamiento para detectar la memorización superficial.
6. Control de regresión: Cualquier clase de fallo que empeore con respecto al punto de control de producción anterior bloquea la promoción hasta que se explique o se solucione.

Resultado

No inventes aquí porcentajes de cocción. Utiliza un plan de medición y etiqueta las cifras de investigación publicadas como AFIRMACIÓN DEL ARTÍCULO cuando las cites.

Plan de medición (qué debe informar este equipo):

• Cobertura de clases de fallos: porcentaje de clases de brechas diagnosticadas que produjeron ≥N tareas aceptadas de la fase objetivo después del control de calidad (defina N de antemano, por ejemplo, 20 tareas aceptadas por clase).
• Coincidencia exacta de reserva: Pass@1 / éxito del verificador en la reserva no tocada antes vs después del candidato SFT (mismas semillas, mismo verificador).
• Tasa de regresión: recuento de clases de fallos en las que Pass@1 cae en comparación con el punto de control de producción anterior; bloquear si alguna clase crítica para la seguridad sufre una regresión.
• Rendimiento de la revisión: mantenga / repare / elimine las tasas en el paquete de revisión humana; si la tasa de eliminación aumenta bruscamente, pause Multiply y arregle las tarjetas o los verificadores.
• Fallos de depuración: número de muestras que no superan las comprobaciones de PII/política antes de la aprobación final de la revisión (objetivo: cero casos que se escapen al conjunto SFT).

AFIRMACIÓN DEL ARTÍCULO (informado por el autor en EnterpriseOps Gym - no es el resultado medido por este equipo): Las ejecuciones híbridas con Gemma-4-26B-A4B-it como objetivo y Qwen3.8-27B como maestro produjeron alrededor de 2000 muestras en aproximadamente 18 horas, con un promedio de Pass@1 que aumentó alrededor de 7,2 puntos porcentuales y el éxito del verificador pasó del 63,01 % al 68,55 %. ITSM con DeepSeek-V4.1-Flash como maestro aumentó el promedio de Pass@1 del 18,77 % al 27,18 % en aproximadamente 1994 muestras durante una ejecución más larga (~66 horas). Considere estos resultados como señales investigadas en dominios y combinaciones específicas, no como una garantía universal para una pila de producción en el Reino Unido.

Estructura ilustrativa del programa (supuestos, no ganancias medidas): Si el equipo acepta aproximadamente 2000 muestras con control de calidad para un ciclo de ITSM, presupuesta la inferencia del profesor más la revisión con un muestreo estratificado del 5 % y solo promueve cuando la retención no provoca una regresión en las clases críticas para la seguridad, el "resultado" que pueden reclamar sin inmutarse es la madurez del proceso (currículo auditado, trazas depuradas y deltas comparables de suite congelada), no un aumento porcentual prometido.

¿Qué puede salir mal?

• Tratar la información sintética como verdad absoluta: omitir la revisión humana o la verificación negativa permite que los verificadores permisivos admitan información basura a gran escala.
• Fuga de entidades: Introducir los ID de los tickets originales o los registros de los profesores en el generador propicia el sobreajuste de paráfrasis; las tarjetas existen para evitarlo.
• Multiplicación sin límites: permitir que las muestras multiplicadas sirvan de base para rondas posteriores se aleja de la capacidad denominada.
• Envío de Gym-core: Se promociona porque el Pass@1 de la suite congelada aumentó mientras que el tráfico de la sombra de producción o de la retención empeoró.
• Techo de profesor débil: Si el profesor no puede superar la banda de éxito de ≥2/3, SFT imparte demostraciones poco fiables.
• Verificadores difusos: Las rúbricas de chat, en lugar de las verificaciones basadas en el estado, califican los exámenes finales incorrectos y fluidos como éxitos.
• Rechazo por falta de entrenamiento: Optimizar solo para mutaciones completables hace que la ventana de cambio y las políticas de rechazo sean frágiles.
• Escape de información personal identificable: Mensajes sintéticos que reintroducen información confidencial real o nombres de usuario después de una limpieza superficial.

Información práctica para llevar

Utilice bucles al estilo de AutoSynthData, o un patrón de síntesis equivalente a partir de fallos si la canalización de ServiceNow CoreAI no está disponible en su entorno, para multiplicar casos ITSM duros y verificables a partir de brechas diagnosticadas. Sanite en tarjetas de capacidad, filtre con dificultad y verificación positiva/negativa, elimine la información de identificación personal y revise las muestras manualmente antes de SFT. Mida la cobertura de la clase de fallo, la coincidencia exacta de la prueba de validación y la tasa de regresión. Cite las cifras de Gym solo como contexto de investigación externa. Los datos de síntesis son material didáctico, no una garantía: audite las muestras, mantenga la suite congelada para una comparación justa y nunca envíe basándose únicamente en la puntuación de Gym.

Preguntas frecuentes

¿Qué es AutoSynthData y qué problema aborda?

AutoSynthData es una canalización de ServiceNow CoreAI/ServiceNow-AI, descrita por Esakkivel Esakkiraja, que integra los fallos de un agente objetivo con los éxitos de un tutor más experimentado en tareas de entrenamiento sintético validadas para entornos empresariales. Se centra en la competencia del entorno (políticas locales, esquemas, herramientas y estado) en lugar de en un conocimiento general amplio. El objetivo es multiplicar el trabajo minucioso y verificable para que el ajuste fino supervisado pueda corregir las deficiencias específicas del entorno en lugar de repetir el mismo error.

¿Por qué la competencia ambiental es diferente de la capacidad de modelado general?

Los agentes empresariales suelen tener dificultades debido a las particularidades del entorno: políticas de tickets, peculiaridades de esquema, contratos de herramientas, bases de datos predefinidas y flujos de trabajo entre sistemas. Un modelo que parece sólido en pruebas comparativas abiertas puede, sin embargo, bloquearse en una ventana de cambios, una relación de CMDB o un verificador que inspecciona el estado final. Una amplia capacidad no es lo mismo que saber cómo se comportan los sistemas, las reglas y el estado de los datos bajo transiciones regidas por políticas.

¿Qué forma práctica de tarea utiliza AutoSynthData?

Una estructura viable se compone de la especificación del sistema, la solicitud al usuario y el verificador. La especificación del sistema incluye restricciones, políticas y el estado inicial, como las semillas de la base de datos y los artículos de conocimiento. Las solicitudes al usuario se evalúan según su viabilidad, realismo y dificultad. Idealmente, los verificadores se basan en comprobaciones de resultados basadas en SQL o en el estado, de modo que evalúan el entorno después de que el agente actúa, no solo la ruta exacta seguida.

¿Cómo evitan las tarjetas con especificaciones de capacidad desinfectadas el sobreajuste?

Las pruebas de diagnóstico contrastan los casos en los que el objetivo falla y el profesor tiene éxito, y luego los transforman en tarjetas de especificaciones de capacidad depuradas. Cada tarjeta registra la capacidad, las herramientas o la estructura del flujo de trabajo, el contraste entre fallos y éxitos, las propiedades requeridas del estado final y las dimensiones que pueden variar. El generador nunca ve las indicaciones, entidades, trayectorias ni detalles del verificador originales, solo las tarjetas, por lo que las nuevas tareas se centran en el núcleo del problema sin parafrasear un episodio memorizado.

¿Cuáles son las fases de Selección y Multiplicación en el proceso?

La fase objetivo se centra en muestras clave validadas en torno a las brechas: las tareas con mayor señal cerca del punto donde falla el agente débil. La fase de multiplicación genera variantes novedosas de los objetivos aceptados. Las muestras multiplicadas no pueden iniciar rondas de multiplicación adicionales, lo que evita que se desvíen de la capacidad deseada. Tras un ajuste fino supervisado, la reevaluación orienta el currículo hacia las brechas restantes como una frontera en constante evolución, en lugar de un conjunto estático de datos.

¿Cómo garantiza el control de calidad a nivel de muestra la fiabilidad de las tareas sintéticas?

Un filtro de dificultad para el solucionador favorece las tareas que el objetivo resuelve en un máximo de tres intentos, mientras que el profesor lo logra en al menos dos de tres. La verificación positiva requiere una trayectoria de referencia para ser exitosa; la verificación negativa requiere resultados erróneos mutados para ser fallida. Un bucle de crítica y reparación con un límite de reintentos intenta corregir los fallos parciales, y la metarevisión a nivel de lote verifica la cobertura, la diversidad, la redundancia y los objetivos fallidos en todo el conjunto.

¿Qué arquitectura utiliza AutoSynthData en los distintos dominios empresariales?

Combina un controlador compartido con un adaptador de entorno. El controlador ejecuta el diagnóstico, la creación de tarjetas, la generación, las demostraciones para profesores, los controles de calidad y la revisión por lotes. El adaptador integra estos pasos en un entorno de pruebas concreto (herramientas, estado, políticas y verificadores), de modo que el mismo bucle de control puede abarcar diferentes dominios sin necesidad de reescribir la lógica del plan de estudios desde cero.

¿Qué representa EnterpriseOps Gym en este contexto de investigación?

EnterpriseOps Gym es un banco de pruebas empresarial a gran escala que funciona como banco de pruebas de estrés. Cuenta con aproximadamente 1150 tareas seleccionadas por expertos en 8 dominios, unas 512 herramientas, unas 164 tablas de base de datos, ejecución en contenedores, verificación de resultados basada en SQL, operaciones regidas por políticas, escenarios híbridos y trayectorias con estado a largo plazo. AutoSynthData no pretende inventar este entorno; simplemente muestra el ciclo de síntesis en acción.

¿Qué resultados reportados por los autores aparecen para las configuraciones híbridas y de ITSM?

En EnterpriseOps Gym, las ejecuciones híbridas con Gemma-4-26B-A4B-it como objetivo y Qwen3.8-27B como maestro produjeron alrededor de 2000 muestras en aproximadamente 18 horas, con un promedio de Pass@1 que aumentó alrededor de 7,2 puntos porcentuales y un éxito del verificador que pasó del 63,01 % al 68,55 %. ITSM con DeepSeek-V4.1-Flash como maestro aumentó el promedio de Pass@1 del 18,77 % al 27,18 % en aproximadamente 1994 muestras durante una ejecución más larga. Considere estos resultados como señales investigadas en combinaciones específicas, no como una garantía de producción universal.

¿Qué errores deben evitar los equipos al utilizar bucles de síntesis a partir de fallos?

No considere los datos sintéticos como verdad absoluta ni omita la revisión humana y la verificación negativa. Evite introducir identificadores de tickets originales o rastros de profesores en el generador, permitir que muestras multiplicadas se utilicen en rondas posteriores o promocionar Gym Pass@1 por sí solo mientras el tráfico de usuarios inactivos o encubiertos empeora. Además, preste atención a los profesores con bajo rendimiento, las rúbricas de chat imprecisas en lugar de las verificaciones estatales, los casos de rechazo con formación insuficiente y la filtración de información personal identificable tras una revisión superficial.

Referencias

1. Hugging Face — AutoSynthData — huggingface.co
2. EnterpriseOps Gym — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-Gym — github.com