¿Qué es el preprocesamiento de IA?

En resumen: el preprocesamiento de IA consiste en una serie de pasos repetibles que transforman datos brutos con alta variabilidad en entradas consistentes para el modelo. Esto incluye limpieza, codificación, escalado, tokenización y transformaciones de imágenes. Es importante porque si las entradas de entrenamiento y las de producción difieren, los modelos pueden fallar silenciosamente. Si un paso "aprende" parámetros, ajústelo solo con los datos de entrenamiento para evitar fugas de información.

El preprocesamiento de IA es todo lo que se hace con los datos sin procesar antes (y a veces durante) del entrenamiento o la inferencia para que un modelo pueda aprender de ellos. No se trata solo de "limpiar". Se trata de limpiar, moldear, escalar, codificar, aumentar y empaquetar los datos en una representación consistente que no afecte negativamente al modelo posteriormente. [1]

Conclusiones clave:

Definición: El preprocesamiento convierte tablas, texto, imágenes y registros sin procesar en características listas para el modelo.

Coherencia: aplicar las mismas transformaciones durante el entrenamiento y la inferencia para evitar fallas por desajuste.

Fuga: ajuste escaladores, codificadores y tokenizadores solo en datos de entrenamiento.

Reproducibilidad: cree canalizaciones con estadísticas inspeccionables, no secuencias de celdas de cuaderno ad hoc.

Supervisión de la producción: Controla la desviación y la deriva para que las entradas no erosionen gradualmente el rendimiento.

Artículos que quizás te interese leer después de éste:

🔗 Cómo probar los modelos de IA para comprobar su rendimiento en el mundo real
Métodos prácticos para evaluar la precisión, la robustez y el sesgo rápidamente.

🔗 ¿Qué es la inteligencia artificial de texto a voz y cómo funciona?
Explica los conceptos básicos de TTS, sus usos clave y las limitaciones comunes en la actualidad.

🔗 ¿Puede la IA leer la escritura cursiva con precisión hoy en día?
Cubre los desafíos de reconocimiento, las mejores herramientas y consejos de precisión.

🔗 ¿Qué tan precisa es la IA en tareas comunes?
Desglosa los factores de precisión, los puntos de referencia y la confiabilidad en el mundo real.

---

Preprocesamiento de IA en lenguaje sencillo (y lo que no es) 🤝

El preprocesamiento de IA consiste en transformar datos sin procesar (tablas, texto, imágenes, registros) en características listas para el modelo. Si los datos sin procesar son un garaje desordenado, el preprocesamiento consiste en etiquetar las cajas, desechar los trastos rotos y apilar las cosas para poder caminar sin sufrir lesiones.

No es el modelo en sí. Es lo que lo hace posible:

• Convertir categorías en números (one-hot, ordinal, etc.) [1]

• escalar rangos numéricos grandes a rangos razonables (estandarización, mínimo-máximo, etc.) [1]

• Tokenizar texto en identificadores de entrada (y, generalmente, una máscara de atención) [3]

• redimensionar/recortar imágenes y aplicar transformaciones deterministas o aleatorias de manera apropiada [4]

• Construir canales repetibles para que el entrenamiento y las entradas de la “vida real” no diverjan de manera sutil [2]

Una pequeña aclaración práctica: el "preprocesamiento" incluye todo lo que sucede de forma sistemática antes de que el modelo vea la entrada. Algunos equipos lo dividen en "ingeniería de características" y "limpieza de datos", pero en la práctica esas líneas se difuminan. 

 

---

Por qué el preprocesamiento de la IA es más importante de lo que la gente admite 😬

Un modelo es un buscador de patrones, no un lector de mentes. Si sus entradas son inconsistentes, el modelo aprende reglas inconsistentes. Esto no es filosófico, es dolorosamente literal.

El preprocesamiento le ayuda a:

• Mejore la estabilidad del aprendizaje colocando características en representaciones que los estimadores puedan usar de manera confiable (especialmente cuando se trata de escalamiento/codificación). [1]

• Reduce el ruido haciendo que la realidad desordenada parezca algo que un modelo puede generalizar (en lugar de memorizar artefactos extraños).

• Evitar modos de fallo silenciosos como fugas y desajustes entre entrenamiento y servicio (del tipo que parece “increíble” en la validación y luego falla estrepitosamente en producción). [2]

• Acelere la iteración porque las transformaciones repetibles superan a los espaguetis de los cuadernos todos los días de la semana.

Además, de ahí proviene gran parte del "rendimiento de los modelos". Sorprendentemente, muchísimo. A veces parece injusto, pero es la realidad 🙃

---

¿Qué hace que una canalización de preprocesamiento de IA sea buena? ✅

Una “buena versión” del preprocesamiento generalmente tiene estas cualidades:

• Reproducible: misma entrada → misma salida (sin aleatoriedad misteriosa a menos que sea una mejora intencional).

• Consistencia en el entrenamiento: todo lo que haga en el momento del entrenamiento se aplica de la misma manera en el momento de la inferencia (mismos parámetros ajustados, mismos mapas de categorías, misma configuración del tokenizador, etc.). [2]

• A prueba de fugas: ningún elemento de la evaluación o prueba influye en ningún del ajuste . (Más información sobre esta trampa en breve). [2]

• Observable: puedes inspeccionar qué cambió (estadísticas de características, datos faltantes, recuentos de categorías), por lo que la depuración no se basa en intuiciones.

Si tu preprocesamiento es un montón de celdas de notebook llamadas final_v7_really_final_ok… ya sabes cómo es. Funciona hasta que deja de funcionar 😬

---

Componentes fundamentales del preprocesamiento de IA 🧱

Piense en el preprocesamiento como un conjunto de bloques de construcción que se combinan en una canalización.

1) Limpieza y validación 🧼

Tareas típicas:

• eliminar duplicados

• Manejar valores faltantes (eliminar, imputar o representar valores faltantes explícitamente)

• aplicar tipos, unidades y rangos

• detectar entradas malformadas

• Estandarizar formatos de texto (espacios en blanco, reglas de mayúsculas y minúsculas, peculiaridades de Unicode)

Esta parte no es glamurosa, pero previene errores muy tontos. Lo digo con cariño.

2) Codificación de datos categóricos 🔤

La mayoría de los modelos no pueden usar directamente cadenas sin procesar como "red" o "premium_user".

Enfoques comunes:

• Codificación one-hot (categoría → columnas binarias) [1]

• Codificación ordinal (categoría → ID entero) [1]

Lo fundamental no es qué codificador elijas, sino que el mapeo se mantenga consistente y no “cambie de forma” entre el entrenamiento y la inferencia. Así es como se obtiene un modelo que funciona bien sin conexión, pero que presenta problemas en línea. [2]

3) Escalado y normalización de características 📏

La escala es importante cuando las características se encuentran en rangos muy diferentes.

Dos clásicos:

• Estandarización: eliminar la media y escalar a la varianza unitaria [1]

• Escala mínima-máxima: escala cada característica en un rango específico [1]

Incluso cuando se utilizan modelos que "se las arreglan en gran medida", el escalamiento suele hacer que sea más fácil razonar sobre las tuberías y más difícil romperlas accidentalmente.

4) Ingeniería de características (también conocida como trampa útil) 🧪

Aquí es donde se facilita el trabajo del modelo creando mejores señales:

• ratios (clics/impresiones)

• ventanas móviles (últimos N días)

• recuentos (eventos por usuario)

• transformaciones logarítmicas para distribuciones de cola pesada

Hay arte en esto. A veces creas una función, te sientes orgulloso... y no hace nada. O peor aún, duele. Es normal. No te apegues emocionalmente a las funciones; no te corresponden. 😅

5) Dividir los datos de la manera correcta ✂️

Esto suena obvio hasta que no lo es:

• divisiones aleatorias para datos iid

• divisiones basadas en el tiempo para series de tiempo

• Divisiones agrupadas cuando las entidades se repiten (usuarios, dispositivos, pacientes)

Y, fundamentalmente, divida antes del preprocesamiento de ajuste que aprende de los datos. Si su paso de preprocesamiento “aprende” parámetros (como medias, vocabularios, mapas de categorías), debe aprenderlos solo del entrenamiento. [2]

---

Preprocesamiento de IA por tipo de datos: tabulares, texto, imágenes 🎛️

El preprocesamiento cambia la forma dependiendo de lo que le proporciones al modelo.

Datos tabulares (hojas de cálculo, registros, bases de datos) 📊

Pasos comunes:

• estrategia de valor faltante

• codificación categórica [1]

• escalado de columnas numéricas [1]

• Manejo de valores atípicos (las reglas de dominio superan el “recorte aleatorio” la mayor parte del tiempo)

• características derivadas (agregaciones, retrasos, estadísticas móviles)

Consejo práctico: define grupos de columnas explícitamente (numéricos, categóricos o identificadores). Tu yo del futuro te lo agradecerá.

Datos de texto (PNL) 📝

El preprocesamiento de texto a menudo incluye:

• tokenización en tokens/subpalabras

• conversión a identificaciones de entrada

• relleno/truncamiento

• Creación de máscaras de atención para la agrupación [3]

Una pequeña regla que ahorra esfuerzo: para configuraciones basadas en transformadores, sigue la configuración del tokenizador prevista por el modelo y no improvises a menos que tengas una razón. Improvisar es como terminas con "entrena, pero es raro"

Imágenes (visión por computadora) 🖼️

Preprocesamiento típico:

• cambiar el tamaño/recortar a formas consistentes

• transformaciones deterministas para la evaluación

• Transformaciones aleatorias para aumentar el entrenamiento (por ejemplo, recorte aleatorio) [4]

Un detalle que la gente pasa por alto: las "transformaciones aleatorias" no son solo una sensación, sino que literalmente muestrean los parámetros cada vez que se llaman. Son excelentes para la diversidad de entrenamiento, pero terribles para la evaluación si se olvida desactivar la aleatoriedad. [4]

---

La trampa en la que todos caen: fuga de datos 🕳️🐍

La fuga se produce cuando la información de los datos de evaluación se filtra en el entrenamiento, a menudo mediante el preprocesamiento. Puede hacer que el modelo parezca mágico durante la validación y luego decepcionar en el mundo real.

Patrones de fugas comunes:

• escalamiento utilizando estadísticas de conjunto de datos completo (en lugar de solo entrenamiento) [2]

• Construyendo mapas de categorías usando train+test juntos [2]

• cualquier fit() o fit_transform() que “vea” el conjunto de prueba [2]

Regla de oro (simple, brutal, efectiva):

• Todo lo que tenga un en forma debe ajustarse únicamente al entrenamiento.

• Luego transforma la validación/prueba utilizando ese transformador instalado. [2]

Y si quieres comprobar de antemano hasta qué punto puede ser grave: la propia documentación de scikit-learn muestra un ejemplo de fuga de memoria donde un orden de preprocesamiento incorrecto produce una precisión de alrededor de 0,76 en objetivos aleatorios, para luego volver a ~0,5 una vez que se corrige la fuga. Así de convincentemente errónea puede parecer una fuga de memoria. [2]

---

Llevando el preprocesamiento a producción sin caos 🏗️

Muchos modelos fallan en producción no porque el modelo sea "malo", sino porque la realidad de entrada cambia, o porque cambia tu flujo de trabajo.

El preprocesamiento orientado a la producción generalmente incluye:

• Artefactos guardados (mapeos de codificador, parámetros de escalador, configuración de tokenizador) para que la inferencia use exactamente las mismas transformaciones aprendidas [2]

• Contratos de entrada estrictos (columnas/tipos/rangos esperados)

• Monitoreo de sesgos y desviaciones, porque los datos de producción pueden desviarse [5]

Si desea definiciones concretas: el sistema de monitorización de modelos de IA Vertex de Google distingue entre la asimetría de entrenamiento (la distribución de producción se desvía del entrenamiento) y la deriva de inferencia (la distribución de producción cambia con el tiempo), y admite la monitorización tanto de características categóricas como numéricas. [5]

Porque las sorpresas son caras. Y no son divertidas.

---

Tabla comparativa: herramientas comunes de preprocesamiento y monitorización (y para quiénes son) 🧰

Herramienta/biblioteca	Mejor para	Precio	Por qué funciona (y un poco de honestidad)
preprocesamiento de scikit-learn	Canalizaciones de aprendizaje automático tabular	Gratis	Codificadores sólidos + escaladores (OneHotEncoder, StandardScaler, etc.) y comportamiento predecible [1]
Tokenizadores de caras abrazadas	Preparación de entrada de PNL	Gratis	Produce identificaciones de entrada + máscaras de atención de manera consistente en todas las ejecuciones/modelos [3]
Torchvision se transforma	La visión se transforma + aumenta	Gratis	Una forma limpia de mezclar transformaciones deterministas y aleatorias en una sola tubería [4]
Monitoreo de modelos de IA de Vertex	Detección de deriva/sesgo en producción	Pagado (nube)	Los monitores detectan sesgos/derivas y emiten alertas cuando se superan los umbrales [5]

(Sí, la mesa todavía tiene opiniones. Pero al menos son opiniones honestas 😅)

---

Una lista de verificación de preprocesamiento práctica que realmente puedes usar 📌

Antes del entrenamiento

• Definir un esquema de entrada (tipos, unidades, rangos permitidos)

• Auditar valores faltantes y duplicados

• Dividir los datos de la manera correcta (aleatorio/basado en el tiempo/agrupado)

• en solo (fit / fit_transform permanece en el entrenamiento) [2]

• Guardar artefactos de preprocesamiento para que la inferencia pueda reutilizarlos [2]

Durante el entrenamiento

• Aplicar aumento aleatorio solo cuando sea apropiado (normalmente solo división de entrenamiento) [4]

• Mantener el preprocesamiento de la evaluación determinista [4]

• Realizar un seguimiento de los cambios de preprocesamiento como cambios de modelo (porque lo son)

Antes del despliegue

• Asegúrese de que la inferencia utilice la misma ruta de preprocesamiento y artefactos [2]

• Configurar el monitoreo de desviación/desviación (incluso las verificaciones de distribución de características básicas son de gran ayuda) [5]

---

Análisis profundo: errores comunes de preprocesamiento (y cómo evitarlos) 🧯

Error 1: “Voy a normalizar todo rápidamente” 😵

Si calcula los parámetros de escala en el conjunto de datos completo, perderá información de evaluación. Ajuste el tren y transforme el resto. [2]

Error 2: las categorías se desvían hacia el caos 🧩

Si la asignación de categorías cambia entre el entrenamiento y la inferencia, el modelo puede malinterpretar el mundo sin que nadie lo note. Mantenga las asignaciones fijas mediante artefactos guardados. [2]

Error 3: aumento aleatorio que se cuela en la evaluación 🎲

Las transformaciones aleatorias son geniales en el entrenamiento, pero no deberían estar "activadas en secreto" al intentar medir el rendimiento. (Aleatorio significa aleatorio). [4]

---

Observaciones finales 🧠✨

El preprocesamiento de IA es el arte disciplinado de convertir la realidad desordenada en entradas de modelo consistentes. Abarca la limpieza, la codificación, el escalado, la tokenización, la transformación de imágenes y, lo más importante, la creación de pipelines y artefactos repetibles.

• Realice el preprocesamiento deliberadamente, no de manera casual. [2]

• Dividir primero, ajustar las transformaciones solo en el entrenamiento, evitar fugas. [2]

• Utilice preprocesamiento apropiado para la modalidad (tokenizadores para texto, transformaciones para imágenes). [3][4]

• Monitoree las desviaciones o sesgos de la producción para que su modelo no se desvíe lentamente hacia el sinsentido. [5]

Y si alguna vez te quedas atascado, pregúntate:
"¿Seguiría teniendo sentido este paso de preprocesamiento si lo ejecutara mañana con datos completamente nuevos?".
Si la respuesta es "eh... ¿quizás?", ahí tienes la pista 😬

Ejemplo práctico: Creación de un sistema de preprocesamiento seguro contra fugas de información para la predicción de abandono de clientes

Guión

Imagina un pequeño equipo de SaaS que intenta predecir qué clientes tienen más probabilidades de cancelar en los próximos 30 días. Sus datos brutos se encuentran en tres lugares: exportaciones de facturación, registros de uso del producto y tickets de soporte.

La primera versión del modelo ofrece excelentes resultados en la validación, pero su rendimiento es deficiente al probarlo con datos de clientes de un mes reciente. El problema no reside en la arquitectura del modelo, sino en el preprocesamiento.

El equipo escaló accidentalmente las características numéricas utilizando el conjunto de datos completo, creó asignaciones de categorías a partir de datos de entrenamiento y prueba combinados, e incluyó etiquetas de tickets de soporte que se agregaron solo después de la cancelación. Una fuga de datos clásica. Doloroso, pero solucionable. [2]

Lo que necesita el oleoducto

Una configuración práctica incluiría:

• Esquema de entrada fijo: customer_id, plan_type, account_age_days, logins_30d, tickets_30d, last_payment_status, region

• Una división basada en el tiempo, como por ejemplo, entrenamiento de enero a septiembre y pruebas en octubre

• El escalado numérico se ajustó únicamente a la división de entrenamiento

• Codificadores categóricos ajustados únicamente en la división de entrenamiento

• Una canalización de preprocesamiento guardada para que la producción utilice las mismas asignaciones y valores de escala

• Supervisión básica de columnas faltantes, categorías no vistas y cambios de distribución después de la implementación

La regla fundamental es simple: primero dividir, luego preprocesar y ajustar. Todo lo que aprende de los datos debe aprender solo del período de entrenamiento. [2]

Ejemplo de instrucciones

Utilice esto como guía de trabajo para la etapa de preprocesamiento:

Cree una canalización de preprocesamiento para un modelo de predicción de abandono de clientes utilizando datos de facturación, uso y soporte. Divida los datos por tiempo antes de ajustar cualquier transformador. Ajuste escalares numéricos y codificadores categóricos solo en los datos de entrenamiento y luego aplique esas transformaciones ajustadas a los datos de validación y prueba. Guarde todos los artefactos de preprocesamiento para que el modelo de producción utilice el mismo esquema, asignaciones de categorías y parámetros de escala. Marque las columnas faltantes, los tipos de datos inesperados, las categorías no vistas y los cambios importantes en la distribución antes de la predicción.

Cómo probarlo

Antes de confiar en el modelo, pruebe el proceso de preprocesamiento con algunos registros deliberadamente problemáticos:

• Un cliente con un tipo de plan que no estaba presente en la capacitación

• Una fila con región o estado de último pago faltante

• Un cliente con un uso inusualmente alto, como 10.000 inicios de sesión en 30 días

• Un archivo de estilo de producción con las columnas en el orden incorrecto

• Un conjunto de prueba de un mes futuro que nunca se utilizó durante el ajuste

Luego, verifica tres cosas:

• ¿El proceso se ejecuta sin cambiar el orden de las características?

• ¿Se gestionan de forma coherente las categorías desconocidas?

• ¿Disminuye el rendimiento de la validación a un nivel más creíble después de eliminar la fuga de información?

Ese último punto es importante. Una puntuación de validación sospechosamente alta suele ser un indicio de problemas en el preprocesamiento, no un milagro.

Resultado

Resultado ilustrativo, basado en la medición del tiempo de ejecución de cinco muestras de preprocesamiento antes y después de convertir los pasos del cuaderno en una canalización guardada:

• El tiempo de preprocesamiento manual se redujo de 55 minutos por actualización del conjunto de datos a 8 minutos.

• Los errores en el orden de las características disminuyeron de 3 errores en 5 actualizaciones de prueba a 0 errores en 5 actualizaciones.

• La precisión de la validación disminuyó del 91% al 74% después de eliminar las fugas, pero la precisión de las pruebas del mes en curso mejoró del 62% al 71%.

• El equipo añadió 6 comprobaciones automatizadas: columnas faltantes, tipos no válidos, categorías no vistas, cambio en la tasa de valores nulos, cambio en el rango numérico y discrepancia en el esquema de servicio de trenes.

Estas cifras no constituyen un referente universal. Son el tipo de mediciones sencillas de antes y después que un equipo puede reproducir cronometrando las actualizaciones, contabilizando las ejecuciones fallidas y comparando los resultados de la validación con un mes futuro reservado.

¿Qué puede salir mal?

El mayor riesgo reside en aparentar que el proceso está limpio mientras se ocultan fugas de información. Por ejemplo, el aviso de "días desde la última cancelación" puede parecer valioso, pero si se envía solo después de una revisión interna de la tasa de abandono, podría filtrar información valiosa para el futuro.

Otras trampas comunes:

• Reconfigurar los codificadores en producción en lugar de cargar las asignaciones guardadas

• Permitir que las nuevas categorías cambien silenciosamente de posición en las características

• Pruebas en una división aleatoria cuando la tarea real se basa en el tiempo

• Se descartan las filas con valores faltantes durante el entrenamiento, pero no se tratan durante la inferencia

• Monitoreo de la precisión del modelo ignorando la deriva de entrada

Información práctica para llevar

Un buen proceso de preprocesamiento va más allá de simplemente ordenar los datos brutos. Protege el modelo de evaluaciones erróneas, entradas de producción defectuosas y desviaciones lentas y silenciosas. En el caso de un modelo de abandono de clientes, la diferencia entre un preprocesamiento inteligente y uno fiable suele radicar en si se reutilizan las mismas transformaciones ajustadas en cada ocasión, especialmente cuando los datos provienen de un mes que el modelo nunca ha visto antes.

---

Preguntas frecuentes

¿Qué es el preprocesamiento de IA, en términos simples?

El preprocesamiento de IA es un conjunto repetible de pasos que convierte datos brutos con ruido y alta varianza en entradas consistentes de las que un modelo puede aprender. Puede incluir la limpieza, la validación, la codificación de categorías, el escalado de valores numéricos, la tokenización de texto y la aplicación de transformaciones de imágenes. El objetivo es garantizar que la inferencia de entrenamiento y producción detecte el mismo tipo de entrada, para que el modelo no adquiera un comportamiento impredecible posteriormente.

¿Por qué es tan importante el preprocesamiento de IA en la producción?

El preprocesamiento es importante porque los modelos son sensibles a la representación de entrada. Si los datos de entrenamiento se escalan, codifican, tokenizan o transforman de forma distinta a los datos de producción, se pueden producir fallos de desajuste de entrenamiento/servicio que parecen correctos sin conexión, pero que fallan silenciosamente en línea. Un buen preprocesamiento también reduce el ruido, mejora la estabilidad del aprendizaje y acelera la iteración, ya que no se trata de desenredar la complejidad de los cuadernos.

¿Cómo puedo evitar la fuga de datos durante el preprocesamiento?

Una regla sencilla funciona: cualquier paso de ajuste debe ajustarse únicamente con los datos de entrenamiento. Esto incluye escaladores, codificadores y tokenizadores que aprenden parámetros como medias, mapas de categorías o vocabularios. Primero se dividen los datos, se ajusta la división con los datos de entrenamiento y, a continuación, se transforman los datos de validación/prueba utilizando el transformador ajustado. Las fugas de datos pueden hacer que la validación parezca "mágicamente" buena y luego colapsar en producción.

¿Cuáles son los pasos de preprocesamiento más comunes para datos tabulares?

Para datos tabulares, la secuencia de comandos habitual incluye limpieza y validación (tipos, rangos, valores faltantes), codificación categórica (one-hot u ordinal) y escalamiento numérico (estandarización o mínimo-máximo). Muchas secuencias de comandos añaden ingeniería de características basada en dominios, como ratios, ventanas móviles o recuentos. Una práctica práctica es definir grupos de columnas explícitamente (numéricos, categóricos e identificadores) para que las transformaciones mantengan la coherencia.

¿Cómo funciona el preprocesamiento de los modelos de texto?

El preprocesamiento de texto generalmente implica la tokenización en tokens/subpalabras, su conversión en identificadores de entrada y la gestión del relleno/truncamiento para el procesamiento por lotes. Muchos flujos de trabajo de transformadores también crean una máscara de atención junto con los identificadores. Un enfoque común es utilizar la configuración esperada del tokenizador del modelo en lugar de improvisar, ya que pequeñas diferencias en la configuración del tokenizador pueden generar resultados del tipo "se entrena, pero se comporta de forma impredecible".

¿Qué tiene de diferente el preprocesamiento de imágenes para el aprendizaje automático?

El preprocesamiento de imágenes suele garantizar la consistencia de las formas y el manejo de píxeles: redimensionamiento/recorte, normalización y una clara distinción entre transformaciones deterministas y aleatorias. Para la evaluación, las transformaciones deben ser deterministas para que las métricas sean comparables. Para el entrenamiento, el aumento aleatorio (como los recortes aleatorios) puede mejorar la robustez, pero la aleatoriedad debe limitarse intencionalmente a la división de entrenamiento, no dejarse activa accidentalmente durante la evaluación.

¿Qué hace que un flujo de trabajo de preprocesamiento sea “bueno” en lugar de frágil?

Una buena canalización de preprocesamiento de IA es reproducible, a prueba de fugas y observable. Reproducible significa que la misma entrada produce la misma salida, a menos que la aleatoriedad sea un aumento intencional. A prueba de fugas significa que los pasos de ajuste nunca afectan la validación/prueba. Observable significa que se pueden inspeccionar estadísticas como datos faltantes, recuentos de categorías y distribuciones de características, de modo que la depuración se basa en evidencia, no en intuiciones. Las canalizaciones siempre superan a las secuencias de cuadernos improvisadas.

¿Cómo puedo mantener la coherencia en el preprocesamiento del entrenamiento y la inferencia?

La clave es reutilizar exactamente los mismos artefactos aprendidos en la inferencia: parámetros del escalador, asignaciones del codificador y configuraciones del tokenizador. También se necesita un contrato de entrada (columnas, tipos y rangos esperados) para que los datos de producción no se desvíen silenciosamente hacia formas no válidas. La consistencia no se trata solo de "realizar los mismos pasos", sino de "realizar los mismos pasos con los mismos parámetros y asignaciones ajustados"

¿Cómo puedo monitorear problemas de preprocesamiento como desviaciones y sesgos a lo largo del tiempo?

Incluso con una canalización sólida, los datos de producción cambian. Un enfoque común consiste en monitorizar los cambios en la distribución de características y alertar sobre sesgos en el servicio de entrenamiento (desviaciones de la producción respecto al entrenamiento) y desviaciones de inferencia (cambios de producción con el tiempo). La monitorización puede ser ligera (verificaciones básicas de distribución) o gestionada (como Vertex AI Model Monitoring). El objetivo es detectar los cambios de entrada de forma temprana, antes de que reduzcan lentamente el rendimiento del modelo.

Referencias

[1] API de scikit-learn: sklearn.preprocessing (codificadores, escaladores, normalización)
[2] scikit-learn: Errores comunes: fugas de datos y cómo evitarlas
[3] Documentación de Hugging Face Transformers: Tokenizadores (ID de entrada, máscaras de atención)
[4] Documentación de PyTorch Torchvision: Transformaciones (redimensionar/normalizar + transformaciones aleatorias)
[5] Documentación de Google Cloud Vertex AI: Descripción general de la monitorización del modelo (desviación y asimetría de características)

Encuentra la última IA en la tienda oficial de AI Assistant

Sobre nosotros