D
Machine Learning aplicado M9 avanzado 55 min

Capitulo 09

ML Lab I: exploración, preprocesamiento y pipelines

Del diagnóstico del dataset a una transformación reproducible, ajustada sin fuga de información

Explora calidad, distribuciones y relaciones; decide cómo tratar faltantes y extremos; usa PCA con criterio y construye transformadores y pipelines de Scikit-Learn que aprenden solo de train.

Primero pregunta por qué falta; luego decide qué hacer

Un valor ausente puede ser un error de captura, una respuesta no aplicable o una señal del proceso. Imputarlo sin investigar puede esconder un patrón importante. El preprocesamiento empieza como trabajo de dominio y termina como transformación reproducible.

Explora con todos los datos permitidos; aprende parámetros de transformación solo con entrenamiento.

— Principio de preprocesamiento

9.1 Mapa: de datos crudos a una matriz para el modelo

Este capítulo corresponde al Módulo 10 del PDF: ML Lab I. Al terminar podrás:

  • Auditar filas, tipos, nulos, duplicados, rangos y distribuciones.
  • Diferenciar patrones de ausencia y escoger una estrategia justificable.
  • Investigar outliers sin borrarlos automáticamente.
  • Leer relaciones con gráficos univariados y multivariados.
  • Aplicar escalado y PCA sin fuga de información.
  • Crear features y transformadores reutilizables.
  • Encadenar imputación, codificación, escalado y transformaciones con Pipeline y ColumnTransformer.

La preparación inicial y la división train/test aparecieron en M3. Aquí profundizamos las decisiones. El entrenamiento y la elección de métricas se trabajan en M10: ML Lab II.

9.2 EDA: diagnosticar antes de transformar

Un análisis exploratorio de datos (EDA) no es una galería de gráficos. Es una secuencia de preguntas para decidir si los datos pueden responder el problema:

  1. ¿Qué representa una fila y cuál es el período cubierto?
  2. ¿Qué columnas son identificadores, mediciones, categorías, fechas o target?
  3. ¿Hay duplicados, valores imposibles o unidades mezcladas?
  4. ¿Cómo se distribuyen las variables? ¿Qué relaciones parecen relevantes?
  5. ¿Los grupos de entrenamiento y evaluación reflejan el proceso real de uso?
import pandas as pd

df = pd.read_csv("data/clientes.csv")
if "TotalCharges" in df.columns:
    df["TotalCharges"] = pd.to_numeric(df["TotalCharges"], errors="coerce")  # formato Telco: vacíos pasan a NaN

print(df.shape)
print(df.dtypes)
print(df.isna().mean().sort_values(ascending=False).head(10))
print(df.nunique(dropna=False).sort_values().head(10))
print(df.describe(include="all").T)
print("Duplicados exactos:", df.duplicated().sum())

El perfil automático —por ejemplo, ydata-profiling o Sweetviz— ayuda a detectar patrones iniciales, no reemplaza la validación del significado. Revisa tamaño, tiempo de ejecución, sensibilidad de los datos y compatibilidad con las versiones del proyecto antes de agregarlo como dependencia.

Mira las distribuciones y las relaciones

import matplotlib.pyplot as plt
import seaborn as sns

sns.histplot(data=df, x="monthly_charges", hue="churn", stat="density", common_norm=False)
plt.title("Cargos mensuales por estado de churn")
plt.show()

sns.pairplot(df[["tenure", "monthly_charges", "total_charges", "churn"]], hue="churn")
plt.show()

Los histogramas muestran forma, asimetría y concentraciones. pairplot compara pares numéricos; una matriz de correlación resume asociaciones lineales, pero no demuestra causalidad ni descubre toda relación no lineal. Los heatmaps son un resumen, no una explicación: valida sus patrones con gráficos y conocimiento del dominio.

9.3 Datos faltantes: estrategia según mecanismo y uso

No todo NaN significa lo mismo:

PatrónIntuiciónEjemploRiesgo
MCARAusencia independiente de los valores y del grupoSe perdió una fila por una falla aleatoriaPuede reducir potencia y sesgar si no es realmente aleatorio
MARLa ausencia depende de variables observadasIngresos faltan más en una región registradaPuede modelarse condicionando en esas variables
MNARLa ausencia depende del valor no observadoUsuarios con deuda alta omiten la respuestaImputar con una mediana puede ocultar precisamente la señal

El mecanismo no siempre puede demostrarse solo con el dataset. Cruza indicadores de ausencia con variables disponibles y consulta cómo se generó la información.

  • Eliminar filas: razonable si son pocas, la pérdida no introduce sesgo y queda documentada.
  • Imputar mediana/moda: baseline robusto para una primera solución; aprende solo en train.
  • Imputar con grupo: útil si hay una regla de negocio defendible; el grupo debe conocerse al predecir.
  • Indicador de ausencia: conserva la señal de que faltaba el dato, cuando esa ausencia puede ser informativa.
  • Imputación avanzada: KNN o modelos múltiples pueden ser apropiados, pero añaden supuestos y costo; no garantizan menos sesgo.

9.4 Outliers: validar, explicar y recién después tratar

Un extremo puede ser un error (edad = 900), una unidad mal interpretada (centavos como dólares) o un caso real importante (una transacción de alto valor). Un boxplot o el rango intercuartílico (IQR) marca candidatos, no autoriza borrarlos.

Para IQR, Q1 − 1.5 × IQR y Q3 + 1.5 × IQR son límites de exploración. Considera, en este orden:

  1. Validar reglas físicas y de negocio.
  2. Corregir unidades o parseo si existe evidencia.
  3. Mantener el valor si es real y relevante.
  4. Usar una transformación robusta o limitar el efecto solo con criterio documentado.
  5. Comparar resultados con y sin el tratamiento en validación, no en el test final.

RobustScaler usa mediana y rango intercuartílico; reduce la sensibilidad de la escala, pero no convierte un dato incorrecto en válido. Los límites deben aprenderse dentro del pipeline de entrenamiento.

9.5 Escalado, codificación y PCA

Modelos basados en distancias o gradientes suelen ser sensibles a la escala. Las categorías necesitan codificación adecuada; un identificador como customer_id normalmente se excluye, porque sus números no representan magnitud.

TransformaciónQué haceCuándo considerar
StandardScalerCentra en media y divide por desviación estándarRegresión logística, SVM, PCA y distancias; sensible a extremos
RobustScalerCentra en mediana y escala por IQRVariables con extremos reales que no conviene recortar
OneHotEncoderCrea indicadores por categoríaCategorías sin orden natural
OrdinalEncoderAsigna códigos ordenadosSolo cuando el orden tiene significado y se modela explícitamente
PCAProyecta sobre componentes ortogonales de máxima varianzaReducir dimensionalidad de variables numéricas escaladas; no explica causalidad

PCA produce combinaciones lineales de variables. La varianza explicada mide dispersión capturada, no importancia de negocio ni información predictiva garantizada. Ajusta escalador y PCA dentro de train o de cada fold.

from sklearn.decomposition import PCA
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

pca_numerico = Pipeline([
    ("escala", StandardScaler()),
    ("pca", PCA(n_components=0.95)),
])

# pca_numerico.fit(X_train_numerico)
# X_train_reducido = pca_numerico.transform(X_train_numerico)
# X_validacion_reducida = pca_numerico.transform(X_validacion_numerico)

9.6 Ingeniería de features y transformadores

Una feature debería representar una hipótesis explicable. Para churn, por ejemplo, cargos_mensuales / antiguedad puede aproximar una presión de costo relativa, pero hay que manejar antigüedad cero y comprobar que el cálculo tenga sentido para la decisión.

Cuando un cálculo es parte del preprocesamiento, conviene encapsularlo para que entrenamiento y predicción apliquen exactamente la misma regla:

import numpy as np
from sklearn.base import BaseEstimator, TransformerMixin

class CargosPorAntiguedad(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        return self

    def transform(self, X):
        values = X.to_numpy() if hasattr(X, "to_numpy") else X
        cargos = values[:, 0].astype(float)
        meses = values[:, 1].astype(float)
        return (cargos / np.maximum(meses, 1)).reshape(-1, 1)

    def get_feature_names_out(self, input_features=None):
        return np.array(["cargos_por_mes_de_antiguedad"], dtype=object)

El transformador no aprende estadísticas, por eso fit solo devuelve la instancia. Si la transformación estima umbrales, promedios, categorías o parámetros, debe aprenderlos en fit y reutilizarlos en transform.

9.7 Pipeline y ColumnTransformer: una receta sin fuga

El siguiente ejemplo trabaja con columnas de clientes. Sustituye los nombres por los del dataset y excluye identificadores y el target de X.

from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler

numeric_features = ["SeniorCitizen", "TotalCharges"]
categorical_features = ["Contract", "InternetService"]

numeric_pipeline = Pipeline([
    ("imputer", SimpleImputer(strategy="median", add_indicator=True)),
    ("scaler", StandardScaler()),
])

categorical_pipeline = Pipeline([
    ("imputer", SimpleImputer(strategy="most_frequent")),
    ("one_hot", OneHotEncoder(handle_unknown="ignore")),
])

preprocessor = ColumnTransformer([
    ("numeric", numeric_pipeline, numeric_features),
    ("categorical", categorical_pipeline, categorical_features),
    ("derived", CargosPorAntiguedad(), ["MonthlyCharges", "tenure"]),
], remainder="drop")

ColumnTransformer aplica una rama por tipo de columna; el Pipeline interno conserva el orden entre imputación y escalado. handle_unknown="ignore" evita fallar por una categoría nueva, pero no reemplaza el monitoreo de categorías desconocidas.

El split es una frontera de información

No calcules imputaciones, escalas, categorías frecuentes, selección de variables ni componentes PCA con todo el dataset antes de separar entrenamiento y prueba. Incluye las transformaciones aprendibles en el pipeline y ajusta con X_train.

Primero se separan train, validación y test; el imputador, codificador y escalador se ajustan solo con train y luego transforman los otros conjuntos sin reajustarse.
El ajuste aprende parámetros de train; validación y test solo reciben transform. Así evitamos que información de evaluación influya en el preprocesamiento.

9.8 Errores comunes y verificación

Borrar todos los extremos
✗ Eliminar cada punto fuera de 1.5 × IQR.
✓ Investigar la causa, validar dominio y comparar tratamientos sin mirar el test final.
Imputar antes del split
✗ df.fillna(df.median()) sobre todas las filas.
✓ Usar SimpleImputer dentro del pipeline que se ajusta en train.
Usar PCA sin escalar
✗ Aplicar PCA directamente a variables en unidades muy distintas.
✓ Escalar dentro de train y explicar que PCA maximiza varianza, no relevancia de negocio.
Codificar categorías como si tuvieran orden
✗ Convertir contrato mensual/anual en 0/1 sin justificar la distancia.
✓ Usar One-Hot o una codificación ordinal con orden semántico explícito.
Audita el Titanic antes de modelar avanzado

Con el CSV Titanic de la pre-entrega local M9, clasifica columnas por tipo, mide faltantes y duplicados, inspecciona distribuciones de Age y Fare, y justifica qué hacer con Cabin, Embarked y extremos de tarifa. Después construye las ramas numérica y categórica en un ColumnTransformer, divide antes de ajustar y comprueba que el pipeline prediga filas nuevas con una categoría no vista.

💡 Piensa en qué conjunto aprende la mediana y la escala.

Q: ¿Cuándo elegirías PCA y qué precaución aplicarías?

Lo evaluaría para reducir variables numéricas correlacionadas o costo de cómputo, después de escalar. Lo ajustaría dentro de cada fold de entrenamiento y revisaría si la reducción conserva desempeño y utilidad interpretativa.

🪤 Decir que los componentes principales son las variables más importantes o que explican causalidad.

Para continuar

M9 convierte datos heterogéneos en entradas consistentes. En M10 usarás esas transformaciones dentro del entrenamiento, compararás modelos y elegirás métricas según el costo real de cada error.

Tu espacio de estudio

Notas privadas

Se guardan solo en este navegador y no se publican.

Sin cambios