D
Machine Learning aplicado M10 avanzado 55 min

Capitulo 10

ML Lab II: modelado y métricas

De una línea y una probabilidad a una decisión evaluada con validación y costos de error

Entiende regresión lineal y logística, funciones de pérdida y ensembles; interpreta matriz de confusión, precision, recall, F1 y ROC-AUC; valida con cross-validation y ajusta hiperparámetros sin contaminar el test final.

Una métrica no es el objetivo del negocio

La métrica resume cierto comportamiento del modelo; la decisión define qué errores son aceptables y cuánto cuesta cada uno. Selecciona el modelo después de acordar esa relación con quien usará sus predicciones.

Elige la métrica desde el costo del error; elige el umbral desde la capacidad de actuar.

— Regla de evaluación

10.1 Qué aprenderás

Este capítulo corresponde al Módulo 11 del PDF: ML Lab II. Al terminar podrás:

  • Explicar qué aproxima una regresión lineal y cómo la logística convierte un score en probabilidad.
  • Entender pérdida, ajuste y regularización a nivel conceptual.
  • Comparar árboles ensamblados por bagging, boosting y stacking.
  • Elegir e interpretar métricas de clasificación según el problema.
  • Separar train, validación y test; usar validación cruzada y GridSearchCV de forma segura.
  • Reportar incertidumbre, límites y costos, no solo una cifra atractiva.

El preprocesamiento está en M9. El ejemplo conductor es churn de telecomunicaciones: queremos identificar clientes que podrían cancelar para evaluar acciones de retención, no etiquetar personas como «malos clientes».

10.2 Regresión lineal y logística: dos tareas distintas

Regresión lineal

Para una respuesta numérica continua, la regresión lineal aproxima una combinación de variables:

ŷ = β₀ + β₁x₁ + β₂x₂ + ... + βₚxₚ

β₀ es el intercepto; cada βⱼ expresa cómo cambia la predicción al variar xⱼ una unidad, manteniendo las demás constantes, bajo las limitaciones del modelo. El ajuste busca reducir errores (habitualmente, suma de cuadrados). Un valor extremo puede dominar el error cuadrático; por eso evalúa residuos y considera MAE/RMSE según el costo de equivocarse.

Regresión logística

Aunque se llame «regresión», la logística se usa para clasificación. Calcula un score lineal y lo transforma con la función sigmoide en una probabilidad entre 0 y 1:

z = β₀ + β₁x₁ + ... + βₚxₚ
P(y = 1 | x) = 1 / (1 + e^(−z))

El clasificador compara esa probabilidad con un umbral. El 0.5 predeterminado es una convención, no una ley. El entrenamiento suele minimizar log-loss (binary cross-entropy), que penaliza con fuerza predicciones seguras pero incorrectas. La regularización controla coeficientes grandes y ayuda a reducir sobreajuste; su fuerza se ajusta como hiperparámetro.

10.3 Ensembles: juntar modelos con una estrategia

FamiliaIdeaEjemploCuidado
BaggingEntrenar modelos en muestras bootstrap y combinar resultados para reducir varianzaRandom ForestPierde algo de simplicidad interpretativa; revisar profundidad y balance
BoostingEntrenar secuencialmente, dando atención a errores previosGradient Boosting, HistGradientBoostingPuede sobreajustar si la tasa, profundidad o rondas no se controlan
StackingCombinar predicciones de modelos base mediante un meta-modeloLogística sobre probabilidades de bosque y boostingEl meta-modelo debe entrenarse con predicciones out-of-fold, no con predicciones sobre el mismo train

Más complejidad no garantiza mejor generalización. Empieza con un baseline y una regresión logística; añade un ensemble solo si mejora una métrica relevante en validación y el costo operativo se justifica.

10.4 Matriz de confusión: contar el tipo de error

Para una clase positiva Churn=Yes:

Predijo NoPredijo Yes
Real NoVerdadero negativo (TN)Falso positivo (FP)
Real YesFalso negativo (FN)Verdadero positivo (TP)
Matriz de confusión de churn: 747 verdaderos negativos, 288 falsos positivos, 81 falsos negativos y 293 verdaderos positivos; precision relaciona TP con FP y recall con FN.
La matriz permite discutir el costo de cada error: contactar sin necesidad (FP) frente a no detectar una cancelación (FN). Cifras de la ejecución didáctica descrita en este módulo.
  • Accuracy: (TP + TN) / total; puede engañar si una clase domina.
  • Precision: TP / (TP + FP); de los clientes que marcaré, ¿cuántos cancelan?
  • Recall: TP / (TP + FN); de quienes cancelan, ¿a cuántos detecto?
  • F1: media armónica de precision y recall; no incorpora por sí sola el costo monetario.
  • ROC-AUC: capacidad de ordenar positivos por encima de negativos a través de umbrales; no informa calibración ni el costo operativo en un punto concreto.

Si una acción de retención cuesta dinero, un falso positivo puede ser una llamada innecesaria. Un falso negativo puede significar perder un cliente. El umbral apropiado depende de esos costos, de la capacidad de contacto y de políticas éticas de uso.

from sklearn.metrics import (
    ConfusionMatrixDisplay,
    classification_report,
    roc_auc_score,
)

probabilidades = modelo.predict_proba(X_test)[:, 1]
umbral = 0.40  # elegir con validación y capacidad operativa, no con test
predicciones = (probabilidades >= umbral).astype(int)

print(classification_report(y_test, predicciones, zero_division=0))
print("ROC-AUC:", roc_auc_score(y_test, probabilidades))
ConfusionMatrixDisplay.from_predictions(y_test, predicciones)

roc_auc_score recibe scores/probabilidades, no las etiquetas binarias obtenidas tras aplicar el umbral. Ajusta el umbral en validación. El test se mantiene intacto hasta la decisión final.

10.5 Validación cruzada y búsqueda de hiperparámetros

Una partición puede ser afortunada o desfavorable. La validación cruzada divide el conjunto de desarrollo en folds: cada fold sirve una vez como validación y el resto como entrenamiento. El promedio estima desempeño y la variación entre folds muestra estabilidad.

Para datos independientes e i.i.d. puede usarse StratifiedKFold en clasificación. Para series temporales, entidades repetidas o grupos relacionados, usa una estrategia que respete tiempo o grupos; un split aleatorio podría filtrar información.

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GridSearchCV, StratifiedKFold
from sklearn.pipeline import Pipeline

# `preprocessor` viene de M9 y está dentro del estimador evaluado.
pipeline = Pipeline([
    ("preprocesamiento", preprocessor),
    ("modelo", LogisticRegression(class_weight="balanced", max_iter=2000)),
])

cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
search = GridSearchCV(
    estimator=pipeline,
    param_grid={"modelo__C": [0.01, 0.1, 1.0, 10.0]},
    scoring="recall",
    cv=cv,
    n_jobs=-1,
    refit=True,
)
search.fit(X_train, y_train)
best_model = search.best_estimator_

La búsqueda recibe X_train y y_train; el preprocesador se reajusta dentro de cada fold, evitando fuga. El test no participa en la selección. C controla la regularización inversamente: valores más pequeños implican regularización más fuerte.

Si exploras muchos modelos, múltiples métricas y umbrales, puedes sobreajustar también el proceso de selección. Limita búsquedas, registra decisiones y reserva una evaluación final. Para estudios de alto impacto, considera validación anidada y análisis de incertidumbre.

10.6 Ejemplo de churn y lectura honesta de resultados

La pre-entrega local trabaja con Telco Customer Churn, 7.043 clientes, split estratificado 80/20 y Regresión Logística con pesos balanceados. Los resultados registrados son:

MétricaResultado
Accuracy0.738
Precision (Churn=Yes)0.504
Recall (Churn=Yes)0.783
F1 (Churn=Yes)0.614

La matriz [[747, 288], [81, 293]] usa filas reales (No, Yes) y columnas predichas (No, Yes). El modelo detectó 293 abandonos, dejó 81 sin detectar y marcó 288 clientes que permanecieron. Ese recall relativamente alto tiene un costo: muchas alertas resultan falsas. No es «mejor» o «peor» sin comparar el costo de las acciones y una alternativa baseline.

Estos números pertenecen a una ejecución didáctica concreta. No prueban que el modelo funcione igual en otra muestra, población, momento ni decisión real. La fecha de corte y el horizonte de churn forman parte de la definición del target.

Recall

M10

Proporción de casos positivos reales que el clasificador identifica: TP / (TP + FN).

Ej: Un recall de 0.783 para churn significa que el modelo encontró cerca del 78.3 % de los abandonos del conjunto evaluado; no dice cuántas alertas fueron correctas.

#metricas #clasificacion #churn

10.7 Mejores prácticas antes de aceptar un modelo

Elegir accuracy por costumbre
✗ Reportar solo accuracy en datos desbalanceados.
✓ Mostrar matriz, precision, recall, F1 y la métrica vinculada a la decisión.
Ajustar umbral con test
✗ Probar decenas de umbrales sobre X_test y elegir el más atractivo.
✓ Seleccionar umbral con validación y medirlo una sola vez en test.
Preprocesar antes de cross-validation
✗ Ajustar scaler/imputador una vez sobre todo el train y luego hacer folds.
✓ Encapsular transformación y estimador en un Pipeline dentro de GridSearchCV.
Confundir AUC con calidad operativa
✗ Asumir que AUC alto garantiza buena calibración o beneficio.
✓ Revisar umbral, calibración, matriz, prevalencia, costo y capacidad de intervención.
Ocultar errores tras una media
✗ Mostrar el mejor fold sin mencionar variabilidad.
✓ Reportar promedio, dispersión, protocolo de validación y límites del conjunto.
Elige un umbral según el costo de retención avanzado

Parte de las probabilidades del modelo de churn. En el conjunto de validación compara umbrales entre 0.20 y 0.80; para cada uno calcula TP, FP, FN, precision, recall y el número de clientes que el equipo podría contactar. Define costos ilustrativos para contacto y abandono, selecciona una regla defendible y evalúala una vez en test. Explica qué decisión cambiaría si la capacidad de contacto se reduce a la mitad.

💡 Cada fold debe aprender su propia mediana y sus propias categorías.

Q: ¿Cómo explicarías un modelo con recall alto y precision baja?

Detecta muchos positivos reales, pero también genera muchas alertas falsas. Es útil cuando omitir positivos cuesta más que revisar alertas, siempre que exista capacidad de actuación y que el costo esté aceptado por el negocio.

🪤 Afirmar que recall alto significa que la mayoría de las alertas son correctas; eso lo describe precision.

Para continuar

Ya sabes medir el comportamiento de un modelo. M11 cambia de escala: aprenderás a convertir datos y métricas en visuales legibles que ayuden a una persona a entender una decisión.

Tu espacio de estudio

Notas privadas

Se guardan solo en este navegador y no se publican.

Sin cambios