D
Estadística aplicada M14 avanzado 48 min

Capitulo 14

Distribuciones categóricas, outliers y pruebas

Resume grupos con contexto y contrasta hipótesis sin convertir un p-valor en veredicto

Resume y visualiza variables categóricas, investiga extremos numéricos, usa transformaciones univariadas con sentido y selecciona pruebas paramétricas o no paramétricas según el diseño y los supuestos.

Una prueba responde una pregunta acotada

El p-valor no es la probabilidad de que la hipótesis nula sea verdadera ni mide importancia práctica. Interpreta la prueba junto con diseño, tamaño de efecto, incertidumbre y consecuencias de la decisión.

Resume antes de contrastar; valida los supuestos antes de confiar en el número.

— Principio de estadística aplicada

14.1 Categorías: conteos, proporciones y orden

Una variable categórica etiqueta observaciones en grupos. Puede ser nominal (canal, región), ordinal (nivel de satisfacción) o binaria (sí/no). Antes de resumirla, comprueba categorías escritas de varias formas, valores desconocidos y tamaños de grupo.

Este capítulo corresponde al Módulo 15 del PDF: Visualización de variables categóricas, incluyendo sus temas de distribuciones, extremos y pruebas.

import pandas as pd

counts = df["contract"].value_counts(dropna=False)
summary = pd.DataFrame({
    "customers": counts,
    "share": counts / len(df),
})
print(summary)

Los conteos responden «¿cuántos?»; la proporción responde «¿qué parte del total?». Para comparar regiones o períodos de tamaño diferente, normalmente necesitas proporciones o tasas además de conteos. Indica el denominador y evita ocultar grupos pequeños en porcentajes llamativos.

import seaborn as sns
import matplotlib.pyplot as plt

order = df["contract"].value_counts().index
ax = sns.countplot(data=df, y="contract", order=order, color="#087e8b")
ax.set(title="Clientes por tipo de contrato", xlabel="Clientes", ylabel="Contrato")
plt.tight_layout()
plt.show()

Para comparar tasas por grupo, agrega explícitamente numerador y denominador:

rates = (
    df.groupby("contract", as_index=False)
      .agg(churned=("churn", "sum"), customers=("churn", "size"))
)
rates["churn_rate"] = rates["churned"] / rates["customers"]

No mezcles una categoría «desconocida» con una categoría real. Decide si el nulo es una clase informativa y presenta ambas opciones en la exploración.

14.2 Outliers y transformaciones univariadas

Los extremos afectan de forma distinta a media, mediana, varianza, mínimos/máximos y modelos. Para detectarlos, combina histograma, boxplot, percentiles y reglas de dominio; un umbral automático es una alarma, no una orden de borrado.

La zona A tiene más eventos pero menor tasa que B al considerar población. Un punto fuera del boxplot se investiga: se corrige si es error o se conserva si es real.
Los conteos sin denominador pueden invertir la comparación; los extremos requieren validación de dominio antes de corregir, conservar o transformar.

El logaritmo puede reducir asimetría positiva en variables no negativas, como monto de compra. log1p(x) calcula log(1+x) y permite ceros. No aplica directamente a valores negativos; para datos con signos puede evaluarse una transformación Yeo–Johnson.

import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

if (df["purchase_amount"].dropna() < 0).any():
    raise ValueError("log1p requiere valores no negativos en este ejemplo")

df["log_purchase_amount"] = np.log1p(df["purchase_amount"])
fig, axes = plt.subplots(1, 2, figsize=(10, 4))
sns.histplot(df["purchase_amount"], ax=axes[0])
axes[0].set(title="Monto original", xlabel="Monto")
sns.histplot(df["log_purchase_amount"], ax=axes[1])
axes[1].set(title="log(1 + monto)", xlabel="log1p(monto)")
plt.tight_layout()
plt.show()

La transformación cambia la escala y la interpretación de diferencias. No la uses solo para que el gráfico parezca «normal». En inferencia, explica la escala transformada; en ML, ajusta transformaciones que aprenden parámetros dentro del pipeline del fold.

14.3 Hipótesis, significancia y supuestos

Un contraste formal comienza con:

  • Hipótesis nula (H₀): patrón o diferencia que se compara con los datos.
  • Alternativa (H₁): diferencia o asociación relevante según la pregunta.
  • Nivel α: umbral de error tipo I elegido antes del análisis; por convención se ve 0.05, pero no es universal.
  • Estadístico y p-valor: resumen del grado de compatibilidad entre los datos y H₀ bajo los supuestos del modelo.

Un p-valor pequeño no mide tamaño del efecto ni probabilidad de que H₀ sea cierta. Un p-valor grande tampoco prueba igualdad. Considera potencia, tamaño muestral, sesgo de selección, intervalos de confianza y relevancia práctica.

Elegir una prueba según el diseño

Pregunta y datosPosible pruebaSupuestos / cuidado
Comparar medias de dos grupos independientest de WelchObservaciones independientes; distribución de la media suficientemente estable
Comparar dos grupos independientes con fuerte asimetría/ordinalMann–Whitney UCompara rangos; no siempre es una prueba de igualdad de medianas
Comparar más de dos grupos independientesANOVA de Welch o Kruskal–WallisMúltiples comparaciones requieren ajuste y contexto
Asociación entre dos variables categóricasChi-cuadrado de independenciaFrecuencias esperadas adecuadas; si son pequeñas, considera prueba exacta
Dos mediciones pareadast pareada o Wilcoxon de rangos con signoLas filas deben estar emparejadas por sujeto/unidad

No elijas una prueba solo porque los datos «no parecen normales». Pregunta cómo se muestrearon, si los grupos son independientes, cuál es la unidad estadística y qué hipótesis práctica se quiere contrastar.

from scipy.stats import mannwhitneyu

monthly = df.loc[df["contract"] == "Monthly", "monthly_charges"].dropna()
annual = df.loc[df["contract"] == "Annual", "monthly_charges"].dropna()

result = mannwhitneyu(monthly, annual, alternative="two-sided")
print("U:", result.statistic, "p:", result.pvalue)

El código calcula una prueba; no determina si la diferencia importa ni controla variables de confusión. Acompáñala con distribuciones, tamaños de grupo y una medida de efecto apropiada.

Muchas pruebas

Si pruebas cientos de variables y reportas solo las que dan p < 0.05, aumentan los falsos positivos. Define hipótesis antes del análisis cuando sea posible, reporta todas las pruebas relevantes y considera ajustes como Benjamini–Hochberg para controlar la tasa de descubrimientos falsos.

p-valor

M14

Probabilidad, bajo la hipótesis nula y los supuestos del modelo, de observar un estadístico al menos tan extremo como el obtenido.

Ej: Un p-valor de 0.03 no significa que haya 3 % de probabilidad de que H₀ sea verdadera ni que el efecto tenga importancia comercial.

#estadistica #hypothesis-testing #interpretacion

14.4 Ruta de análisis para una comparación

  1. Especifica variable, grupos, unidad de análisis y periodo.
  2. Resume conteos, nulos y tamaños de grupo.
  3. Grafica distribuciones y valores extremos; confirma que cada fila es independiente o define pares/grupos.
  4. Escribe H₀, H₁, α y la métrica de efecto antes de leer el resultado.
  5. Comprueba supuestos y selecciona una prueba compatible.
  6. Reporta estadístico, p-valor, tamaño de efecto, incertidumbre y limitaciones.
  7. Si tomas una decisión, conecta la regla con costos y evidencia adicional.
Llamar anómalo a todo punto fuera de un boxplot
✗ Borrar observaciones fuera de 1.5 × IQR sin revisarlas.
✓ Validar origen, dominio y sensibilidad; registrar la regla si se transforma o excluye.
Leer p como tamaño de efecto
✗ Concluir que p pequeño significa diferencia grande.
✓ Reportar una medida de efecto y un intervalo en unidades comprensibles.
Aplicar log a valores negativos
✗ Usar np.log directamente sobre importes que incluyen devoluciones.
✓ Revisar el dominio, considerar Yeo–Johnson o separar el proceso de devoluciones.
Ignorar los grupos pequeños
✗ Mostrar una tasa extrema basada en cuatro observaciones como concluyente.
✓ Mostrar denominadores, incertidumbre y reglas para no sobreinterpretar muestras pequeñas.
Compara churn por tipo de contrato avanzado

Con los datos de clientes, visualiza conteos y proporciones de churn por contrato, reporta tamaño de cada grupo y faltantes y formula una hipótesis antes del test. Decide si la unidad es independiente, selecciona una prueba para proporciones o distribuciones compatible con la pregunta, calcula una medida de efecto e interpreta el resultado sin inferir causalidad. Repite la visualización tras excluir y conservar categorías desconocidas, explicando el cambio.

💡 La interpretación está condicionada a H₀ y sus supuestos.

Q: ¿Qué revisarías antes de usar una prueba no paramétrica?

Definiría la unidad y el diseño, verificaría independencia o emparejamiento, entendería qué compara el estadístico (rangos o distribuciones) y reportaría efecto, incertidumbre y limitaciones; no la elegiría como sustituto automático de revisar los supuestos.

🪤 Afirmar que Mann–Whitney siempre compara medianas y nunca requiere supuestos.

Para continuar

M14 compara distribuciones y grupos. En M15 estudiarás asociaciones entre variables y cómo la colinealidad puede volver inestables las explicaciones de un modelo.

Tu espacio de estudio

Notas privadas

Se guardan solo en este navegador y no se publican.

Sin cambios