Unidad 4 - Fundamentos de Machine Learning

Analítica para los negocios · Semana 10 · 06327-ECO

@emartigo Eduard F. Martínez G. eduard-martinez eduard-martinez.github.io

1 Cómo estudiar esta semana

Antes de clase

1. 🎬 Mira los tres videos de la unidad, en orden: qué es Machine Learning, cómo se entrena un algoritmo y cómo saber si un modelo es bueno (19 minutos). Cada uno está al comienzo de su tema.
2. 🎬 Mira los dos videos de métricas: la matriz de confusión y el cálculo de MAE y RMSE (12 minutos). Son las herramientas de la clase.
3. 📖 Lee este documento: resume los videos, trae el glosario y las fórmulas, y una herramienta para practicar la matriz de confusión.

En clase

4. ✅ El quiz, al inicio.
5. 📊 La presentación: con los datos de Cóndor se califican predicciones que ya hicieron otros modelos. Esta semana no se entrena ningún modelo.
6. 💻 El script de R, con el monitor: cada estudiante obtiene esas cifras con sus propias salidas.
7. 📝 El taller: al final del script, la recomendación que se entrega.

De qué trata la unidad. Hasta la semana 6 los datos sirvieron para describir el pasado. Desde esta semana la pregunta es ¿qué va a pasar? Los videos explican qué significa que un modelo aprenda, por qué su desempeño solo cuenta en datos que no vio, contra qué se compara y con qué métricas se califica. En las semanas 11 y 12 construirás tus propios modelos.

2 Glosario de la semana

Término	Qué significa
Variable objetivo (target)	Lo que se quiere predecir. En Cóndor: si el cliente abandona y cuánto gastará el próximo trimestre.
Clasificación / regresión	Predecir una categoría (abandona o no) / predecir un número (el gasto).
Train / test	Los datos con los que el modelo aprende / los que se apartan para calificarlo.
Baseline	La predicción que no usa información: la clase mayoritaria o el promedio. Todo modelo se compara con ella.
Sobreajuste	Aprender el ruido de los datos de entrenamiento: buen desempeño en train, malo en test.
TP, FP, FN, TN	Los cuatro resultados de comparar una predicción de clasificación con la realidad.
Accuracy, precisión, recall	Tres resúmenes de la matriz de confusión; cada uno responde una pregunta distinta.
Umbral	El corte que convierte una probabilidad en una decisión de sí o no.
AUC	Qué tan bien ordena un modelo a los positivos por encima de los negativos; solo existe si el modelo entrega probabilidades.
MAE, RMSE	El error típico de un pronóstico, y una versión que castiga más los errores grandes.

3 El estudiante que se sabía el parcial de memoria

🎬 Video 1 — ¿Qué es Machine Learning? (6 min)

Dos estudiantes preparan el mismo parcial.

El primero consiguió los parciales de los últimos cinco semestres, con sus soluciones, y se los aprendió de memoria. En los simulacros, que salen de esos mismos parciales, saca 5.0. El segundo estudió los conceptos: resolvió ejercicios y entendió por qué se equivocaba. En los simulacros saca 4.2.

El día del parcial, con preguntas que ninguno ha visto, al primero le va peor: medirse en preguntas conocidas no mide lo que se sabe, mide lo que se memorizó. La nota del segundo se sostiene, porque medía comprensión.

Un modelo puede comportarse como cualquiera de los dos estudiantes

Con los datos con los que se construyeron, los dos pueden mostrar métricas excelentes. La diferencia aparece con datos nuevos, que en una empresa son clientes, créditos y dinero reales. Todo lo de esta semana responde una pregunta: ¿el modelo entendió o memorizó? El trabajo del analista es averiguarlo antes de que la empresa use el modelo para decidir.

Los modelos predictivos ya toman decisiones: aprueban créditos, emiten alertas tempranas de deserción y pronostican inventarios. En la semana 5 esto se llamó analítica predictiva.

Conexión con la semana 5 y con el proyecto final

En la semana 5 se tradujeron preguntas de negocio a tareas analíticas: ¿este cliente incumplirá? es clasificación; ¿cuánto venderá esta tienda?, regresión; ¿qué grupos de clientes hay?, segmentación. Las dos primeras son aprendizaje supervisado: los datos históricos traen la respuesta correcta con la cual entrenar y calificar. Son el tema de las semanas 10 a 12; la segmentación, que no tiene respuesta correcta, es la semana 13. La pregunta de tu proyecto cae en una de estas casillas: lo de esta semana es el método para evaluar tu Entrega 3.

4 El examen: entrenamiento vs. prueba

🎬 Video 2 — ¿Cómo entrenan los algoritmos de ML? (8 min)

La regla central de la evaluación:

Nunca evalúes un modelo con los datos que usó para aprender.

El modelo ya vio esas filas: medir ahí es repetir el simulacro, y la nota sale inflada. Por eso, antes de entrenar, se aparta una parte de los datos, el conjunto de prueba (test), que el modelo no usa para aprender. Ese conjunto representa el futuro: los clientes del próximo trimestre.

La práctica habitual es mezclar las filas al azar y partir 80 % train / 20 % test, con dos reglas:

1. El test se usa una sola vez, al final. Si se consulta repetidamente mientras se ajusta el modelo, deja de ser un examen: el modelo termina ajustado a él. Para comparar versiones durante el ajuste existe la validación cruzada, que se verá con los árboles de la semana 11.
2. Con datos en el tiempo, no se parte al azar. Para predecir las ventas de mayo se entrena con enero a abril y se prueba con mayo. Partir al azar mezclaría pasado y futuro: el modelo usaría información posterior a lo que intenta predecir, lo que se conoce como fuga de información (data leakage).

5 El baseline: la regla ingenua que hay que vencer

🎬 Video 3 — ¿El modelo es bueno? (5 min)

Un modelo con 98 % de accuracy no dice nada hasta responder: ¿98 % comparado con qué?

El baseline es la predicción que no usa información

• En clasificación, predecir siempre la clase mayoritaria. Si el 55 % de los créditos históricos se aprobó, “aprobar a todos” acierta el 55 % sin mirar ningún dato del solicitante.
• En regresión, predecir siempre el promedio de train. Si la nota media histórica es 3.3, “todos sacan 3.3” ya tiene un MAE que cualquier modelo debe mejorar.

Un modelo aporta solo lo que le gana al baseline. En una empresa, la referencia exigente suele ser la regla que ya se usa: el comité de crédito o el pronóstico del área comercial.

El ejemplo clásico es la detección de fraude. Si en 1.000 transacciones hay 20 fraudes (el 2 %), un “modelo” que responde no es fraude a todo alcanza 98 % de accuracy y no detecta ninguno. Cuando una clase es mucho más frecuente que la otra, la accuracy se infla sola; por eso hay que mirar la matriz de confusión completa (video 4).

6 Las métricas: cómo se califica una predicción

Falta el instrumento de medición: ¿cómo se califica una predicción? Los dos últimos videos lo construyen, uno para clasificación y otro para regresión. Son las herramientas de la clase.

6.1 Video 4 — La matriz de confusión (clasificación)

El video construye, celda por celda, la tabla que resume cualquier clasificador, con el ejemplo de un modelo que decide créditos. Cómo decide el modelo no importa todavía; importa cómo se califica lo que decidió. Al final hay un ejercicio de conteo: pausa el video y resuélvelo, porque en clase se hace la misma operación con los datos de Cóndor.

Al comparar cada predicción con la realidad hay cuatro resultados posibles (con Aprobado como clase positiva):

	Predicho: Aprobado	Predicho: Rechazado
Real: Aprobado	Verdadero Positivo (TP)	Falso Negativo (FN)
Real: Rechazado	Falso Positivo (FP)	Verdadero Negativo (TN)

Regla de memoria: la primera palabra (Verdadero/Falso) dice si el modelo acertó. La segunda (Positivo/Negativo) dice qué predijo el modelo. Un Falso Positivo es “predijo positivo… y falló”.

De esa tabla salen las tres métricas del curso:

Accuracy — ¿qué fracción del total clasificó bien? \[\text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}\] Con clases desbalanceadas se infla: el modelo que responde siempre lo mismo ya obtiene la accuracy de la clase mayoritaria.

Precisión — de los que el modelo marcó como positivos, ¿cuántos lo eran? \[\text{Precisión} = \frac{TP}{TP + FP}\] En crédito: de los que aprobó, ¿qué fracción pagó de verdad? Cada FP aquí es dinero perdido.

Recall — de los positivos reales, ¿cuántos detectó el modelo? \[\text{Recall} = \frac{TP}{TP + FN}\] En crédito: de los buenos clientes que llegaron, ¿qué fracción aprobó? Cada FN aquí es un buen cliente rechazado.

¿Cuál importa más? Depende de qué error cuesta más, y esa es una decisión de negocio, no del algoritmo:

Situación	El error caro	Conviene vigilar
Aprobar créditos (el impago es caro)	FP: aprobar a quien no pagará	Precisión alta
Detectar fraude	FN: dejar pasar un fraude	Recall alto
Diagnóstico médico	FN: no detectar un caso real	Recall alto
Retener clientes	FN: no ver al que se va	Recall alto

Practica con diez decisiones de un modelo de crédito: clasifica cada una en su celda.

🧮 Arma la matriz — clase positiva: Aprobado

Caso 1 de 10

Predicho:
Aprobado

Predicho:
Rechazado

Real:
Aprobado

Real:
Rechazado

¿En qué celda cae este caso? Haz clic en la celda.

70%

Accuracy = (4+3)/10

66.7%

Precisión = 4/(4+2)

80%

Recall = 4/(4+1)

Léelo en negocio: de 6 créditos que aprobó, 2 eran morosos (precisión 66.7%), y detectó 4 de los 5 buenos clientes (recall 80%). ¿Y la accuracy del 70% es "buena"? El baseline aquí — decir siempre "Aprobado" (5 reales de 10) — acierta el 50%. El modelo aporta, pero la matriz muestra dónde se equivoca.

6.2 Cuando el modelo entrega probabilidades: el umbral y el AUC

Muchos modelos no entregan un sí o un no, sino una probabilidad: por ejemplo, 0.62 de que el cliente abandone. La lista de positivos sale de un umbral: se marca como positivo a quien lo supere. Con la misma probabilidad se arman listas muy distintas: un umbral bajo marca a más clientes, sube el recall y baja la precisión.

AUC (área bajo la curva ROC)

Mide qué tan bien ordena el modelo, sin depender del umbral: es la probabilidad de que, al tomar al azar un positivo y un negativo, el modelo le asigne más probabilidad al positivo. Un AUC de 0.5 equivale a ordenar al azar; uno de 1, a ordenar perfectamente. Solo se calcula si el modelo entrega probabilidades: a una regla que solo dice sí o no no se le puede calcular.

6.3 Video 5 — MAE y RMSE (regresión)

En regresión no hay acierto: el modelo predijo 3.6 y la nota real fue 3.8. ¿Un error de 0.2 es mucho o poco? El video calcula las dos métricas estándar paso a paso; conviene verlo con calculadora y replicar las cuentas.

Para cada fila del test, el error es \(y_i - \hat{y}_i\) (real menos predicho). Las dos formas de promediarlo:

MAE — Error Absoluto Medio \[\text{MAE} = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i|\] Se lee como “en promedio, el modelo se equivoca por X”, en las mismas unidades del target (pesos, puntos de nota, unidades vendidas). Es fácil de comunicar.

RMSE — Raíz del Error Cuadrático Medio \[\text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2}\] Eleva cada error al cuadrado antes de promediar: los errores grandes pesan mucho más. Por eso siempre \(\text{RMSE} \geq \text{MAE}\), y se prefiere cuando los errores grandes son especialmente costosos.

Un ejemplo con cinco predicciones de nota, con errores de 0.2, −0.4, 0.1, −0.1 y 1.2 (un error grande):

\[\text{MAE} = \frac{0.2 + 0.4 + 0.1 + 0.1 + 1.2}{5} = 0.40\]

\[\text{RMSE} = \sqrt{\frac{0.04 + 0.16 + 0.01 + 0.01 + 1.44}{5}} = \sqrt{0.332} \approx 0.58\]

El RMSE quedó muy por encima del MAE por un solo error grande: la distancia entre las dos métricas indica fallas graves ocasionales, aunque el error promedio sea aceptable.

Situación	Preferir
Los errores grandes son igual de malos que los pequeños	MAE
Los errores grandes son especialmente costosos	RMSE
Comunicar a una audiencia no técnica	MAE
Detectar errores grandes ocasionales	Comparar ambos

Advertencia

Siempre contra el baseline

El baseline de regresión es predecir el promedio de train para todos. Primero se calculan su MAE y su RMSE: un modelo que no los mejora no aprendió nada útil. En clase se hará con los pronósticos de gasto de Cóndor.

7 Material adicional

• 📘 An Introduction to Statistical Learning (ISLR) — capítulos 2 y 5 (evaluación y validación cruzada), el libro gratuito de referencia: statlearning.com
• 🎓 Google ML Crash Course — módulos de clasificación y regresión con ejercicios interactivos: developers.google.com
• 🖼️ MLU-Explain — explicaciones visuales e interactivas de train/test, validación cruzada y precisión/recall: mlu-explain.github.io
• 🎥 StatQuest — repaso alternativo (en inglés, con humor) de la matriz de confusión: youtube.com/@statquest

---

En clase → la presentación sobre Cóndor, el script de R con el monitor y el taller.