Code a Reinforcement Learning Library in C from Scratch (Full Course)

De qué trata

Curso de unas 2 horas y 18 minutos que construye desde cero un framework de aprendizaje por refuerzo en C. Empieza con un motor de grafo computacional y diferenciación automática (autograd) que gestiona operaciones con matrices, con pasadas hacia delante y hacia atrás.

Después desarrolla un entorno propio del juego Snake, con codificación del vector de estado y lógica de recompensas por colisión. Por último implementa el algoritmo de gradiente de política REINFORCE, los rollouts de trayectorias y un pipeline de entrenamiento completo. Está dividido en doce capítulos, desde la introducción hasta el paso del optimizador y la evaluación.

• Motor de autograd y grafo computacional en C
• Multiplicación de matrices y operaciones forward/backward
• Entorno del juego Snake con sistema de recompensas
• Modelo actor-crítico, retornos y ventajas
• Pipeline de entrenamiento con REINFORCE

Para quién es este curso

• Programadores con base en C que quieren entender cómo funcionan por dentro el autograd y el aprendizaje por refuerzo.
• Personas que usan frameworks de deep learning y quieren ver cómo se construyen sus piezas desde cero.
• Estudiantes interesados en implementar REINFORCE sin librerías externas.

Qué sabrás hacer al terminar

• Construir un motor de autograd con grafo computacional en C.
• Implementar operaciones con matrices, incluida la multiplicación y su pasada hacia atrás.
• Crear un entorno del juego Snake con codificación de estado y recompensas.
• Implementar REINFORCE con un modelo actor-crítico, retornos y ventajas.
• Montar un pipeline de entrenamiento y evaluación de un agente.

Plan de estudio sugerido

2 semanas · unas 4 h por semana

1. 1.Semana 1, sesión 1: capítulos 0:00 a 0:56 (autograd, matrices y grafo); programa cada pieza en C a la vez.
2. 2.Semana 1, sesión 2: 0:56 a 1:23 (operaciones y multiplicación de matrices); prueba las pasadas forward y backward con ejemplos pequeños.
3. 3.Semana 2, sesión 1: 1:23 a 1:44 (entorno Snake, estado y recompensas); juega el entorno a mano antes de entrenar.
4. 4.Semana 2, sesión 2: 1:44 al final (actor-crítico, retornos y optimizador); ejecuta el entrenamiento y evalúa el agente.

El plan cuenta con tiempo para pausar y practicar, no solo con la duración del vídeo. Si quieres adaptarlo a tu semana, lee cómo montar tu plan de estudio semanal.

Consejos para seguirlo

• Escribe el código a la vez que el vídeo y compila con frecuencia; en el autograd un error de memoria o de índices se arrastra a todo lo posterior.
• Repasa el capítulo de multiplicación de matrices (1:04:40) con calma: la gestión row-major y de transpuestas es clave para la pasada hacia atrás.
• Antes de llegar a REINFORCE (1:44:10), comprueba que el entorno Snake devuelve estados y recompensas coherentes.
• Repasa los conceptos de retorno y ventaja antes del capítulo 2:07:39 si no los conoces.

Antes y después de este curso

• Antes de este cursoCS50x em Português - Aula 1 - CIntroduce el lenguaje C, necesario para seguir este curso.
• Antes de este cursoCS50x em Português - Aula 4 - MemóriaTrata la memoria en C, útil para la asignación de matrices del curso.

Cómo lo presenta el autor

Learn how to build a complete reinforcement learning framework from scratch in C. The course begins with constructing a custom computational graph and automatic differentiation (autograd) engine to handle matrix operations alongside forward and backward passes. It then walks through developing a standalone Snake game environment from the ground up, including custom state vector encoding and…

Extracto de la descripción original en YouTube.

Preguntas frecuentes

Más cursos de Programación