Experimento de aprendizaje
Lunar Landing RL: aprender REINFORCE aterrizando un cohete
Un estudio educativo en PyTorch con vuelo manual, controlador fijo, episodios paralelos y experimentos registrados de LunarLander.
Antes de entrenar una red para aterrizar conviene entender qué observa y qué puede hacer. Lunar Landing RL reúne vuelo manual, un controlador de reglas y una política neuronal en el mismo entorno de Gymnasium.
Distinguir jugar, demostrar y aprender
Los controles manuales permiten intentar la tarea. La demostración utiliza reglas escritas y el modo neuronal puede cargar una red entrenada o sin entrenar. Una demostración exitosa no demuestra aprendizaje.
Gymnasium proporciona la simulación y las recompensas de LunarLander. Este repositorio añade controles, entrenamiento, explicaciones y gráficos, sin atribuirse el entorno original.
Una política pequeña y actualizaciones visibles
La red documentada transforma ocho observaciones mediante dos capas ReLU de 128 unidades en cuatro probabilidades de acción. REINFORCE actualiza la política a partir de episodios muestreados y retornos descontados.
Los procesos paralelos recogen episodios completos con los mismos pesos antes de actualizar el lote. Los modelos guardan su arquitectura y los CSV y gráficos registran el recorrido. Cada comando inicia una red nueva.
Las curvas exploratorias necesitan contexto
El repositorio incluye siete gráficos de 5.000 episodios variando tasa de aprendizaje y gamma. La ejecución con 0,003 y 0,99 termina con la mayor recompensa suavizada de entrenamiento entre esos gráficos.
Las imágenes históricas no registran todos los ajustes ni evaluaciones independientes. No permiten establecer una clasificación fiable o tasa de aterrizaje. Se guarda la política final, sin seleccionar automáticamente el mejor punto anterior.
Leer la guía junto al código
La guía explica retornos, pérdida y evaluación. Conviene comparar recompensa de entrenamiento y evaluación determinista antes de interpretar un gráfico, y usar nombres nuevos para conservar cada experimento.
Fuentes y lecturas relacionadas
Basado en la documentación enlazada, revisada el 2 de noviembre de 2026. Las funciones y los límites corresponden a esa versión documentada.
Ver repositorio