Dolphin QLoRA: por qué una pérdida menor no fue suficiente

Una tarea pequeña y medible

La tarea clasifica mensajes de atención al cliente en 27 intenciones y devuelve una etiqueta JSON. Dolphin3.0 Llama3.1 8B se convierte a MLX de 4 bits. QLoRA entrena un adaptador pequeño manteniendo congelados los pesos base.

Los experimentos completos documentados usan 1.080 ejemplos de entrenamiento. Un conjunto fijo de 297 preguntas permite comparar el modelo base con los dos adaptadores.

Del fallo a una mejora documentada

El modelo base acertó 210 de 297 preguntas, un 70,71%. El primer adaptador obtuvo un 54,21%. Reducir la pérdida de predicción de tokens no había garantizado generar etiquetas correctas.

Un experimento nuevo redujo la tasa de 0,0001 a 0,00001 y comprobó respuestas de validación cada 50 actualizaciones. El punto seleccionado en el paso 450 acertó 264 de 297 preguntas, un 88,89%, sobre el mismo conjunto final.

Qué demuestra esa mejora

Se cambiaron la tasa de aprendizaje y el método de selección al mismo tiempo, de modo que no se separan sus efectos. Una única semilla y un conjunto público sintético también limitan la generalización.

Las preguntas finales ya se habían evaluado en el primer experimento. La comparación usa un conjunto reutilizado, no una prueba final intacta ni una promesa de precisión en producción. Las tres respuestas generales coherentes son una comprobación cualitativa pequeña.

Seguir la evidencia

El repositorio conserva predicciones, configuración, diagnóstico y selección de puntos de control. Las guías explican qué cambió y cómo inspeccionar resultados sin considerar suficiente una curva de pérdida descendente.