Metodología de Fine-Tuning
Guía técnica exhaustiva para el entrenamiento de JavaTutor IA. Desde la curación del dataset hasta el despliegue del modelo cuantizado.
Manual de Ingeniería Principal
1. Curación de Datos
No entrenamos con texto plano. Transformamos documentación técnica, ejercicios resueltos y grabaciones en pares de Instrucción / Respuesta altamente estructurados.
La clave es la "Deduplicación Semántica": eliminamos conceptos redundantes para que el modelo aprenda conceptos únicos con máxima eficiencia.
- Limpieza de ruido HTML/SST con Regex avanzado
- Verificación sintáctica con linters de Java
- Formateo compatible con Unsloth / Axolotl
2. Configuración QLoRA
Implementamos PEFT (Parameter-Efficient Fine-Tuning) mediante LoRA. En lugar de actualizar todos los miles de millones de pesos, inyectamos pequeñas matrices de rango bajo en las capas lineales.
Rango (r): 64 |
Alpha: 32
Objetivo: q_proj, k_proj, v_proj, o_proj
Abandono (Dropout): 0.05
Objetivo: q_proj, k_proj, v_proj, o_proj
Abandono (Dropout): 0.05
Esto reduce el uso de VRAM de 160GB a menos de 48GB, permitiendo entrenar en configuraciones multitarjeta RTX PRO 6000.
3. Cuantización 4-bit
Convertimos los pesos de 16-bit a 4-bit NF4. Esta técnica de compresión extrema es vital para la inferencia en tiempo real sin sacrificar apenas precisión.
Hardware Optimizado
El nodo NVIDIA DGX SPARK (Architecture Blackwell) está diseñado específicamente para acelerar modelos cuantizados a 4-bit, duplicando el rendimiento de tokens por segundo.
Preparación de los Datos
Enseñar el "Estilo Simarro"
No basta con darle libros a la IA. Tenemos que enseñarle cómo explicamos las cosas en clase. Convertimos ejercicios reales en un formato que la IA entiende como una conversación entre profesor y alumno.
La Pregunta
¿Cómo haría un alumno esta consulta en el aula?
La Respuesta
¿Cómo respondería un profesor para guiar sin dar la solución?
Ejemplo de entrenamiento (.json)
{
"pregunta": "¿Por qué mi código Java no compila?",
"contexto": "Alumno de 1º DAM",
"respuesta_tutor": "Fíjate en la línea 5. ¿Ves algo diferente en el punto y coma? En el Simarro siempre revisamos la sintaxis antes del algoritmo..."
}
Limpieza Automática (Scripting)
Usamos un pequeño programa (Python) que hace el trabajo sucio: lee miles de documentos, quita lo que no sirve (publicidad, menús web) y se queda solo con el conocimiento puro de programación.
El Laboratorio de Entrenamiento
El Contenedor (Docker)
Imagina una "caja fuerte digital" donde metemos todas las herramientas necesarias. Esto nos asegura que el entrenamiento funcione igual en cualquier ordenador potente del centro, sin errores de instalación.
# Empaquetando el motor de IA
FROM nvidia/cuda:12.1
RUN pip install ai-tools
FROM nvidia/cuda:12.1
RUN pip install ai-tools
El Entrenamiento Real
Aquí es donde la magia ocurre. La IA lee el dataset miles de veces hasta que aprende a hablar como un profesor. Usamos tarjetas gráficas (GPUs) ultra-potentes para acelerar meses de estudio en pocas horas.
Progreso del
Aprendizaje
82%
¿Cómo se usa en el aula?
Del Código al Alumno
Una vez entrenado, el "Cerebro" de la IA se conecta a una aplicación sencilla que los alumnos tienen en su ordenador.
Sin esperas: Responde en menos de 1 segundo.
Dudas 24/7: El tutor está disponible siempre, incluso en casa.
Privado: Todo se queda en el servidor del IES Simarro.
Vista del Programador
// La IA le responde al alumno dentro de su
editor:
JavaTutor > "Veo que has olvidado cerrar la llave '}' en la clase Principal. Revisa el bloque del 'for'..."
JavaTutor > "Veo que has olvidado cerrar la llave '}' en la clase Principal. Revisa el bloque del 'for'..."
Modelo Listo para el Éxito
El resultado final es un archivo ligero que se ejecuta en cualquier servidor moderno. Es la culminación de un proceso de ingeniería de datos hecho por y para el IES Simarro.
Fase
1: Curación
Fase
2: Entrenamiento
Fase
3: Despliegue