Prompting on Fernando Ruiz

Fine-tuning vs. prompting: cuándo entrenar y cuándo solo instruir

Mon, 01 Jan 0001 00:00:00 +0000

info Definición Rápida

Prompting consiste en darle al modelo instrucciones y ejemplos dentro de cada petición, sin cambiar el modelo. Fine-tuning consiste en seguir entrenando un modelo ya preentrenado con datos propios, de modo que el comportamiento quede incorporado en sus pesos.

¿Qué es cada cosa?

Un modelo base ya sabe mucho del lenguaje. Con prompting le indicas la tarea en el mensaje: qué rol tiene, qué formato debe devolver, qué ejemplos seguir. Todo eso viaja en cada llamada y ocupa espacio en la [[ventana-de-contexto|ventana de contexto]]. Cambiar la instrucción cambia el comportamiento al instante. Wikipedia lo describe como aprendizaje en contexto: el modelo aprende temporalmente de lo que hay en el prompt y sus pesos no cambian.

Fine-Tuning vs. Prompting: When to Train and When to Instruct

Mon, 01 Jan 0001 00:00:00 +0000

info Quick Definition

Prompting means giving the model instructions and examples inside each request, without changing the model. Fine-tuning means continuing to train an already pretrained model on your own data, so the behavior is built into its weights.

What is each one?

A base model already knows a lot about language. With prompting you state the task in the message: what role it plays, what format it must return, which examples to follow. All of that travels with every call and takes space in the [[context-window|context window]]. Changing the instruction changes the behavior immediately. Wikipedia describes this as in-context learning: the model learns temporarily from what is in the prompt, and its weights do not change.