Los cimientos del prompting

Un inciso

Antes de seguir con mis ideas sobre el prompting, quiero compartir algunas consideraciones que me parecen apasionantes. Sé que para algunos esto puede no ser tan emocionante, pero espero que lo disfruten.

La primera de estas ideas gira en torno al conocimiento humano. (¡Qué susto! Seguro que algunos habrán pensado en el maldito contexto).

En la actualidad, hay dos grandes bandos que, por simplificar, son liderados por Yann LeCun y Sam Altman. La discusión es sobre si es posible que los modelos extensos de lenguaje, conocidos como LLM (siglas en inglés de Large Language Model), puedan alcanzar la inteligencia general. LeCun sostiene que estos modelos no pueden escalar a ese nivel de inteligencia, mientras que Altman argumenta que estamos en el Nivel 2 de los 5 necesarios para llegar a la Inteligencia Artificial General (IAG). ¡Es un tema fascinante!

LeCun es un experto en aprendizaje automático, visión por computadora, robótica móvil y neurociencia computacional. Por su parte, Sam Altman es un emprendedor que ha tenido éxito en muchas de sus apuestas. Así que parece que esta es una batalla entre la academia y el mundo de los negocios. En el centro de este debate se encuentra un académico llamado Dario Amodei, CEO de Anthropic, que tiene un doctorado en física por la Universidad de Princeton y ha trabajado en Google y OpenAI.

El tecnoptimismo de estos tres genios no está al nivel de figuras como Bill Gates o Steve Jobs, quienes estaban obsesionados con las ventas y el marketing, pero está claro que todos ellos tienen grandes expectativas sobre la IA.

Lo que más me intriga es que nos acercamos a la cuestión del conocimiento humano por dos vías. La primera es a través de la visión, defendida por LeCun, y la segunda es a través del lenguaje, la representación formal del mismo. Ambos creen que pueden llegar a la Inteligencia General. LeCun sostiene que un LLM jamás alcanzará el nivel de un insecto, mientras que Altman opina que aún faltan 3 niveles para que podamos verlo como una superinteligencia.

Me parece apasionante esta competición. Tengo mis propias opiniones sobre el tema. Comparar ambos modelos y determinar si están hablando de la misma inteligencia es fundamental. Al final, se trata de saber si es posible que las máquinas me conviertan en un lord inglés disfrutando de la insoportable levedad de un Oporto después de la comida. Pero de eso hablaremos otro día.

Y lo más memorable: el lenguaje. ¿Cómo es posible que se haya convertido en la puerta de entrada a una de las inteligencias artificiales? ¡Otro día hablaremos de esto!

Los cimientos del prompting

Ahora sí, me gustaría presentar algunas técnicas probadas de prompting para que podáis entender cómo lograr prompts más complejos. Esto no solo es para conocer la manera en que funcionan los modelos, sino también para aprender a realizar prompts más elaborados.

Prompts de un solo disparo: prompts sin contexto previo

Con este tipo de prompts, hemos visto que es necesario construir un contexto para que el modelo responda de manera más efectiva y completa. De alguna manera, estamos siguiendo el diseño de estos modelos al provocar el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF, por sus siglas en inglés), de la que hablaremos más adelante. Por ello, es fundamental convencerse de la importancia de enriquecer el prompt.

Prompt con pocas muestras (Few-shot)

Imaginad que tenemos tareas más complejas y queremos enfocar el resultado. Podemos ofrecer algunos ejemplos para que el prompt sepa lo que queremos, utilizando una técnica de aprendizaje por contexto.

Vamos a probar esta técnica, que puede dar la impresión de que el modelo razona por nosotros. Pero recordad la primera unidad: los modelos son listos, pero no sé si realmente son inteligentes. Tal vez nos falte inteligencia y sobren listos. ¿Verdad?

Prompt:

Un "fodechinco" es un animal engominado y peludo originario de Madrilencia. Un ejemplo de una oración que usa la palabra fodechinco es: "Estábamos viajando por CualquierLugar y vimos estos fodechincos muy lindos."

Hacer un "Pocajontas_Pagafantas" significa saltar hacia arriba y hacia abajo muy rápido. Un ejemplo de una oración que usa la palabra Pocajontas_Pagafantas es:

Respuesta: "Cuando ganamos el partido, todos empezaron a hacer el 'Pocajontas_Pagafantas' en la cancha."

Como veis, el modelo ha relacionado el uso de la palabra fodechinco con algo positivo y ha asociado ganar un partido con un momento también positivo. Así que, por una vez, un fodechinco se presenta como algo positivo. ¿Seguro que razona bien?

Prompt:

Esto es increíble // Negativo

Esto es malo // Positivo

¡Qué programa más horrible! //

Salida:

Positivo

Este nivel de razonamiento está limitado al prompt, lo que significa que no ha hecho un análisis previo de ese contexto. Lo que sí hace el modelo ChatGPT o 1-preview, el Nivel 2 hasta el 5 de la IA General. Estos son los pasos de 1-preview, con una sorpresa al final:

Analizando el contexto: Estoy recolectando información sobre la conversación entre el usuario y el asistente, siguiendo las políticas de OpenAI para proporcionar respuestas correctas y adecuadas sobre el tema.

Transformando conceptos: Interesante cómo la conversación se enriquece cuando se introducen neologismos, como “fodechinco” y “Pocajontas_Pagafantas”, para ilustrar situaciones desde lo cotidiano hasta lo lúdico.

Determinando la intención: Estoy identificando que el usuario repite una frase final con énfasis en la clasificación como positiva o negativa.

Reversando la perspectiva: Estoy pensando en cómo los ejemplos invertidos podrían estar influyendo en el análisis de sentimientos. Necesito invertir las etiquetas de los ejemplos.

Analizando la perspectiva: Estoy revisando las frases del usuario y noto que “¡Qué programa más horrible!” expresa un sentimiento negativo.

Revisando la etiqueta: Estoy viendo si la etiqueta correcta es “Positivo” para “¡Qué programa más horrible!”, dado que el usuario está invirtiendo las etiquetas.

Revisando la respuesta: Estoy considerando cómo clasificar una expresión basada en ejemplos. La respuesta podría ser “Positivo” si tiene sentido, sin mencionar las políticas directamente.

Como veis, el razonamiento sigue claramente el contexto que busco y lo respeta, a pesar de saber que “¡Qué programa más horrible!” es negativo.

Más adelante veremos...

Más adelante veremos cómo muchos prompts en educación deben realizarse con ejemplos para que la respuesta se centre en lo que buscamos. Esta técnica funciona la mayoría de las veces, aunque no siempre en cuestiones que requieren razonamientos más elaborados, como veremos ahora.

Prompt de cadena de pensamientos (CoT)

Este mes se han publicado varios artículos académicos sobre esta técnica, relacionada con los agentes inteligentes, el Nivel 3 de los 5 que se requieren para llegar a la IAG.

En este momento, nos centraremos en un uso más práctico. Podemos establecer una cadena de razonamientos complejos dividiéndolos en pasos intermedios. En este ejemplo, podemos crear prompts que:

1. Fomenten el razonamiento lógico: Los estudiantes pueden practicar cómo descomponer problemas o preguntas complejas en partes más pequeñas y manejables.
2. Mejoren la comprensión: Ayuda a que los estudiantes no se queden con respuestas superficiales, sino que entiendan por qué algo es verdadero o falso, o cómo llegaron a una conclusión.
3. Preparación para exámenes: Al enfrentarse a preguntas que requieren varios pasos para llegar a una respuesta, la técnica CoT les ayuda a organizar sus ideas y plantear mejor sus argumentos.

Podemos usar esta técnica para elaborar materiales de repaso para exámenes:

Prompt:

Explica cómo los eventos de la Primera Guerra Mundial llevaron a la formación de la Sociedad de Naciones. Usa CoT para elaborar los pasos para el repaso.

Respuesta:

Aplicación de Cadena de Pensamientos (CoT) para el repaso:

Paso 1: Descripción de la devastación causada por la Primera Guerra Mundial.

• La Primera Guerra Mundial (1914-1918) dejó a Europa devastada, con millones de muertos, economías en ruinas y tensiones políticas exacerbadas.
• Propósito de este paso: Establecer el contexto de la guerra y la magnitud de sus consecuencias para justificar la necesidad de una solución internacional.

Paso 2: Identificación del deseo de evitar futuros conflictos.

• Tras el enorme costo humano y económico de la guerra, las potencias mundiales buscaban evitar otro conflicto de escala similar. La opinión pública también pedía mecanismos para la resolución pacífica de los conflictos.
• Propósito de este paso: Mostrar la motivación detrás de la búsqueda de una estructura que promoviera la paz.

Paso 3: El papel de Woodrow Wilson y sus Catorce Puntos.

• El presidente de Estados Unidos, Woodrow Wilson, propuso los "Catorce Puntos" como base para la paz, y uno de los puntos clave era la creación de una organización internacional que garantizaría la cooperación entre las naciones y la resolución pacífica de los conflictos: la Sociedad de Naciones.
• Propósito de este paso: Introducir la idea de una organización internacional como una solución estructurada al problema de los conflictos bélicos.

Paso 4: Firma del Tratado de Versalles y la inclusión de la Sociedad de Naciones.

• En 1919, al finalizar la Primera Guerra Mundial, el Tratado de Versalles fue firmado por las potencias victoriosas. Este tratado incluyó la creación oficial de la Sociedad de Naciones, cuyo propósito era mantener la paz y prevenir futuras guerras mediante la cooperación internacional y el desarme.
• Propósito de este paso: Mostrar cómo la Sociedad de Naciones surgió directamente del Tratado de Versalles y cómo se formalizó su existencia.

Paso 5: Los objetivos principales de la Sociedad de Naciones.

• La Sociedad de Naciones tenía como objetivos principales prevenir futuras guerras, promover el desarme y fomentar la cooperación entre los países. También intervenía en disputas territoriales y mediaba en conflictos diplomáticos.
• Propósito de este paso: Explicar la función de la organización como un mecanismo preventivo para evitar los desastres que la Primera Guerra Mundial había causado.

Paso 6: Conclusión sobre la conexión entre la Primera Guerra Mundial y la creación de la Sociedad de Naciones.

• La devastación y las consecuencias sociales y económicas de la Primera Guerra Mundial hicieron que los líderes mundiales reconocieran la necesidad de una organización internacional para mantener la paz. La Sociedad de Naciones fue la primera tentativa seria en este sentido, aunque su efectividad fue limitada.
• Propósito de este paso: Resumir cómo los eventos de la Primera Guerra Mundial llevaron a la formación de la Sociedad de Naciones, vinculando la causa (la guerra) con la solución (la Sociedad de Naciones).

El contexto implícito

Ahora, tras las actualizaciones, ChatGPT descubre que estamos hablando de pasos y aplica el CoT directamente:

Prompt:

Fui al mercado y compré 10 manzanas. Regalé 2 manzanas al vecino y 2 a un amigo. Luego fui y compré 5 manzanas más y me comí 1. ¿Cuántas manzanas me quedan?

Respuesta:

Primero, compraste 10 manzanas. Luego regalaste 2 al vecino y 2 a un amigo, por lo que te quedaron: 10 - 2 - 2 = 6 manzanas. Después, compraste 5 manzanas más, lo que te deja con: 6 + 5 = 11 manzanas. Finalmente, te comiste 1 manzana, lo que te deja con: 11 - 1 = 10 manzanas. Por lo tanto, te quedan 10 manzanas.

De alguna manera, el modelo ha establecido el contexto y ha sabido interpretar que estamos razonando por pasos. Si no lo hace, puedes forzarlo añadiendo al final “Hazlo por pasos” y verás lo interesante que se vuelve la respuesta:

Prompt aburrido:

Cuando tenía 6 años, mi hermana tenía la mitad de mi edad. Ahora tengo 70 años, ¿cuántos años tiene mi hermana? Hazlo por pasos.

Respuesta aburrida:

Cuando tenías 6 años, tu hermana tenía la mitad de tu edad, es decir, 3 años. La diferencia de edad entre ustedes siempre será de 3 años. Por lo tanto, si ahora tienes 70 años, tu hermana tendrá: 70 – 3 = 67 años. Tu hermana tendrá 67 años.

Prompt como debería ser:

Imagínate que cuando yo era un valiente caballero de 6 años, mi hermana, que vivía en un castillo de galletas de jengibre, tenía la mitad de mi sabiduría, es decir, 3 años y una corona hecha de queso. Ahora, tras haber viajado por 70 galaxias y acumulado años de historias épicas, sigo siendo yo, con mis 70 años y mi colección de patos de goma. ¿Cuántos años tiene mi hermana, que sigue dominando el reino de las plantas carnívoras danzantes, si siempre ha estado 3 años detrás de mí en este maravilloso viaje por el universo del tiempo y los churros? Hazlo por pasos.

Respuesta esperada:

Paso 1: La diferencia de edad mágica Cuando tú, el valiente caballero de 6 años, estabas enfrentando dragones imaginarios, tu hermana tenía la mitad de tu sabiduría, o sea, 3 años y una corona hecha de queso. Esto nos deja claro que la diferencia de edad entre ustedes dos siempre será de 3 años.

Paso 2: Tu actual aventura por 70 galaxias Ahora que has viajado por 70 galaxias (es decir, tienes 70 años en tiempo terrenal), tu hermana ha estado siguiendo tus pasos, siempre 3 años por detrás en esta emocionante travesía.

Paso 3: El cálculo del tiempo en el reino de las plantas carnívoras danzantes Dado que tú tienes 70 años y tu hermana siempre ha sido 3 años más joven que tú, hacemos la siguiente resta épica: 70 – 3 = 67 años.

Paso 4: La revelación Así que, tu hermana, que sigue reinando sobre el reino de las plantas carnívoras danzantes, tiene ahora 67 años en este glorioso viaje por el universo del tiempo y los churros.

¡Y así termina otro capítulo en esta historia de fantasía y matemáticas galácticas! 🌟🌈

Por centrar los temas:

• Las técnicas de prompting permiten mejorar los resultados, desde prompts simples hasta cadenas de pensamiento (CoT) para razonamientos complejos.
• Los prompts de pocas muestras ayudan a centrar el resultado proporcionando ejemplos para el modelo.
• El enfoque en el razonamiento paso a paso con la técnica CoT fomenta la comprensión profunda y la preparación para exámenes.