6 secretos de los proyectos con ChatGPT que igual no conoces

Me refiero a proyectos empresariales que trabajen tanto con la API de Azure OpenAI, con la de Openai.com o vosotros mismos con la interficie web de chatGPT.com. También es valido para el resto de LLMs como Gemini, Claude, Llama, etc..

1. El contexto se envía cada vez

ChatGPT no mantiene el estado ni el contexto. Esto significa que cuando mandas a la API la sexta pregunta de una conversación en el cliente se ha de mantener y enviar las 5 preguntas y respuestas anteriores. Si usas la interficie Web ya se encarga de ello.

2. El contexto se paga

Dado que en cada llamada se paga por los tokens leídos y generados, hacer llamadas enviando un contexto cada vez mas grande va subiendo la factura.

Aunque el precio de GPT-4-Turbo en Azure OpenAI sea un irrisorio 0,01€ por 1.000 tokens de entrada, si le mandamos un contexto usando su límite de 128K tokens, nos va a costar un no tan irrisorio 1,28 €. Solo en esa llamada.

Por ello la gestión de contexto es una de las partes más importantes de un proyecto: si se ha de mantener, si no es necesario mantenerlo, o si se han de aplicar técnicas de pruning o resumen de la información relevante.

3. Es casi instantáneo

Cuando le preguntamos en la interficie web o una App van apareciendo las palabras poco a poco como si fuera pensando.

En realidad esto es un truco que hacen los creadores para no sentirnos intimidados ante una IA que es capaz de darnos una respuesta que tardaremos minutos en leer en apenas unos cientos de milisegundos.

4. Es muy difícil conseguir que escriba textos buenos

A pesar de casi dos años desde su lanzamiento, es bastante difícil conseguir que escriba un texto acorde a lo que queremos, y que no acabemos reescribiéndolo a nuestro estilo para que no tenga ese estilo "IA neutro" que detectamos tan fácil en los mensajes que nos mandan algunos headhunters.

Si no, es necesario hacer un gran trabajo de prompting definiendo el estilo y jugando con prueba y error.

5. Se actualiza constantemente

Aunque el corpus de entrenamiento llega hasta una fecha y la versión del modelo "base" de nuestros proyectos parezca no moverse.

Los modelos están en constante actualización para por ejemplo, solventar los diferentes jailbreaksque aparecen cada semana. Un jailbreak es un prompt específicamente creado para conseguir que el modelo haga algo que en un principio tiene prohibido hacer, como por ejemplo dar claves válidas de Windows.

Para prevenir el efecto en proyectos en producción, hay que monitorizar siempre el comportamiento. No se si alguien habrá inventado ya la palabreja "OpenAI DevOps"

6. Había vida antes de GPT-3

Aunque chatGPT-3 tuvo el hype, los que estamos en esto ya conocíamos los modelos GPT-2, DaVinci o Curie con los que se podía jugar en el Playground de OpenAI.

Algunos de ellos, aun siendo "legacy", pueden ser muy útiles para por ejemplo resumir contextos a un coste asequible.