Chatbot LLM vs. Motori di ricerca

Con l'avvento dei chatbot, soprattutto con quelli mainstream, sono sorti molti temi di discussione.

Nello specifico, quello su cui mi voglio concentrare è l'uso dei chatbot come motore di ricerca. Infatti, alcuni utenti usano ChatGPT, Gemini o simili per ricercare informazioni che possono benissimo trovare digitandole su motori di ricerca come Google, Bing.

Analizziamo il fenomeno e capiamo innanzitutto perché succede. Per prima cosa, la risposta di un chatbot è immediata e arriva dritta al punto. Nello specifico, ci dà come la sensazione di essere un riassunto di tutte le fonti autorevoli sull’argomento fatta da un’entità con un compito specifico: “rispondere alle nostre domande nel modo più preciso possibile”. In secondo luogo, la generazione grafica di parole, in modo continuo, una dietro l’altra, ci dà la sensazione che il chatbot stia “ragionando” e che quindi la risposta sarà ben ponderata. Infine, la non conoscenza di come funzionano i chatbot, nello specifico gli LLM (Large Language Model), confonde le persone sulla differenza tra una ricerca personale su vari siti (magari autorevoli) e la risposta di un modello.

La descrizione più semplicistica che si può fare di un modello di LLM in formato chatbot, è quella di un’entità allenata per simulare di essere un assistente e predire la parola successiva all’interno di una frase, cosa che potrebbe fare anche vostro amico al bar. Facendo un esempio: “Il cielo sul pianeta Terra, di giorno, visto da un essere umano che non ha problemi di vista, quando è sereno è di colore …”, generalmente il continuo della frase dovrebbe essere “azzurro” (sono stato preciso di proposito nella frase, per evitare eccezioni).

Finché si trattano questioni semplici, il modello funziona bene, ovvero predice in modo verosimile parola dopo parola (compito che anche il nostro amico al bar sa fare), ma cosa succede se complichiamo la previsione con concetti complicati a cui l’interlocutore medio non sa rispondere? Una persona reale potrebbe risponderti: “Non lo so”, oppure potrebbe fare un’ipotesi usando il condizionale.

Un modello di LLM come ChatGPT o Gemini potrebbe generare quelle che vengono dette “allucinazioni”, ovvero il concetto richiesto non è nello spettro dell’allenamento a cui è stato sottoposto il modello e di conseguenza inventa. Il vero problema è che non esiste alcun metodo per capire se la risposta del chatbot è stata inventata o meno. Quindi, ogni risposta ricevuta, potrebbe essere potenzialmente falsa.

Un esempio di risposta sbagliata è questa:

La parola “soprattutto” ha 4 “t” e non 2, ma questa più che un’allucinazione sembra un errore d’interpretazione del prompt inserito.

Un’allucinazione si può ottenere facilmente chiedendo cose avvenute recentemente, per esempio con il prompt “Esiste un razzo che riatterra nella rampa di lancio da cui è stato lanciato in modo automatico?” seguito da “Voglio sapere se riesce ad atterrare sulla rampa di lancio stessa”:

Un motivo per cui il chatbot risponde allucinato è che non è stato ancora allenato sull’informazione dell’ultimo atterraggio sulla rampa di lancio fatto da Space X e quindi non può predirla.

Concludo dicendo che il mio interesse non vuole essere quello di demonizzare lo strumento chatbot, ma renderci consapevoli di come funziona, in questo caso con una spiegazione molto superficiale delle sue “meccaniche”.

Il concetto da portarsi a casa è che non è un motore di ricerca e non ragiona mentre predice una risposta, ma la predice e basta in base all’allenamento e il tuning a cui è stato sottoposto.

Vorrei consigliare i lettori del post di continuare ad usare i motori di ricerca per evitare di incorrere in bias commessi da una rete neurale artificiale. Tutti possono fare errori, ma meglio che siano commessi da una rete neurale naturale, soprattutto perché in genere vengono considerate meno autorevoli e quindi necessitano di un fact-checking.