ChatGPT: assistant ou remplaçant ?

J'ai utilisé la version gratuite de ChatGPT pour tester son potentiel dans diverses activités. C'est un interlocuteur très convaincant, mais plutôt approximatif. La bonne nouvelle, c'est qu'en toute modestie, il ne peux pas me remplacer à ce stade, la mauvaise (pour moi), c'est qu'il ne peut pas vraiment me remplacer à une tâche que je ne sais pas, ou n'ai pas le temps d'accomplir.

ChatGPT - c'est quoi ?

Avant de passer aux cas concrets, j'aimerais rappeler le concept de ChatGPT. Il s'agit d'un programme basé sur l'intelligence artificielle et les probabilités, qui est capable de très bien parler, mais sans vraiment comprendre ce qu'il dit. Il peut parler de tout et dans - apparemment - toutes les langues, y compris les languages informatiques de votre choix. Comme son nom l'indique, il se présente sous la forme d'un tchat : j'écris quelque chose - en l'occurrence, je lui donne des instructions - et il répond. Puis, je lui donne des éléments en plus pour qu'il affine, jusqu'à ce que je sois content du résultat, ou plus probablement que je prenne ce qu'il a sorti pour le retravailler.

Moi, président de la République

Là, on est sur ce que ChatGPT sait le mieux faire : je lui donne quelques idées et lui demande de rédiger mon programme. Et franchement, je suis content du résultat. En quelques secondes, j'ai un programme qui pourrait passer et me faire obtenir les 500 signatures de maires, nécessaires pour lancer ma campagne.

Mais j'aimerais faire quelques ajustements. Franco-suisse ayant grandi en Suisse, j'aimerais insister sur ma critique du faible niveau démocratique de mon deuxième pays, ma capacité à réformer son système politique en m'inspirant de celui où j'ai grandi et ma volonté d'améliorer la fiscalité, afin que les grands contributeurs acceptent de contribuer plutôt que de fuir.

En bon directeur de campagne, ChatGPT est très poli, mais ça se gâte : il développe ces idées, m'écrit en long et en large à quel point j'ai raison, mais n'a pas corrigé son texte et on a perdu la moitié de ma campagne au passage. Je deviens plus explicite et là, il se remet à dialoguer comme s'il était mon ami, plutôt qu'à pondre mon texte. Or je voudrais plutôt quelque chose que je peux copier/coller, mettre de belles images, l'envoyer à la France entière et faire la star. Après deux-trois aller-retours, j'y suis, mais je ne sais pas si tout y est.

La Russie va-t-elle attaquer ?

Ce qu'il est important de savoir - mais il vous le redira à l'occasion - c'est que ChatGPT n'est pas connecté à internet et sa connaissance reste figée en septembre 2021. Je me suis donc interrogé sur ses capacités de prédiction d'évènements de 2022 et lui ai demandé d'évaluer la possibilité que la Russie attaque un pays voisin. Après m'avoir informé que ses prédictions sont limitées par son manque d'accès à des informations classifiées, il rappelle les évènements passés en Georgie et Ukraine, mentionne la Crimée, parle de tensions de la Russie avec l'Ukraine et le Belarus (je ne me souviens pas de ces dernières) pour finir avec un discours très prudent, qui ne tranche pas vraiment.

Je l'en félicite : en ce qui me concerne j'étais catégorique le 23 février 2022 : les troupes massées autour de l'Ukraine sont du bluff, car Poutine serait fou de lancer son pays dans ce combat fratricide; les cercueils qui reviendraient en masse feraient s'écrouler son régime. L'Histoire nous dira si j'ai eu tort jusqu'au bout...

Trouve un nom de domaine mon blog

ChatGPT peut-il m'aider ? Je lui explique la ligne éditoriale de mon idée de blog et lui explique qui je suis. Peut-être n'ai-je pas assez détaillé mon public-cible ? Là, je suis franchement déçu : des noms de domaines à double-mots accolés, tous en .ch; rien à mon goût (c'est en général le genre de domaines agaçants que te propose le fournisseur pour remplacer celui que tu voulais, genre TheRobin.ch RobinWebsite.ch parce que robin.ch est déjà pris). Je lui donne quelques instructions en plus (un seul mot à gauche; un TLD plus intéressant), il les suit bien, mais le résultat n'y ai pas. Si je veux ouvrir un nouveau blog, je chercherai d'autres sources d'inspiration pour le domaine (vous avez des idées ?)

Peux-tu me parler de gens et institutions que je connais ?

Là, ça ne va pas loin. Il n'a l'air de connaitre aucune personnalité locales de la musique classique; il a bien trouvé un pianiste, mais en a fait un designer français... Il connait l'Ecole de Musique de Lausanne, mais semble la mélanger avec une école qui la précédait et qui donnait des cours de musique professionnels. Mais il connait Sergio Ermiotti, dont les informations semblent assez correctes.

Résume-moi un livre

Par exemple, Germinal de Zola, en 10 lignes... Le résumé est bien écrit. De ce que je me souviens, ça me paraît correct. Mais il y a 16 lignes et ce n'est pas un problème de mise en page, vu qu'il n'utilise pas toute la largeur de l'écran. Or, marqué par les impératifs de mon travail de diplôme, j'insiste sur les 10 lignes (ça n'avait rien à voir avec le Roman de Zola, mais le résumé avec un nombre précis de lignes m'avait demandé quelques tours de réécriture).

ChatGPT réduit donc son texte... à 9. Là, je dis qu'il n'y en a que neuf et que j'en veux 10. Sa réaction est fabuleuse : il rajoute au début :

"Bien sûr, voici une version avec 10 lignes :"

Et le texte semble le même et fait toujours neuf lignes. Mais après une revue plus attentive, je constate qu'il a quand-même tenté d'ajouter une expression de quatre mots. Depuis ce test, j'ai lu quelque part qu'il est précis en nombre de mot, mais personnellement, je préfère compter le nombre de lignes que de mots.

Peux-tu faire mon travail d'analyste ?

Sélectionner des actions

Premier écueil : la confidentialité. Analyste crédit dans une assurance-crédit, avec 95 % de comptes annuels confidentiels, ma profession semble déjà bien protégée. Alors, changeons de contexte et passons en revue les sociétés cotées : je demande une sélection de 30 sociétés de l'indice Swiss All Share, indique que je suis un "value investor" et lui donne des cibles pour le ratio prix-bénéfices et le rendement du dividende. Dans un premier temps, je lui dis de lister les entreprises et de résumer leur activité. Là, j'ai de la chance : je les connais toutes et je peux dire que le résumé (très court) est correct. Mais, j'ai des doutes sur certaines (j'ai mis les mêmes ratios que j'utilise dans Swissquote, mais je trouve des sociétés qui ne sont jamais sorties), dont le CS et Aryzta (le ratio prix-bénéfices que j'ai donné implique pourtant un bénéfice) et Barry Callebaut est à double...

Pas de problème : je lui demande de renvoyer un tableau avec le nom de la société, le symbol et quelques ratios. Il plante; je relance; il revient avec une liste plutôt qu'un tableau; je relance; il revient avec un tableau qui a changé (le symbol a été remplacé par un ticker (c'est certes du détail) et Zurich Insurance est passée de 300 et quelques à 422). Dans la dernière version en tout cas, il indique que les cours datent du 30.03.2023. Pourtant BCV est indiquée pour 48; CS 11. Mon cher, à ce prix je t'achète toutes tes BCV et te vends autant de CS que tu veux... Bref, les valeurs ne sont pas plausibles et mon tableau ne vaut rien !

Analyser une entreprise

Là, je me dis que j'aimerais bien savoir si UBS est un bon investissement dans le contexte actuel. Vu que ChatGPT vit en 2021, je lui apprends la crise bancaire actuelle, les évènements autour du Credit Suisse, y compris la perte de 7 milliards et lui demande de me dire ce que vaut UBS en stand-alone et dans l'hypothèse où elle reprendrait CS pour 3 milliards.

La réponse est magique. Vu que là, je l'ai interrogé en français, je peux vous la donner :

Je suis désolé, mais en tant qu'IA, je ne peux pas fournir une analyse financière précise et détaillée de la banque suisse UBS. Pour réaliser une telle analyse, il faudrait avoir accès à des informations financières et économiques précises et récentes, ainsi qu'à des compétences spécialisées en finance et en comptabilité.

[...]

Je vous recommande de consulter un expert en finance ou en comptabilité pour obtenir une analyse plus précise et fiable de la situation de UBS et de Credit Suisse.

En clair, ChatGPT m'explique (et insiste) qu'il n'est pas (encore) capable de faire mon travail. Même si en utilisateur gratuit, je n'ai pas eu accès à la dernière version, j'ai bon espoir qu'il en soit de même avec la dernière... Mais pourrait-il m'aider à générer du code informatique et faire de grandes choses avec ?