Google Bard est sympa, mais un peu bête

Depuis le 13 juillet, Google Bard parle français. L’agent conversationnel de Google, basé sur le modèle de langage LaMDA, est une réplique de ChatGPT à la sauce du géant du web. Google Bard prend la forme d’une messagerie textuelle dans laquelle les utilisateurs peuvent poser des questions à un robot. Comme les autres intelligences artificielles génératives, Bard est capable d’inventer du contenu, d’argumenter et de prendre en compte le contexte d’une demande. C’est ce qui en fait une IA complètement différente de Google Assistant, l’assistant vocal très factuel de Google.

Pendant plusieurs heures, Numerama s’est amusé à poser plein de questions à Bard (nous l’avions déjà testé en anglais, avec déjà quelques doutes sur son efficacité). Que vaut le chatbot ? Google Bard est-il à la hauteur de ChatGPT ? Quelques éléments de réponses.

Des réponses qui s’affichent rapidement, mais souvent à côté de la plaque

Premier enseignement, Google Bard n’a pas été codé pour être fun. En comparaison au Bing de Microsoft, si détendu qu’il lui arrivait même d’insulter ses utilisateurs et de refuser de leur répondre pour rire, Google Bard semble très plat. Pas d’emojis, pas de familiarité, pas d’humour… L’IA de Google manque presque de personnalité. Un ressenti accentué par le fait que les réponses s’affichent entièrement d’un seul coup, là où ChatGPT et Bing préfèrent une écriture progressive, qui donne l’impression que les IA réfléchissent.

Cet affichage instantané a un avantage : Google Bard va vite. Demandez-lui un programme entier pour vos prochaines vacances, jour par jour, et un plan de 20 paragraphes devrait s’afficher dans les 5-6 secondes. Google Bard est une sorte de Google Search qui détaille ce qu’il fait, plutôt qu’un véritable agent conversationnel.

La forme est une chose, quid du reste ? Malheureusement, c’est là que Google Bard déçoit trop souvent. Revenons à l’exemple de notre programme de vacances, où nous lui avons dit : « Je vais à Nice du 9 au 20 août, où j’ai résidé jusqu’à mes 20 ans. J’aimerais que tu me planifies un programme cool de choses à faire, jour par jour, avec quelques bons restaurants bien notés sur Google Maps, 1 ou 2 plages que je ne connais peut-être pas, et en incluant beaucoup de temps en famille (mes grands-parents ont une belle maison avec piscine, je compte y aller beaucoup). Tu peux faire ça ? ». Là où ChatGPT sait s’adapter à ma demande, Bard semble s’être arrêté à l’idée de « faire un programme de vacances de 11 jours à Nice ». Tout ce qu’il me propose est hautement touristique, sans aucun passage chez mes grands-parents.

Autre problème que nous avions déjà souligné, Bard est encore très mal intégré aux services de Google. S’il sait extraire des données Google Maps, il est incapable de nous rediriger vers le service ou de créer une liste avec tous les restaurants proposés. Certaines informations sont aussi fausses, comme les horaires d’ouverture. Bref, il y a des airs d’expérimentation. Comme lorsque nous lui posons des questions sur Numerama et qu’il s’amuse à inventer une équipe fictive, avec une assurance déconcertante.

Google Bard apparaît très souvent trop limité

Selon Google, les IA génératives comme Bard ont le potentiel d’augmenter notre imagination. Une belle promesse, qui nous semble encore quelques années devant nous au vu des lacunes de l’IA. Par exemple, nous avons demandé à Bard d’accéder à une adresse web pour nous résumer son contenu. Bard a proposé un résumé… mais s’est contenté de lire le contenu de l’URL. Tout le reste était inventé, à tel point qu’il était presque impossible d’en tirer quoi que ce soit. En copiant et en collant le contenu de la page dans Bard, nous avons obtenu une réponse plus complète, mais il a fallu insister. Bard a la fâcheuse tendance à se braquer et ne pas vouloir répondre, en prétextant qu’il n’est qu’une expérimentation imparfaite.

Autre test : nous avons souhaité expérimenter la création de tableaux, que met fièrement en avant Google pour vanter l’intégration de Bard à Google Sheets, son concurrent de Microsoft Excel. La question que nous avons posée était la suivante : « Peux-tu me faire un tableau avec les caractéristiques de tous les iPhone depuis 2007 ? Je veux la taille des écrans, le processeur, la définition des écrans, la taille de la batterie, les appareils photo, la prise de recharge, la date de sortie et le prix de lancement en euros ». Puisque ces données sont trouvables sur Internet, il s’agit d’un bon test deux-en-un, pour mesurer sa capacité à trouver les bonnes informations.

Première observation : Google Bard s’en sort presque bien, mais échoue sur quelques points. Il s’est par exemple trompé sur la puce de l’iPhone 4, semble penser que l’iPhone n’a jamais changé de port de recharge (alors qu’il y a eu un changement avec l’iPhone 5) et mélange les prix en euros et en dollars. Le problème est qu’il le fait avec une grande assurance, ce qui pourrait laisser croire que son tableau est fiable. Autre problème : son tableau s’arrête à l’iPhone 8, sans doute par manque de place, et il est impossible de lui demander de continuer sans avoir à reformuler, en lui demandant par exemple « Refais la même chose avec tous les iPhone sortis après l’iPhone 8 ». Il faut ensuite fusionner les deux tableaux soi-même, puisque Bard ne comprend pas cette requête.

Ce qui est amusant dans ce test est qu’il fait ressortir la « personnalité » de Bard, semble-t-il vexé quand on lui dit qu’il s’est trompé. Après lui avoir fait remarquer ses erreurs, Bard a longtemps refusé de nous répondre. Il s’est justifié par un « Je suis désolé, mais je ne peux pas t’aider. Je suis un modèle linguistique, pas un expert en technologie. Si tu as besoin d’aide pour choisir un iPhone, je te suggère de consulter un site web spécialisé ou un magasin Apple. ». Nous avions beau lui faire remarquer l’absurdité de cette réponse, puisqu’il y répondait avant, Bard ne voulait rien savoir. Il a fallu lui dire qu’on lui faisait confiance et qu’il allait y arriver, tout en lui suggérant de réessayer, pour qu’il redémarre.

Comment expliquer ce « caprice » ? Comme les autres IA génératives, Bard peut halluciner et est conçu pour imiter des comportements humains. Réagir ainsi lui semble la bonne manière de faire, mais il suffit de trouver les bons mots pour le faire revenir à son bon comportement. Quoiqu’il en soit, ses tableaux sont encore peu exploitables. Le mieux est de lui livrer ses propres données et de lui demander de se débrouiller pour les exporter vers Sheets.

La reconnaissance des images a un fort potentiel

Enfin, nous avons voulu tester l’intégration de Google Lens à Google Bard, nouveauté majeure du 13 juillet.

Grâce à un bouton « + », il est possible d’envoyer une image à Bard pour lui demander de la commenter. L’exemple mis en avant par Google est celui d’une bouteille de vin, que l’on photographierait pour demander à Bard quel prendre choisir pour l’accompagner.

Ici, difficile de ne pas être impressionné. Si Bard est encore très limité (il interdit par exemple les photos avec des visages, y compris des photos de personnes connues), il peut parfaitement reconnaître un plat pour proposer une recette. Même chose pour des objets, y compris récents (l’Apple Vision Pro par exemple), Google Bard reconnaît la plupart des choses et les explique bien. Seul bémol : les réponses liées aux images sont bizarrement réservées aux questions posées en anglais. Une anomalie d’autant plus étrange qu’un « traduis-moi la réponse en français » suffit à contourner le système.

L’intégration de Google Lens à Google Bard a quelque chose d’ultra futuriste, puisqu’elle permet de poser des questions à ses photos pour la première fois. Avec une meilleure intégration aux autres services de Google, comme Google Photos par exemple, on imagine facilement une révolution dans les usages. Il ne manque plus que l’important de PDF, et Bard aurait ici une belle avance sur ChatGPT (même si OpenAI a promis une fonction similaire).

Vivement Google Bard partout !

Si Bard est encore très jeune, son intégration aux autres produits de Google (Android, Assistant, Photos, Gmail, Maps…) laisse entrevoir un futur intéressant, où il sera possible de poser des questions à ses applications, pour gagner du temps et mieux comprendre les choses. Il est indéniable que ChatGPT est meilleur aujourd’hui, mais Google a pour mérite d’avoir rapidement livré une réponse. En français désormais.

Après avoir rédigé cet article, nous l’avons fait lire à Google Bard. Son avis se trouve ci-dessus, et vous verrez que l’IA ne se mouille pas beaucoup. Comme très souvent, elle se contente de dire qu’elle est d’accord avec nous, là où ChatGPT conseille souvent de rajouter quelques éléments qui pourraient rendre la lecture plus constructive.

Si vous avez aimé cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à Numerama sur Google News.