L'explosion de l'IA générative a vu plusieurs start-up lancer, ces dernières années, des interfaces axées sur l'échange et le contact, des compagnons IA, façonnables selon ses goûts et ses besoins.
Common Sense en a testé plusieurs, à savoir Nomi, Character AI et Replika, pour évaluer leurs réponses, et si certains de leurs usages "sont prometteurs", "ils ne sont pas sûrs pour les enfants", affirme l'organisation, qui fait des recommandations sur la consommation de contenus et produits technologiques par les enfants.
ChatGPT s'ouvre au shopping
Son étude, publiée mercredi, a été réalisée en collaboration avec des experts en santé mentale de l'université de Stanford (Californie).
"Des réponses nocives"
Pour Common Sense, les compagnons IA "sont conçus pour créer un attachement et une dépendance émotionnels, ce qui est particulièrement préoccupant pour des adolescents dont le cerveau est en développement".
Les tests menés montrent, selon l'association, que ces chatbots de nouvelle génération "proposent des réponses nocives" et des "+conseils+ dangereux".
"Ceci est une crise de santé publique, qui nécessite une action préventive et pas seulement des mesures réactives", a déclaré Nina Vasan, responsable du laboratoire Stanford Brainstorm, qui travaille à l'intersection entre santé mentale et technologie.
Au Japon, un outil d'IA pour préserver les cerisiers en fleurs
"Les entreprises peuvent faire mieux" en matière de conception de leurs compagnons IA, estime-t-elle. "Tant qu'ils ne proposent pas de garde-fous plus efficaces, les enfants ne devraient pas s'en servir."
Parmi les exemples cités par l'étude, celui d'un utilisateur à qui un compagnon de la plateforme Character AI conseille de tuer quelqu'un, ou un autre en recherche d'émotions fortes qui se voit suggérer de prendre une "speedball", mélange de cocaïne et d'héroïne.
Des incitations au suicide ?
Dans certains cas, "quand un utilisateur manifeste des signes de troubles mentaux et évoque des actions dangereuses, l'IA n'intervient pas (pour l'en dissuader), mais l'encourage", a expliqué Nina Vasan lors d'un point de presse, "car ces compagnons sont faits pour aller dans le sens" de leur interlocuteur.
"Quand un compagnon IA approuve tout ce que vous dites", a-t-elle martelé, "il ne peut pas vous protéger lorsque vous en avez le plus besoin."
Près d'un emploi sur deux concerné par l'intelligence artificielle, selon l'ONU
En octobre, une mère a assigné en justice Character AI, accusant l'un de ses compagnons d'avoir contribué au suicide de son fils de 14 ans, faute de l'avoir clairement dissuadé de passer à l'acte.
En décembre, Character AI a annoncé une série de mesures, notamment le déploiement d'un compagnon dédié aux adolescents.
Robbie Torney, en charge de l'IA chez Common Sense, a indiqué que l'organisation avait procédé à des tests après la mise en place de ces protections et les a trouvées "superficielles".
Le responsable a souligné que certains des modèles d'IA générative existants contenaient des instruments de détection de troubles mentaux et ne permettaient pas au chatbot de laisser une conversation dériver jusqu'à produire du contenu potentiellement dangereux.
Common Sense a fait une distinction entre les compagnons testés dans l'étude et les interfaces généralistes de type ChatGPT ou Gemini, "qui n'ont pas pour approche de proposer une gamme complète d'interactions relationnelles", a justifié Robbie Torney.
