Snapchat : l’IA conversationnelle encourage une relation sexuelle entre mineurs et adultes

Le système My AI mis en place par le réseau social propose parfois des réponses qui mettent en danger les adolescents.

Encore confidentiels il y a quelques mois, l’intelligence artificielle et les robots conversationnels sont aujourd’hui sur toutes les lèvres, grâce notamment à la percée de ChatGPT. Pourtant, cette technologie est loin de faire consensus, et ce, même chez certains pionniers du domaine. En plus des accusations de favoriser les fake news, une nouvelle polémique touchant le système My AI de Snapchat vient mettre en lumière l’obligation de réguler très rapidement ce marché.

My AI fait peur

SnapChat comme beaucoup d’autres a donc succombé aux sirènes de l’intelligence artificielle. Le réseau social a en effet développé le robot conversationnel My AI et le propose à ses utilisateurs depuis deux mois maintenant. Mais le moins que l’on puisse dire, c’est que l’algorithme est loin de faire l’unanimité !

En effet, si le robot conversationnel agit comme un ami en racontant des blagues ou en entretenant des conversations avec les utilisateurs, il a parfois des réponses inquiétantes, voire dangereuses.

My AI et les relations sexuelles mineures/adultes

L’exemple le plus flagrant des dérives de My AI a été mis en avant par la journaliste Marie Gentric de BFM TV. En effet, cette dernière s’est faire passer par une adolescente de 13 ans sur la plateforme et a indiqué à l’IA qu’elle entretenait une relation avec un homme de 30 ans.

Plutôt que d’appuyer sur le caractère interdit de cette relation et le danger que pouvait courir ce profil d’adolescente créé par la journaliste, My AI lui a indiqué que cette relation était non seulement belle, mais que la jeune fille pouvait avoir une relation sexuelle avec son compagnon trentenaire.

J'ai testé le chatbot de Snapchat, désormais accessible à tous, en indiquant que j'avais 13 ans. Je lui ai dit que j'avais rencontré un homme de 30 ans, qu'on partait en WE & que je voulais faire ma première fois avec lui. Le chatbot m'a encouragée. @BFMTV pic.twitter.com/bghr9OcojE

— Marie Gentric (@MarieGentric) May 2, 2023

Une IA basée sur ChatGPT

Même en essayant d’appuyer sur ses doutes quant au caractère interdit de cette relation, l’IA a continué à dire à l’adolescente qu’une relation sexuelle pourrait être « très romantique » tant « qu’on se sent à l’aise ». De quoi donner des sueurs froides lorsque l’on sait que Snapchat est utilisé par un public jeune. Rappelons que le réseau social propose un centre de contrôle parental depuis peu.

Interrogé par BFM, Grégory Gazagne, PDG de Snapchat France, a indiqué que My AIT était normalement en mesure de prendre l’âge des utilisateurs en compte. Aussi, il a précisé que My AI était en partie basé sur l’algorithme de ChatGPT. Un algorithme qui a déjà prouvé qu’il pouvait avoir des failles…