Conversations encadrées : l’IA au service de la sécurité sur Roblox

Les utilisateurs reçoivent des notifications lorsqu’un message est reformulé pour corriger un langage inapproprié.

Des conversations plus saines grâce à l’IA

Depuis peu, Roblox expérimente une innovation qui pourrait bien changer la donne pour ses millions d’utilisateurs : un système de reformulation automatique, fondé sur l’intelligence artificielle, destiné à rendre les échanges en ligne plus respectueux. Jusqu’ici, la plateforme supprimait purement et simplement tout mot ou expression allant à l’encontre de sa politique de modération, les remplaçant par une succession de signes dièse. Or, ce procédé avait le défaut d’entraver la fluidité des discussions.

Une approche pédagogique et préventive

Le nouveau dispositif introduit une alternative plus nuancée : au lieu de masquer les propos inappropriés, il propose désormais des versions jugées acceptables par l’IA. Par exemple, un message comme « Hurry TF up » se transformera automatiquement en « Hurry up! ». Précision notable : chaque fois qu’une phrase est modifiée, tous les participants en sont informés via une notification. L’auteur du message peut consulter précisément ce qui a été altéré. Malgré cette technologie, les sanctions restent possibles pour les récidivistes : si un utilisateur s’obstine à employer un langage déplacé, il pourra être sanctionné conformément aux règles de Roblox. Selon Rajiv Bhatia, Chief Safety Officer du groupe, cette évolution favorise un cercle vertueux où le retour immédiat incite chacun à respecter les Community Standards.

Sécurité accrue mais controverse persistante

L’application de cette fonctionnalité reste toutefois limitée : seuls les joueurs ayant validé leur âge et appartenant à des tranches similaires y ont accès. Cette mesure s’inscrit dans un contexte de vigilance renforcée chez Roblox, qui a instauré en janvier dernier une vérification obligatoire après plusieurs signalements sur la présence présumée d’adultes mal intentionnés sur la plateforme. À ce titre, les enfants de moins de 13 ans ne peuvent désormais converser qu’au sein d’expériences spécifiques ; les autres bénéficient de chats adaptés à leur âge.

Voici quelques-unes des mesures mises en place :

• Système d’âge vérifié, restreignant le chat selon l’âge.
• Reformulation IA, pour remplacer immédiatement tout langage déplacé.
• Pénalités maintenues, même après modification du message.

Poursuites judiciaires et défi éthique

Malgré ces efforts, le débat reste vif. Plusieurs actions judiciaires ont récemment ciblé Roblox Corporation. Le comté de Los Angeles reproche à la société que sa plateforme «  rend les enfants une proie facile pour les pédophiles », tandis que le procureur général de Louisiane accuse carrément le service d’avoir « créé un parc public rempli de prédateurs sexuels… ». Face à ces accusations graves et récurrentes concernant la protection des mineurs en ligne, la question de la responsabilité des grandes plateformes numériques demeure brûlante.