De chatbot Replika die moet dienen als 'virtuele vriend' en een luisterend oor is door de Italiaanse persoonsgegevensautoriteit verboden, zo meldt Reuters. De chatbot zou potentieel schadelijk kunnen zijn voor 'jongeren die nog in ontwikkeling zijn of mensen in een emotioneel onstabiele staat'. De dienst mag geen gegevens van Italiaanse gebruikers verwerken en moet binnen enkele weken veranderingen doorvoeren, anders riskeert het bedrijf achter de chatbot een boete van tientallen miljoenen euro's.
Gebruikers kunnen op Replika een AI inrichten naar eigen wensen om zo een virtuele vriend te creëren die altijd naar hen luistert en eventueel advies kan geven. Om die reden zou het als een gezondheidsproduct gezien kunnen worden, waar doorgaans hele strengen eisen voor gelden.
Het Italiaanse overheidsorgaan struikelt daarnaast voornamelijk over het feit dat minderjarigen de dienst zonder enig toezicht kunnen gebruiken. Er is geen leeftijdsbevestiging nodig en zelfs wanneer kinderen nadrukkelijk tegen de chatbot zouden zeggen dat ze minderjarig zijn, zou er geen geautomatiseerd systeem in werking treden om de dienst te stoppen.
Dergelijke diensten mogen onder Europese wetten niet zomaar de data van minderjarigen gebruiken omdat kinderen simpelweg niet in staat zijn om contracten met dergelijke bedrijven te tekenen. Naar verwachting zullen meer persoonsgegevensautoriteiten zich buigen over Replika en vermoedelijk ook grotere partijen binnen de AI-wereld, bijvoorbeeld over ChatGPT.
Afbeelding via Replika
Bronnen: Reuters, Autoriteit Persoonsgegevens Italïe
