In het woensdag verschenen rapport waarschuwt de AP dat AI-chatbots „dikwijls ongepast” reageren als gebruikers vertellen over hun mentale problemen, en dat kan soms zelfs schadelijk zijn. Ze verwijzen niet altijd naar professionele hulp of interpreteren woorden verkeerd, staat in het rapport.

Volgens Haselager kunnen chatbots inderdaad gevaarlijk zijn. „Een chatbot associeert op woorden die iemand gebruikt. Op basis daarvan produceert het reeksen van woorden die wij begrijpen, maar waar geen enkel begrip achter zit”, zegt hij. „Dat wil je bij kwetsbare mensen of jongeren niet hebben.” Tegelijkertijd kunnen de bots ook voordelen hebben: ze zijn altijd beschikbaar en anoniem. „Mensen voelen zich niet veroordeeld of beoordeeld.”

Ook kan een chatbot hulp bieden bij de lange wachtlijsten in de ggz. Het kan bijvoorbeeld bepaalde taken van een hulpverlener overnemen. „Onder klinische begeleiding kan het bijvoorbeeld helpen om je gedachten te ordenen of een eerste stap zijn bij zelfreflectie. Maar het mag een hulpverlener nooit volledig gaan vervangen. We moeten de risico’s niet onderschatten.”

De AP waarschuwt ook dat AI-gesprekken steeds moeilijker van echt te onderscheiden zijn. Volgens Haselager is het daarom belangrijk dat de AI Act, een uitgebreide wet voor de regulering van kunstmatige intelligentie, een kwaliteitscontrole op AI vereist. „Chatbots moeten zich bekendmaken als AI, zodat mensen zich daarin niet kunnen vergissen. Als bedrijven zich daar niet aan houden, zijn ze strafbaar.”