Nadat we een half jaar vragen aan ChatGPT hebben gesteld zoals we die letterlijk van advocaten hadden ontvangen, hebben we gezocht naar uitbreiding van de vraagstelling met vier soorten “prompts”:
- Benoemen van de context, bijvoorbeeld land en rechtsgebied.
- Benoemen van de doelgroep, in dit geval juristen.
- Aangeven welke informatie we specifiek in een antwoord wilden terugzien.
- Vragen om relevante jurisprudentie en artikelen.
Onze conclusie is dat ChatGPT met name door de vierde prompt hard onderuit gaat. Niet alleen geeft ChatGPT bij uitspraken lang niet altijd een ECLI, er is ook sprake van “hallucineren”: ChatGPT verzint uitspraken. Datzelfde troffen we aan bij de geciteerde literatuur. We hebben de antwoorden dan ook (nog) lager beoordeeld dan in de eerdere maanden. In juni zullen we de vragen weer stellen maar dan alleen met de eerste drie prompts in de hoop dat we dan een iets beter antwoord kunnen verwachten. Op deze pagina kunt u onze maandelijkse bevindingen volgen. We houden u op de hoogte.