Vanaf september 2023 stelt de Praktizijnsbibliotheek maandelijks 10 vragen over diverse rechtsgebieden aan zowel ChatGPT 3.5 als 4. We hanteren consistent dezelfde vragen om de kwaliteit van de antwoorden te beoordelen en om eventuele verbeteringen in de antwoordkwaliteit te volgen. Op deze pagina bieden we een uitgebreid overzicht van onze bevindingen, inclusief een sterrenbeoordeling per vraag per maand.
Over het algemeen zijn we niet bijzonder tevreden over de kwaliteit van de antwoorden die we van ChatGPT ontvangen. Het gebruik ervan als een betrouwbare zoekmachine voor juridische doeleinden kunnen we dan ook niet ten zeerste aanbevelen. Desondanks zien we mogelijk een lichtpuntje: de beantwoording van onze arbeidsrechtelijke vraag hebben we consequent beoordeeld met de maximale 5 sterren. Nu zijn we echter geneigd daar nog een halfje aan toe te voegen, omdat ChatGPT 4 voor het eerst een correcte verwijzing geeft naar twee arresten van het Hof van Justitie. Dit is de eerste keer dat we zo’n nauwkeurige verwijzing hebben gezien. Niettemin blijft de algemene klacht dat ChatGPT geen systematische jurisprudentie doorzoekt onverminderd van kracht.
Als grapje hebben we bovenstaande tekst laten herschrijven door ChatGPT. Stiekem vonden we onze eigen tekst wat sterker… ;)