AI als hulpmiddel bij het zoeken
De Praktizijn is zeer geïnteresseerd in de assistentie die AI (Artificial Intelligence of kunstmatige intelligentie) kan geven bij het zoeken naar juridische informatie. Onze informatiespecialisten experimenteren sinds september 2023 met het stellen van tien telkens dezelfde casusvragen aan zogenoemde large language models (LLM’s).
Vanaf september 2023 hebben we de vragen gesteld aan de gratis versie van ChatGPT 3.5 en de betaalde versie ChatGPT 4. Vanaf augustus 2024 stellen we de vragen aan ChatGPT 4o, ChatGPT 40 mini, Claude en Gemini, vanaf januari 2025 ook aan DeepSeek en vanaf februari aan Qwen. Tussentijds hebben we de prompts (de zoekopdrachten) enigszins verfijnd om tot betere resultaten te kunnen komen.
Opzet onderzoek
De Praktizijn beantwoordt dagelijks informatievragen van leden. De vragen komen uit diverse rechtsgebieden en speciaal voor dit onderzoek is een set opgesteld van tien zoekvragen. De vragen worden voorgelegd aan beide ChatGPT-versies om te beoordelen of de systemen iets toevoegen aan de eigen zoekacties. Om er achter te komen of er progressie zit in de beantwoording van zoekvragen worden de vragen maandelijks aan beide systemen voorgelegd. Andere aspecten van AI zoals teksten samenvatten of opstellen vallen buiten onze competentie en we willen hier dan ook geen oordeel over vellen.
Conclusies
In het algemeen zijn we ontevreden over de beantwoording door de LLM’s en we kunnen het gebruik ervan als serieuze zoekmachine beslist afraden:
- Slechts in beperkt aantal gevallen geven de systemen een correct en volledig antwoord.
- De antwoorden kunnen per keer dat de vraag wordt gesteld variëren.
- De systemen raadplegen slechts in beperkte mate openbare bronnen en bijvoorbeeld www.rechtspraak.nl en www.overheid.nl worden niet doorzocht maar ook de openbare catalogus van de Praktizijn niet. Anders dan Google doorzoeken de LLM’s ook niet de online beschikbare samenvattingen van betaalde uitgeverscontent.
- Daar komt bij dat de systemen “hallucineren” en met volstrekt uit de lucht gegrepen antwoorden kunnen komen.
- De LLM’s doen niet aan bronvermelding.
- Kortom: LLM’s kunnen een aardig hulpmiddel zijn voor de advocaat die hooguit op zoek is naar aanvullende, nog te verifiëren informatie.
U kunt maandelijks met ons meelezen. Voor uw op- of aanmerkingen houden we ons aanbevolen.
30% korting op Tekst & Commentaar voor sociaal advocaten
Informatieleverancier Wolters Kluwer heeft een unieke aanbieding voor sociaal advocaten. Advocaten die deelnemen aan het Praktizijnsproject ter ondersteuning van de sociale advocatuur en/of lid zijn van de VSAN kunnen gebruik maken van een korting van 30% op de prijs van een individueel Tekst & Commentaardeel, Lees meer
Advertentie
