L’IA au service du droit fiscal brésilien : BR-TaxQA-R, un pas de géant ?

Le monde juridique se transforme grâce à l’intelligence artificielle. Une nouvelle étude présente BR-TaxQA-R, un ensemble de données révolutionnaire pour la réponse aux questions juridiques avec références, axé sur le droit fiscal brésilien.

Un défi de taille : concilier précision juridique et fluidité linguistique

BR-TaxQA-R contient 715 questions provenant du document officiel de questions-réponses 2024 de l’Internal Revenue Service du Brésil. Ces questions sont enrichies de normes légales et de décisions administratives du Conselho Administrativo de Recursos Fiscais (CARF). Les chercheurs ont mis en place un pipeline de génération augmentée par la recherche (RAG) utilisant les embeddings d’OpenAI pour la recherche et GPT-4-mini pour la génération de réponses. L’objectif était de créer un système capable de répondre précisément et de manière fluide aux questions fiscales complexes.

Des résultats encourageants, mais des défis persistent

Les résultats montrent que le pipeline RAG personnalisé surpasse les outils commerciaux tels que ChatGPT et Perplexity.ai en termes de pertinence des réponses. Cependant, les modèles commerciaux obtiennent de meilleurs scores en termes d’exactitude factuelle et de fluidité. Ce constat souligne un compromis crucial : faut-il privilégier une réponse juridiquement inattaquable, même si elle manque un peu de fluidité, ou une réponse plus élégante mais potentiellement moins précise ?

L’importance de l’expertise humaine reste primordiale

L’étude met l’accent sur le rôle irremplaçable de l’expertise humaine. Même avec les avancées de l’IA, la validation par des experts juridiques est essentielle pour garantir la validité légale des réponses générées, particulièrement dans un domaine sensible comme la fiscalité. L’erreur peut coûter cher, aussi bien pour les contribuables que pour l’administration.

BR-TaxQA-R : une ressource précieuse pour la recherche

BR-TaxQA-R est une base de données publique, disponible sur Hugging Face. Elle offre un terrain d’expérimentation unique pour les chercheurs en traitement du langage naturel (TLN) et en droit. L’ensemble de données permet de développer et d’améliorer des systèmes d’IA capables de répondre aux questions juridiques avec précision et fiabilité.

Points clés à retenir :

• ✓ BR-TaxQA-R, un jeu de données pour les questions-réponses fiscales brésiliennes avec références.
• ✓ Un pipeline RAG personnalisé surpasse les outils commerciaux en pertinence des réponses.
• ✓ L’expertise humaine reste indispensable pour garantir la validité légale des réponses.
• ✓ BR-TaxQA-R est une ressource publique précieuse pour la recherche.