Développement d’un module de comparaison d’annotations textuelles

De nombreuses tâches de traitement automatique des langues, en particulier parmi celles d’extraction d’information pour lesquelles le logiciel Unitex/GramLab est utilisé, sont évaluées par comparaison avec un étiquetage manuel, en utilisant des métriques classiques de type précision, rappel et F-mesure. Le développement d’un module de comparaison de deux fichiers de textes annotés, contenant le même texte mais avec des annotations différentes (par exemple attribuées manuellement pour le premier texte, automatiquement pour le second), serait donc intéressant pour Unitex/GramLab.

Un premier pas dans cette direction est fait avec la publication du logiciel libre Gemini, codé en Java. Cet outil calcule diverses métriques, dont la signification est détaillée dans la présentation de l’outil sur GitHub, pour comparer deux fichiers de texte annoté (au format BRAT ou XML) :

Gemini permet également de construire une représentation visuelle de cette comparaison sous forme d’une page web où les annotations mises en correspondance apparaissent de deux couleurs différentes :

Il permet enfin d’exporter un fichier tableur contenant l’ensemble des appariements d’annotations effectués :

Le début du développement de Gemini a été fait par Coline Mignot, étudiante du DUT Métiers du multimédia et de l’internet à Champs-sur-Marne, lors d’un stage de deuxième année d’un mois, encadré par Philippe Gambette en juillet 2017, et financé par le projet Eclavit. Cette première version est fondée sur l’algorithme de recherche d’un couplage maximum dans un graphe biparti aux arêtes pondérées, pour la mise en relation des annotations des deux fichiers.

Le développement de cet outil a été poursuivi pendant le stage de master 1 de Yuheng Feng, étudiant en master d’informatique à l’Institut Gaspard-Monge, encadré par Tita Kyriacopoulou, Claude Martineau et Philippe Gambette, de mai à juillet 2018, financé par le LIGM. Cela a permis d’aboutir au code actuel de Gemini, logiciel libre sous licence LGPL v3.0.


Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.