Archives de catégorie : Logiciel

Développement d’un module de comparaison d’annotations textuelles

De nombreuses tâches de traitement automatique des langues, en particulier parmi celles d’extraction d’information pour lesquelles le logiciel Unitex/GramLab est utilisé, sont évaluées par comparaison avec un étiquetage manuel, en utilisant des métriques classiques de type précision, rappel et F-mesure. Le développement d’un module de comparaison de deux fichiers de textes annotés, contenant le même texte mais avec des annotations différentes (par exemple attribuées manuellement pour le premier texte, automatiquement pour le second), serait donc intéressant pour Unitex/GramLab.

Un premier pas dans cette direction est fait avec la publication du logiciel libre Gemini, codé en Java. Cet outil calcule diverses métriques, dont la signification est détaillée dans la présentation de l’outil sur GitHub, pour comparer deux fichiers de texte annoté (au format BRAT ou XML) :

Gemini permet également de construire une représentation visuelle de cette comparaison sous forme d’une page web où les annotations mises en correspondance apparaissent de deux couleurs différentes :

Il permet enfin d’exporter un fichier tableur contenant l’ensemble des appariements d’annotations effectués :

Le début du développement de Gemini a été fait par Coline Mignot, étudiante du DUT Métiers du multimédia et de l’internet à Champs-sur-Marne, lors d’un stage de deuxième année d’un mois, encadré par Philippe Gambette en juillet 2017, et financé par le projet Eclavit. Cette première version est fondée sur l’algorithme de recherche d’un couplage maximum dans un graphe biparti aux arêtes pondérées, pour la mise en relation des annotations des deux fichiers.

Le développement de cet outil a été poursuivi pendant le stage de master 1 de Yuheng Feng, étudiant en master d’informatique à l’Institut Gaspard-Monge, encadré par Tita Kyriacopoulou, Claude Martineau et Philippe Gambette, de mai à juillet 2018, financé par le LIGM. Cela a permis d’aboutir au code actuel de Gemini, logiciel libre sous licence LGPL v3.0.

Développement d’un outil d’export de sous-corpus textuels

Certains outils de textométrie ne permettent pas facilement de mettre à jour le corpus textuel traité, pour enlever des textes, en ajouter, ou faire des modifications comme un passage en minuscules ou des remplacements automatisés de mots, abréviations, etc.

iconexporaUn outil a été implémenté cet été dans le cadre d’un projet ANR commun à deux laboratoires partenaires d’ECLAVIT, le LIGM et le CEDITEC.

Il s’agit de stocker le corpus sous forme d’une base de données de textes et de métadonnées associées, et de faciliter, à l’aide d’une interface web, l’extraction de sous-corpus à l’aide d’un formulaire permettant de choisir les textes et métadonnées exportées, de filtrer et trier les résultats, et de choisir le format d’export.

Cet outil, nommé Expora, a été programmé, sous forme d’un logiciel libre sous licence GPL, par un étudiant de l’IIT Ropar (Inde), Sai Samarth R. Phaye. Expora est adaptable pour d’autres bases de données que celle du projet ANR APPEL (voir la vidéo de présentation et la vidéo d’installation)

Rendre cliquables les feuilles d’un nuage arboré TreeCloud

Les méthodes de textométrie facilitent souvent le retour au texte, afin de permettre la vérification de certaines hypothèses issues des outils de statistiques ou de visualisation appliqués sur le corpus. Jusqu’alors, les nuages arborés construits TreeCloud ne permettaient pas de revenir au texte en cliquant sur les mots. C’est désormais faisable avec un simple code jQuery, comme expliqué sur cette page.

La solution proposée consiste à modifier le code HTML de la page web qui contient le nuage arboré, inséré au format SVG (exporté depuis SplitsTree), en utilisant quelques lignes de script Javascript/jQuery. Ces lignes permettent d’ajouter un lien qui commence de manière identique pour tous les mots (par exemple, « https://www.google.fr/?q= » si l’on veut faire un lien vers une page de résultats Google) et qui se termine par le mot en question.

Une démonstration est fournie sur la page citée ci-dessus pour un nuage arboré des mots-clés caractérisant un ensemble de publications de l’UPEM de 2012 à 2015 : quand on clique sur chaque mot du nuage arboré, on est renvoyé vers l’URL qui commence par « https://hal-upec-upem.archives-ouvertes.fr/search/index/?q= » et qui se termine par le mot en question, c’est-à-dire la page de recherche de ce mot parmi les publications de l’UPEM référencées dans HAL.

2016-07-04-Treecloud-Linker-UPEM

Ateliers TextObserver, Unitex, Cortext, TreeCloud

Le 29 juin dernier a eu lieu à l’UPEC la deuxième édition de la journée dédiée aux outils de traitement de corpus textuels développés à Paris-Est.

Une quinzaine de participants a assisté à une présentation/démo puis un atelier de mise en pratique :

2016-06-29-Unitex

2016-06-29-Textobserver

2016-06-29-Repas

2016-06-29-Repas_2

2016-06-29-Cortext

2016-06-29-Treecloud

Outils de traitement de corpus textuels développés à Paris Est : démonstrations, formations, ateliers – Deuxième édition

Outils_textometrie_UPE_2016Cette journée se tiendra le 29 juin prochain à l’UPEC, Campus Centre, salles I2-306 et I2-317, 61 avenue du Général de Gaulle, 94000 Créteil (ligne 8 – Métro Université).

A l’interface entre sciences du langage, informatique et statistique, le traitement automatique de données textuelles vise des applications multiples : tests d’hypothèses à partir de productions écrites ou orales, analyses exploratoires de corpus web, journalistiques, politiques ou littéraires, visualisation d’opinions, extraction d’informations, etc. Plusieurs laboratoires de l’Université Paris-Est développent des outils dédiés au traitement automatique de données textuelles : TextObserver, Unitex/ Gramlab, TreeCloud, CorText Manager. Ils se proposent de les présenter, le 29 juin 2016 à l’UPEC, à leurs utilisateurs potentiels, mais aussi aux concepteurs de méthodologies ou d’outils qui exploitent des données textuelles.

> Télécharger le programme

Merci de confirmer votre participation au moyen de ce formulaire d’inscription.

 

Données pour la démo Cortext Manager : archive ZIP pour formation ECLAVIT juin 2016

Données pour la démo TreeCloudarchive ZIP pour formation treecloud juin 2016