Wikipédia, formats brutes

La base de données contenant toutes les pages de Wikipédia et autre sites de la fondation WikiMedia est automatiquement archivée très régulièrement. Les dumps de la base sont disponibles sur http://download.wikimedia.org/. Vous trouverez ainsi :

Il est également possible de télécharger l'intégralité de l'encyclopédie dépourvue des balises wiki : http://download.wikimedia.org/nowiki/.

Le billet Créer un miroir Wikipédia explique comment construire une copie locale de l'encyclopédie à partir de ces différents dumps. Nous nous donnons comme objectif d'exploiter ces dumps directement sans passer par une importation en base de données.

L'outil d'exportation et d'importation de MediaWiki : mwdump

MWDumper est un outil écrit en Java par les développeurs de MediaWiki qui permet d'importer/exporter une base MediaWiki à partir de/vers une base de données. Cet outil a l'avantage de travailler directement sur la version compressée du dump XML, réduisant ainsi le besoin en espace disque disponible. Cet outil s'utilise en ligne de commande et offre un certain nombre de paramètres permettant notamment de filtrer les articles à exporter ou bien le format SQL à prendre en charge.

Une version compilée de l'outil est disponible sur download.wikipedia.org, mais il y a de forte chance qu'elle soit dépassée. Le plus sûr est de compiler l'outil depuis les sources.

Une partie du code de cet outil va nous faciliter la tâche pour la réalisation d'un collection reader pour UIMA, notamment les classes :

  • org.mediawiki.importer.XmlDumpReader
  • org.mediawiki.importer.DumpWriter
  • org.mediawiki.importer.Page
  • org.mediawiki.importer.Revision

Il nous faut toutefois noter que XmlDumpReader repose sur un analyseur SAX, ce qui n'est pas directement utilisable dans un Collection Reader d'UIMA. En effet, dans UIMA c'est le Collection Reader qui contrôle l'exécution, alors qu'à l'opposé l'analyseur SAX contrôle sa propre exécution. La seule interaction avec le parseur est l'emploi des hooks.

L'idée est de faire tourner l'analyseur SAX dans un thread différent de celui du collection reader. Ensuite à l'aide d'un mécanisme de sémaphore (ou de monitor en Java), on contrôle l'exécution du parseur pour produire les CAS. Cette méthode permet d'utiliser presque directement l'outil de MediaWiki, ainsi si la syntaxe évolue, l'outil de MediaWiki évoluera également certainement et ce sera donc normalement transparent pour le collection reader.

Une première version de collection reader pour Wikipedia

Voici une première version du collection reader pour Wikipédia qui ne prend pas du tout en compte la syntaxe, mais charge seulement le contenu des pages dans un CAS. Il y a encore beaucoup de travail pour obtenir quelque chose d'intéressant et d'utilisable, d'où l'estampillage 0.1. Pour utiliser le composant, il est nécessaire d'avoir le jar de mwdumper dans le classpath.

Il y a tout un tas d'améliorations que j'aimerais apporter (filtrage, analyse de la syntaxe wiki, ...) mais l'idée est dans un premier temps de fournir une version brute de fonderie qui fonctionne pour qu'elle puisse être testée. Le jar contient notamment le code Java, donc il ne faut pas hésiter à y jeter un oeil.

Le descripteur est dans le Jar distribué, il ne prend en paramètre que le chemin vers le dump XML à charger. Peu importe l'extension (.gz, .bz, ...), il devrait pouvoir s'en sortir. Si ce n'est pas le cas, laissez un commentaire ! Je n'ai fait que peu de tests pour le moment, je ne sais pas trop comment le composant tient la route sur des gros dumps, mais la première remarque est qu'il est nécessaire d'augmenter la taille du tas de la jvm (-Xmx=512m pour commencer). En effet, certaines pages sont assez imposantes de par leur grand nombre de révisions, et pour l'instant toutes les révisions sont chargées dans chaque CAS.

Autres billets