Существует ли существующая библиотека для анализа таблиц Wikpedia из дампа?

Question

Мне нужно извлечь данные из таблиц в дампе вики в несколько удобной форме, например. список списков. Однако из-за формата дампа это выглядит довольно сложно. Я знаю о WikiExtractor, который полезен для получения чистого текста с дампа, но он вообще не удаляет таблицы. Есть ли синтаксический анализатор, который бы обеспечивал мне удобные для чтения таблицы таким же образом?

Answer 1

Мне не удалось найти хороший способ проанализировать таблицы Википедии из XML-дампов. Однако, похоже, некоторые способы сделать это с помощью парсеров HTML, например. wikitables парсер. Для этого потребуется много скрепов, если вам не нужно анализировать только таблицы с определенных страниц. Тем не менее, представляется возможным сделать его в автономном режиме, как это кажется HTML Wiki отвалы собирается возобновить (dumps, phabricator task)