Как построить иерархию категорий википедии?

Question

Я пытаюсь построить treegraph статей в википедии и его категорий. Что мне нужно сделать?

С этого сайта (http://dumps.wikimedia.org/enwiki/latest/), я скачал:

• enwiki-последнего page.sql.gz
• enwiki-последнего categorylinks.sql.gz
• enwiki-20141106- category.sql.gz

Я попытался последовал ответ здесь (Wikipedia Category Hierarchy from dumps), но это не кажется, что categorylinks имеет ту же схему (не столбец PageId).

Каков правильный способ построения иерархии?

Бонуса вопрос: Как я могу сказать, какой из 35Х страниц в enwiki-последней-page.sql.gz являются статьи (предположительно около 5M согласно статистике Википедии)

Благодарности

Answer 1

Да, он превращается этот stackoverflow answer был прав. Он ссылался на правильные наборы данных, но я был слишком плотным, чтобы понять, как связать их вместе.

Благодаря @svick за то, что он провел через отдельные шаги в частном чате.

В интересах других я подробно описал взаимосвязь между наборами данных и точными шагами по пересечению графика в своем блоге, что является сводкой нашего частного чата.

Parsing Wikipedia Page Hierarchy

Answer 2

Я встретил ту же проблему для японской википедии.

Я решил эту проблему следующим образом:

• ПОЛУЧИТЬ SQL для категории, categorylinks, страницы и импорта на мой сервер MySQL.
• выполните следующую команду. Вы можете получить подкатегории «学問».

 
    MariaDB [wikipedia]> select page.page_title from categorylinks join page on page.page_id = categorylinks.cl_from join category on categorylinks.cl_to = category.cat_title where categorylinks.cl_type = 'subcat' and category.cat_title like '学問'; 
+-----------------------------------+ 
| page_title      | 
+-----------------------------------+ 
| 学問の分野      | 
| 科学        | 
| 学問スタブ      | 
| 架空の思想・学問     | 
| 学者        | 
| 学術出版       | 
| 学術称号       | 
| 学術団体       | 
| 学生        | 
| 学派        | 
| 学問の賞       | 
| 研究        | 
| 高等教育       | 
| 知識        | 
| 問題        | 
| ルネサンス・ユマニスム   | 
+-----------------------------------+ 
16 rows in set (0.00 sec)