Страница 1 из 1

wiki dumps

СообщениеДобавлено: 13.03.2019, 15:28
shikulja
Была необходимость сдампить одну вики по игре. В общем перекапывал весь интернет.
Решил оставить в одной теме основную инфу, чтобы проще было ориентироваться.

Основные 2 способа:

1. (xml+images)7z/bz2 (по идее полноценный дамп базы)
Дампим:
https://github.com/WikiTeam/wikiteam
Читаем:
https://github.com/gnosygnu/xowa/releases/
либо рарным WikiTaxi
есть еще bzreader wikiparser
ни один из вариантов либо не заработал, либо не понравился, будут варианты получше пишите.
(по идее дамп можно на локал сервер закинуть и читать в браузере)

2. Zim (по идее дампит html страницы, парсит и упаковывает)
Дампим:
https://github.com/openzim/mwoffliner
https://github.com/vss-devel/zimmer
Читаем:
https://www.kiwix.org (стабильная 0.9)
https://github.com/kiwix/kiwix-desktop/releases
и аддоны под браузеры, приложения под мобилы.
(в целом все работает, кроме ридера гитхаба, мб пофиксят когда нибудь)

и еще непроверенный стафф:
https://migrations.atlassian.net/wiki/spaces/UWC/overview
https://github.com/tecoholic/Zimbalaka
https://github.com/birros/web-archives

3. Способ MetaProducts Offline Explorer дампит страницы как есть, со скриптами и пр.
подойдет для прочих не википедийных сайтов,

Нормального способа дампить и спарсить squarefaction, и различные wowhead подобные вики пока мне не известны.