Archivage web avec Kiwix et Zimit

Voici la méthode que j'utilise afin d'archiver une page web ou bien un site internet complet pour une lecture hors ligne.

J'utilise un serveur Kiwix afin de lire mes archives ZIM, l'outil Zimit pour créer les archives et celle-ci sont stockées sur un serveur externe au service.

1️⃣ Configuration du serveur de stockage

Créer un utilisateur + mot de passe
Créer un dossier de partage smb/cifs
Configurer les droits d'accès

2️⃣ Configuration du serveur Kiwix

Installer le paquet cifs-utils
Monter le partage à l'emplacement voulu ici : /srv/kiwix

▶️ Exemple fstab :

//serveur-de-stockage/kiwix /srv/kiwix cifs credentials=/etc/.smbcredentials-kiwix,uid=0000,gid=000,file_mode=0770,dir_mode=0770,iocharset=utf8 0 0

⚠️ J'utilise pour l'authentification un fichier de conf credentials, afin de ne pas laisser en clair le user/pass, car le fichier fstab est par défaut autorisé en lecture par tous, ne pas oublier d'adapter également uid et gid.

▶️ Exemple credentials :
username=user
password=MotDePasse

3️⃣ Premier fichier zim

Dans notre répertoire /srv/kiwix/zim il est important d'y déposer une première archive ZIM avant le déploiement de Kiwix,
voir ce dépot publique https://library.kiwix.org

4️⃣ Déploiement du serveur Kiwix

Ici le docker-compose.

5️⃣ Utilisation manuel de Zimit

Cette commande pour exécuter un archivage web en fichier ZIM :

docker run --rm -it -v /srv/kiwix/zim:/output ghcr.io/openzim/zimit zimit  --seeds="https://lien-du-site"   --name="nom-de-l'archive"   --title="titre-de-l'archive"   --output=/output   --pageLimit=20   --waitUntil=networkidle0   --workers=4   --scopeExcludeRx="(\?q=|signup-landing\?|\?cid=)"

Plus d'infos sur les variables dans le dépot du projet https://github.com/openzim/zimit

6️⃣ Utilisation de mon interface zimit-webapp (direct mode)

Mettre en place cette architecture de fichiers

zimit-webapp/
├── app.py                  # Serveur Flask
├── templates/
│   └── index.html          # Interface web
├── data/
|   ├── tasks.json          # Fichier de tâches (Généré automatiquement)
│   └── zimit_archives.log  # Fichier de logs (Généré automatiquement)
└── requirements.txt        # Dépendances Python

# Si arborescence initialisée depuis téléchargement du repo, pensez à supprimer Dockerfile et docker-compose.yml qui sont inutiles pour cet usage.

Se placer dans le repertoire zimit-webapp
Créer un environement virtuel Python python3 -m venv menv
Activer cet environement source menv/bin/activate
Installer les dépendances pip install -r requirements.txt
Démarrer le serveur python app.py

7️⃣ Utilisation de mon interface zimit-webapp (container mode)

Cloner le dépôt
Se placer dans zimit-webapp
Démarrer le conteneur avec docker compose up -d

⚠️ Mon image a été compilée sur Debian 13 en architecture amd64 pour recompiler faire docker build -t nom-de-l'image:tag .

8️⃣ Aperçu de l'interface

Interface accessible en http://ip-du-serveur:8080

🚧 Objectifs

Création d'un container pour simplifier sa mise en place et pour un usage en production.
Amélioration esthétique de l'interface web
Amélioration de la gestion des logs
Gestion des droits

📚 Ressources

Site de Kiwix https://kiwix.org/
Github de Zimit https://github.com/openzim/zimit

3.9 KiB Raw Blame History Unescape Escape