Development #68185
démarrer les wcs-olap de collectivités indépendantes en parallèle
0%
Description
wcs-olap lancé sur toutes les collectivités en parallèle se ramasse quand il traite les collectivités appartenant au même publik "multi-collectivités", la réponse "immédiate" a été de supprimer la parallélisation (#67927).
Ce ticket pour un niveau supérieur de réponse, pour avoir une exécution globalement parallèle, mais des jobs qui seraient par "collectivité indépendante", i.e. soit une collectivité, soit un groupe de collectivités d'une interco.
Techniquement de ce que je vois ce serait :
- enqueue_wcs_olap, grouper les tenants qui sont de la même interco
- passer à wcs_olap une liste des fichiers .ini correspondant
- faire que wcs_olap itère sur cette liste de fichiers
Pour grouper les tenants ça se fait en regardant l'idp associé.
Fichiers
Révisions associées
Historique
Mis à jour par Frédéric Péters il y a plus d'un an
- Fichier 0001-misc-regroup-wcs-olap-runs-by-idp-68185.patch 0001-misc-regroup-wcs-olap-runs-by-idp-68185.patch ajouté
- Statut changé de Nouveau à Solution proposée
- Patch proposed changé de Non à Oui
Pas de tests unitaires sur cette partie uwsgi/spooler, j'ai testé en exécutant ça sur bijoe.node1.dev.saas.entrouvert.org (en y modifiant l'heure d'exécution pour ne pas attendre la nuit).
On y a bien groupement de ceux qui partagent un idp (signalpublik) :
enqueuing wcs-olap job for ['/var/lib/bijoe/tenants/statistics-fredcook.dev.entrouvert.org/wcs-olap.ini'] enqueuing wcs-olap job for ['/var/lib/bijoe/tenants/statistiques-chris.dev.entrouvert.org/wcs-olap.ini'] enqueuing wcs-olap job for ['/var/lib/bijoe/tenants/statistiques-signalpublik-matrice.dev.entrouvert.org/wcs-olap.ini', '/var/lib/bijoe/tenants/statistiques-signalpublik-pcros.dev.entrouvert.org/wcs-olap.ini', '/var/lib/bijoe/tenants/statistiques-signalpublik-test-deux.dev.entrouvert.org/wcs-olap.ini', '/var/lib/bijoe/tenants/statistiques-signalpublik-test-un.dev.entrouvert.org/wcs-olap.ini', '/var/lib/bijoe/tenants/statistiques-signalpublik-test-zero.dev.entrouvert.org/wcs-olap.ini'] enqueuing wcs-olap job for ['/var/lib/bijoe/tenants/stats-demo.dev.entrouvert.org/wcs-olap.ini']~
Mis à jour par Serghei Mihai il y a plus d'un an
- Statut changé de Solution proposée à Solution validée
Mis à jour par Frédéric Péters il y a plus d'un an
- Statut changé de Solution validée à Résolu (à déployer)
commit 4b7981a9516d5ce9277933511ff2b783aa8c6f73
Author: Frédéric Péters <fpeters@entrouvert.com>
Date: Tue Aug 16 14:39:40 2022 +0200
misc: regroup wcs-olap runs by idp (#68185)
Mis à jour par Transition automatique il y a plus d'un an
- Statut changé de Résolu (à déployer) à Solution déployée
misc: regroup wcs-olap runs by idp (#68185)