Produits Entr'ouvert » w.c.s.

(sujet/description amendés pour évoquer les possibilités d'uwsgi, queue/spooler/etc.)

0001 pose le système, il s'agit d'utiliser le spooler d'uwsgi (https://uwsgi-docs.readthedocs.io/en/latest/Spooler.html) mais la dépendance est minimisée, le code qui y est exécuté est uniquement celui-ci :

+@spool
+def run_after_job(args):
+    from django.conf import settings
+    subprocess.run([
+        settings.WCS_MANAGE_COMMAND,
+        'runjob',
+        '--domain', args['tenant_dir'].strip('/').split('/')[-1],
+        '--job-id', args['job_id']
+    ])

c'est-à-dire qu'on lui passe le tenant et un identifiant de job, et qu'il passe la main à une nouvelle commande de management (runjob) pour l'exécution.

Cette commande également est très simple,

+    def handle(self, *args, **options):
+        domain = options.pop('domain')
+        self.init_tenant_publisher(domain)
+        try:
+            job = AfterJob.get(options['job_id'])
+        except KeyError:
+            raise CommandError('missing job')
+        job.run()

Pour arriver à ça l'évolution principale est que l'objet AfterJob, à qui la fonction à exécuter était passée, peut désormais être hérité, dans une classe qui définira une méthode execute, ex:

+class TestAfterJob(AfterJob):
+    def execute(self):
+        pass

Le système storage de w.c.s. réinitialise la classe des objets chargés depuis le pickle, ça ferait perdre la classe héritée, revenir à la classe AfterJob de base et ne pas savoir quoi exécuter. Pour contrer ça, il y a désormais un attribut _reset_class sur StorableObject, qui est ici mis à False.

Pour lancer l'exécution, ça reste HTTPResponse.process_after_jobs() qui est réduit à :

     def process_after_jobs(self):
-        [tout le reste]
+        for job in self.after_jobs or []:
+            job.run(spool=True)

On reste sur la mécanique actuelle qui lancera le process_after_jobs dans un thread via AfterJobsMiddleware, pas de changement ici.

Quand spool est passé à la méthode run() (et que l'afterjob a un id et une méthode), plutôt que l'exécution, le run() fait :

+        if spool and self.id and self.execute:
+            from django.conf import settings
+            if 'uwsgi' in sys.modules and settings.WCS_MANAGE_COMMAND:
+                from .spooler import run_after_job
+                self.store()
+                run_after_job.spool(tenant_dir=get_publisher().app_dir, job_id=self.id)
+                return

qui fera monter ça dans le spooler.py vu plus haut, qui lancera le process wcs-manage runjob ..., qui lancera le code.

Dans les détails à noter sur le patch, le uwsgi.ini,

+spooler-processes = 3
+import = wcs.qommon.spooler

et l'unit systemd :

-ExecStart=/usr/bin/uwsgi --ini /etc/%p/uwsgi.ini
+ExecStartPre=/bin/mkdir -p /var/lib/wcs/spooler/%m/
+ExecStart=/usr/bin/uwsgi --ini /etc/%p/uwsgi.ini --spooler /var/lib/wcs/spooler/%m/

Le paramètre --spooler est passé via l'unit, plutôt qu'être défini dans l'uwsgi.ini, pour avoir un répertoire spécifique par machine (le %m donne le "machine id").

Voilà pour la lecture presqu'intégrale de 0001.

Les autres patchs se ressemblent, ce sont des conversions d'afterjobs actuels vers des classes héritant de AfterJob, pour prendre le premier exemple assez court de 0002 (l'exécution de .store() sur tous les formdata, après avoir changé un gabarit de résumé).

On était sur l'exécution d'une fonction, elle disparait, on mentionne à la place une classe particulière, ici UpdateDigestAfterJob. On ne peut plus profiter des variables qu'on avait dans le contexte du moment, ici le self.formdef, donc on passe ça à l'objet.

-            def update(job=None):
-                for formdata in self.formdef.data_class().select(order_by='id'):
-                    formdata.store()
-            job = get_response().add_after_job(N_('Updating digests'), update)
+            get_response().add_after_job(UpdateDigestAfterJob(formdef=self.formdef))

Ensuite, la classe elle-même :

+class UpdateDigestAfterJob(AfterJob):
+    label = N_('Updating digests')
+
+    def __init__(self, formdef):
+        super().__init__(formdef_class=formdef.__class__, formdef_id=formdef.id)
+
+    def execute(self):
+        formdef = self.kwargs['formdef_class'].get(self.kwargs['formdef_id'])
+        for formdata in formdef.data_class().select(order_by='id'):
+            formdata.store()

le truc particulier ici c'est qu'on décompose le formdef reçu, c'est parce que tout l'afterjob est picklé, et éviter d'avoir ainsi tout le formdef picklé dedans, surtout que les formdef se picklent sans l'attribut fields. Donc on décompose en classe + id, puis dans l'execute on récupère ça (self.kwargs étant un dictionnaire reprenant tout ce qui aura été passé au constructeur d'AfterJob).

0003 pour convertir la création de fiches depuis un CSV, 0004 pour convertir l'exécution en masse d'une action, 0005 pour convertir les vues d'expot CSV/ODS.

Rien d'autre à dire, allons-y ainsi !

commit efe289e64b4579bc5214c6a6b43b860f6b8cf84e
Author: Frédéric Péters <fpeters@entrouvert.com>
Date:   Mon Nov 9 09:44:43 2020 +0100

    fields: use new map marker selection widget in front (#47066)

commit 0e9e91b2db723e0bf3f5b4be5915ad198d48222f
Author: Frédéric Péters <fpeters@entrouvert.com>
Date:   Mon Nov 9 16:55:44 2020 +0100

    backoffice: add options to item field for plotting choices on a map (#47066)

commit 1daf66e50c2f93a091e02647958fb5350fa4d24b
Author: Frédéric Péters <fpeters@entrouvert.com>
Date:   Mon Nov 9 09:41:01 2020 +0100

    api: add endpoint for geojson data sources (#47066)