Produits Entr'ouvert » Passerelle

à discuter

je pense qu'il manque quelque chose dans le spooler pour passer le domain:

    subprocess.run([
        settings.PASSERELLE_MANAGE_COMMAND,
        'runjob',
        '--job-id', args['job_id']
    ])

à la différence de wcs qui lance des jobs pendant le rendering de la réponse via un middleware, je me suis dit qu'on pouvait se placer dans le add_job:

    def add_job(self, method_name, natural_id=None, after_timestamp=None, **kwargs):
        resource_type = ContentType.objects.get_for_model(self)
        job = Job(resource_type=resource_type,
                  resource_pk=self.pk,
                  method_name=method_name,
                  natural_id=natural_id,
                  parameters=kwargs)
        job.set_after_timestamp(after_timestamp)
        job.save()
+       job.run(spool=True)
        return job

on_commit ajouté (j'ai testé avec et sans, les deux fonctionnent, mais dans un env de prod avec plus de mouvements probablement que sans on_commit on aurait des pb de transaction pas commitées au moment où le spooler prend le job)

j'ai testé en local en mode uwsgi, ça a l'air de tourner.

j'ai laissé la possibilité à la commande cron de traiter les jobs (pour les envs sans uwsgi), tout en supprimant la ligne qui va bien de la crontab.

cron avec uwsgi

pour info en local je lance ça comme ça:

PASSERELLE_SETTINGS_FILE=/home/lguerin/.config/publik/settings/passerelle/settings.py uwsgi --chdir . --module=passerelle.wsgi:application --env DJANGO_SETTINGS_MODULE=passerelle.settings --master --process 4 --pidfile=/tmp/project-master.pid --http=127.0.0.1:8024 --spooler-python-import=passerelle.utils.spooler --spooler /var/lib/passerelle/spooler/ --cron="-2 -1 -1 -1 -1 passerelle-manage tenant_command cron --all-tenants jobs" 

*** Starting uWSGI 2.0.19.1 (64bit) on [Mon Jan 18 10:50:15 2021] ***
...
[uwsgi-cron] command "passerelle-manage tenant_command cron --all-tenants jobs" registered as cron task
...
Mon Jan 18 10:50:20 2021 - [uwsgi-cron] running "passerelle-manage tenant_command cron --all-tenants jobs" (pid 474438)
...
[uwsgi-cron] command "passerelle-manage tenant_command cron --all-tenants jobs" running with pid 474438 exited after 3 second(s)

remplacement de toutes les crontabs

Jenkins est rouge sur des tests qui jouent avec les jobs dans test_sms.py :

    def test_send_schema(app, connector, to, destination):
        base_path = '/%s/%s/send/' % (connector.get_connector_slug(), connector.slug)
        payload = {
            'message': 'not a spam',
            'from': '+33699999999',
            'to': [to],
        }
        with mock.patch.object(connector, 'send_msg') as send_function:
            app.post_json(base_path, params=payload)
            connector.jobs()
>           assert send_function.call_args[1]['destinations'] == [destination]
E           TypeError: 'NoneType' object is not subscriptable

... send_function.call_args est None, comme si le job n'avait pas été joué lors du connector.jobs()

Parfait !

commit d53ce49abbe98953fc1b52afc63abc311cb9ff5c
Author: Lauréline Guérin <zebuline@entrouvert.com>
Date:   Thu Jan 14 15:00:15 2021 +0100

    jobs: use uwsgi spooler to run jobs (#50017)