Project

General

Profile

Bug #66342

base adresse, le cron qui met à jour les rues ne tourne plus ?

Added by Valentin Deniaud over 2 years ago. Updated over 2 years ago.

Status:
Fermé
Priority:
Normal
Target version:
-
Start date:
16 June 2022
Due date:
% Done:

0%

Estimated time:
Patch proposed:
Yes
Planning:
No

Description

En tout cas sur toutes les instances de recette, les données des rues ont été effacées et les connecteurs affichent le message « Les données des rues ne sont pas encore disponibles; elles devraient bientôt être téléchargées. ». Il est nécessaire de faire tourner la commande de synchronisation manuellement pour réparer.

Visible sur https://passerelle-validation.test.entrouvert.org/base-adresse/base-adresse/

Priorité haute parce que ça risque de se produire aussi en prod (?)


Files


Related issues

Related to Passerelle - Bug #66341: Import base_adresse: en cas d'ajout de codes postaux, l'import ne se fait pasRejeté16 June 2022

Actions
Related to Passerelle - Bug #66572: IntegrityError: ERREUR: la valeur d'une clé dupliquée rompt la contrainte unique « base_adresse_streetmodel_reso...Fermé24 June 2022

Actions
Related to Passerelle - Développement #67375: BAN: reprendre l'optimisation de l'import, qu'on a dû revertRejeté13 July 2022

Actions

Associated revisions

Revision da9b8184 (diff)
Added by Lauréline Guérin over 2 years ago

ban import: revert last optimizations (#66342)

This reverts commit 7479f1d1430713de4304f1801590c80d5981b408.

History

#3

Updated by Valentin Deniaud over 2 years ago

  • Status changed from Nouveau to Rejeté

J'avais pas vu #66341, mettons que ce soit ça.

#4

Updated by Valentin Deniaud over 2 years ago

  • Status changed from Rejeté to Nouveau
  • Priority changed from Haut to Normal

Plutôt je laisse ouvert, le bug décrit ici n'est pas le même que #66341, une fois ce dernier résolu il faudra passer ici dire que les rues sont bien réapparues partout, ou pas.

(aussi éventuellement comprendre pourquoi elles ont disparu)

#5

Updated by Valentin Deniaud over 2 years ago

  • Related to Bug #66341: Import base_adresse: en cas d'ajout de codes postaux, l'import ne se fait pas added
#8

Updated by Thomas Noël over 2 years ago

Ce matin on remonte que les rues ont à nouveau disparu en recette

#9

Updated by Lauréline Guérin over 2 years ago

        seen_citycodes = set()
        for department in departments:
            ....
        if "Last-Modified" in ban_gz.headers:
            # test 36H
            ... continue

        ...
        for line in ban_file:
            ....
            seen_citycodes.add(citycode)
            ....

        ....

    ....
    self.get_streets_queryset().exclude(citycode__in=seen_citycodes).delete()  # <-- ici, les données d'un département zappé sont supprimée

=> proposition: revert, mais on garde le changement ban_id null=True, les index, et les migrations associées

le patch: revert des 5 derniers commits de https://git.entrouvert.org/passerelle.git/log/passerelle/apps/base_adresse sur le sujet (squash en 1 seul), en gardant la modif schema+migration

#10

Updated by Lauréline Guérin over 2 years ago

(pour la lisibilité on peut aussi garder les 5 reverts tels quels et ajouter un commit pour rétablir les modifs de schéma + migration ?)

#11

Updated by Thomas Noël over 2 years ago

  • Status changed from Solution proposée to Solution validée

Lauréline Guerin a écrit :

(pour la lisibilité on peut aussi garder les 5 reverts tels quels et ajouter un commit pour rétablir les modifs de schéma + migration ?)

Le patch ne m'est pas illisible ainsi. J'allais presque dire "au contraire".

(et désolé Pierre... mais on va s'y remettre, y'a forcément des chemins d'optimisation de cette machinerie)

#12

Updated by Lauréline Guérin over 2 years ago

  • Status changed from Solution validée to Résolu (à déployer)
  • Assignee set to Lauréline Guérin
commit da9b818451dc39ab528e98349dccfb09e366387a
Author: Lauréline Guérin <zebuline@entrouvert.com>
Date:   Mon Jun 20 16:24:28 2022 +0200

    ban import: revert last optimizations (#66342)
#13

Updated by Transition automatique over 2 years ago

  • Status changed from Résolu (à déployer) to Solution déployée
#14

Updated by Lauréline Guérin over 2 years ago

  • Related to Bug #66572: IntegrityError: ERREUR: la valeur d'une clé dupliquée rompt la contrainte unique « base_adresse_streetmodel_reso... added
#15

Updated by Lauréline Guérin over 2 years ago

#16

Updated by Transition automatique over 2 years ago

Automatic expiration

Also available in: Atom PDF