Projet

Général

Profil

Development #67190

supprimer le stockage pickle des formdata

Ajouté par Frédéric Péters il y a presque 2 ans. Mis à jour il y a presque 2 ans.

Statut:
Fermé
Priorité:
Normal
Assigné à:
Version cible:
-
Début:
08 juillet 2022
Echéance:
% réalisé:

0%

Temps estimé:
Patch proposed:
Oui
Planning:
Non

Description

Seulement garder le nécessaire pour permettre le convert-to-sql.


Fichiers

Révisions associées

Révision f47f725d (diff)
Ajouté par Frédéric Péters il y a presque 2 ans

general: assume/require SQL configuration (#67190)

Révision 35e5dac0 (diff)
Ajouté par Frédéric Péters il y a presque 2 ans

general: update convert_to_sql for postgresql enabled by default (#67190)

Révision 88506eb4 (diff)
Ajouté par Frédéric Péters il y a presque 2 ans

sql: run role migrations in sql mode (#67190)

Révision b184acab (diff)
Ajouté par Frédéric Péters il y a presque 2 ans

tests: stop running most tests with pickle storage (#67190)

Révision 3484ae53 (diff)
Ajouté par Frédéric Péters il y a presque 2 ans

general: remove is_using_postgresql conditionals (#67190)

Révision 1fd2ab76 (diff)
Ajouté par Frédéric Péters il y a presque 2 ans

tests: add check for refused http access for sites using pickle (#67190)

Révision 790caa0d (diff)
Ajouté par Frédéric Péters il y a presque 2 ans

tests: simplify pub fixtures as sql is the new default (#67190)

Historique

#1

Mis à jour par Frédéric Péters il y a presque 2 ans

0001 en intro, pour que 1/ is_using_postgresql retourne toujours True, 2/ le site ne soit pas servi (via une erreur 503) et les crons pas exécutés quand postgresql n'est pas configuré.

0002 pour adapter convert_to_sql et les tests associés.

0003 pour exécuter le code de migration d'un rôle quand celui-ci est chargé via sql; c'est fait parce qu'il y avait un test sur le sujet, en soit c'est une migration (ajout du slug) qui est bien ancienne, qui pourrait être retirée. (mais je ferai un ticket différent sur toutes ces migrations Python, pour les dater précisément et convenir d'une politique de suppression).

0004 pour modifier tous les tests pour ne plus tourner en mode pickle. Ni la combinaison pickle-lazy, remplacée par sql-lazy. Quelques adaptations nécessaires. Ça supprime pas mal d'exécution de tests mais il n'y a pas de gain sur la durée globale d'exécution (à cause du sql-lazy qu'on ajoute).

0005 pour supprimer le is_using_postgresql (modifié en 0001 pour tout le temps retourner True); c'est un patch assez gros (49 files changed, 929 insertions, 1764 deletions) mais 95% des lignes modifiées c'est des lignes désindentées après la suppression d'une condition.

0006 pour moderniser tests/test_rootdirectory.py pour utiliser des fixtures, prélude à 0007 qui y ajoute un test sur l'accès http sur un site pas configuré (qui doit retourner 503 depuis 0001).

~~

0005 va être un peu pénible à rebaser à répétition donc ça m'irait bien d'avoir une validation pour le prochain cycle.

#2

Mis à jour par A. Berriot il y a presque 2 ans

J'ai tout lu et ça me semble okay mais je découvre un peu tout donc faut pas se baser que sur mon avis ;)

#3

Mis à jour par Lauréline Guérin il y a presque 2 ans

  • Statut changé de Solution proposée à Solution validée

yeah \o/

ok, avec peut-être juste pour les tests (0004) la suppression du param sql_mode de la fonction create_temporary_pub (dont la valeur par défaut devient True), remplacement par pickle_mode avec une valeur par défaut à False, passée à True pour les 2/3 tests qui en ont besoin ?

#4

Mis à jour par Frédéric Péters il y a presque 2 ans

Yes, j'ai envoyé un nouveau commit pour faire ça et de manière plus générale nettoyer les fixtures "pub" (par exemple on avait des "two_pubs" faits pour tester pickle et sql devenus inutiles, rechangés en pub tout court). (en cours de build si c'est pas vert tout de suite je corrigerai).

~~

Ensuite on perd du coverage dans wcs/qommon/storage.py parce que particulièrement sur les clauses/conditions il y a du code qui servait uniquement pour de l'usage avancé sur les demandes/fiches, ça pourra être un petit nettoyage supplémentaire, mais ailleurs.

#5

Mis à jour par Frédéric Péters il y a presque 2 ans

  • Statut changé de Solution proposée à Solution validée

je garde la validation quand même :)

#6

Mis à jour par Frédéric Péters il y a presque 2 ans

  • Statut changé de Solution validée à Résolu (à déployer)
commit 790caa0ddd600b180355bde6b6526c32c69064c5
Author: Frédéric Péters <fpeters@entrouvert.com>
Date:   Mon Jul 11 16:45:37 2022 +0200

    tests: simplify pub fixtures as sql is the new default (#67190)

commit 1fd2ab76a1773763a94a76546704ed0a20830b1a
Author: Frédéric Péters <fpeters@entrouvert.com>
Date:   Mon Jul 11 09:44:42 2022 +0200

    tests: add check for refused http access for sites using pickle (#67190)

commit 1eda23197b40cd323642ff0280b04541ef49b5b0
Author: Frédéric Péters <fpeters@entrouvert.com>
Date:   Mon Jul 11 09:34:05 2022 +0200

    tests: update root directory tests to use fixtures

commit 3484ae5341b0301f8f318f86fcba7843b9ce2c63
Author: Frédéric Péters <fpeters@entrouvert.com>
Date:   Sun Jul 10 21:32:33 2022 +0200

    general: remove is_using_postgresql conditionals (#67190)

commit b184acabd58471def2c6460af90e7d09c12285b9
Author: Frédéric Péters <fpeters@entrouvert.com>
Date:   Sun Jul 10 11:38:24 2022 +0200

    tests: stop running most tests with pickle storage (#67190)

commit 88506eb4a20ec82f70d313d5e114a59d904ab8f3
Author: Frédéric Péters <fpeters@entrouvert.com>
Date:   Sun Jul 10 14:40:40 2022 +0200

    sql: run role migrations in sql mode (#67190)

commit 35e5dac0a710af54f06ab9aea3b4980356fb08fe
Author: Frédéric Péters <fpeters@entrouvert.com>
Date:   Sun Jul 10 11:37:26 2022 +0200

    general: update convert_to_sql for postgresql enabled by default (#67190)

commit f47f725daad8c3894505bf53cd8d6201986fa41a
Author: Frédéric Péters <fpeters@entrouvert.com>
Date:   Sun Jul 10 11:04:04 2022 +0200

    general: assume/require SQL configuration (#67190)
#7

Mis à jour par Transition automatique il y a presque 2 ans

  • Statut changé de Résolu (à déployer) à Solution déployée
#8

Mis à jour par Transition automatique il y a plus d'un an

Automatic expiration

Formats disponibles : Atom PDF