Development #67190
supprimer le stockage pickle des formdata
0%
Description
Seulement garder le nécessaire pour permettre le convert-to-sql.
Fichiers
Révisions associées
general: update convert_to_sql for postgresql enabled by default (#67190)
sql: run role migrations in sql mode (#67190)
tests: stop running most tests with pickle storage (#67190)
general: remove is_using_postgresql conditionals (#67190)
tests: add check for refused http access for sites using pickle (#67190)
tests: simplify pub fixtures as sql is the new default (#67190)
Historique
Mis à jour par Frédéric Péters il y a presque 2 ans
- Fichier 0007-tests-add-check-for-refused-http-access-for-sites-us.patch 0007-tests-add-check-for-refused-http-access-for-sites-us.patch ajouté
- Fichier 0006-tests-update-root-directory-tests-to-use-fixtures.patch 0006-tests-update-root-directory-tests-to-use-fixtures.patch ajouté
- Fichier 0005-general-remove-is_using_postgresql-conditionals-6719.patch 0005-general-remove-is_using_postgresql-conditionals-6719.patch ajouté
- Fichier 0004-tests-stop-running-most-tests-with-pickle-storage-67.patch 0004-tests-stop-running-most-tests-with-pickle-storage-67.patch ajouté
- Fichier 0003-sql-run-role-migrations-in-sql-mode-67190.patch 0003-sql-run-role-migrations-in-sql-mode-67190.patch ajouté
- Fichier 0002-general-update-convert_to_sql-for-postgresql-enabled.patch 0002-general-update-convert_to_sql-for-postgresql-enabled.patch ajouté
- Fichier 0001-general-assume-require-SQL-configuration-67190.patch 0001-general-assume-require-SQL-configuration-67190.patch ajouté
- Statut changé de Nouveau à Solution proposée
- Patch proposed changé de Non à Oui
0001 en intro, pour que 1/ is_using_postgresql retourne toujours True, 2/ le site ne soit pas servi (via une erreur 503) et les crons pas exécutés quand postgresql n'est pas configuré.
0002 pour adapter convert_to_sql et les tests associés.
0003 pour exécuter le code de migration d'un rôle quand celui-ci est chargé via sql; c'est fait parce qu'il y avait un test sur le sujet, en soit c'est une migration (ajout du slug) qui est bien ancienne, qui pourrait être retirée. (mais je ferai un ticket différent sur toutes ces migrations Python, pour les dater précisément et convenir d'une politique de suppression).
0004 pour modifier tous les tests pour ne plus tourner en mode pickle. Ni la combinaison pickle-lazy, remplacée par sql-lazy. Quelques adaptations nécessaires. Ça supprime pas mal d'exécution de tests mais il n'y a pas de gain sur la durée globale d'exécution (à cause du sql-lazy qu'on ajoute).
0005 pour supprimer le is_using_postgresql (modifié en 0001 pour tout le temps retourner True); c'est un patch assez gros (49 files changed, 929 insertions, 1764 deletions) mais 95% des lignes modifiées c'est des lignes désindentées après la suppression d'une condition.
0006 pour moderniser tests/test_rootdirectory.py pour utiliser des fixtures, prélude à 0007 qui y ajoute un test sur l'accès http sur un site pas configuré (qui doit retourner 503 depuis 0001).
~~
0005 va être un peu pénible à rebaser à répétition donc ça m'irait bien d'avoir une validation pour le prochain cycle.
Mis à jour par A. Berriot il y a presque 2 ans
J'ai tout lu et ça me semble okay mais je découvre un peu tout donc faut pas se baser que sur mon avis ;)
Mis à jour par Lauréline Guérin il y a presque 2 ans
- Statut changé de Solution proposée à Solution validée
yeah \o/
ok, avec peut-être juste pour les tests (0004) la suppression du param sql_mode
de la fonction create_temporary_pub
(dont la valeur par défaut devient True), remplacement par pickle_mode
avec une valeur par défaut à False, passée à True pour les 2/3 tests qui en ont besoin ?
Mis à jour par Frédéric Péters il y a presque 2 ans
- Fichier 0008-tests-simplify-pub-fixtures-as-sql-is-the-new-defaul.patch 0008-tests-simplify-pub-fixtures-as-sql-is-the-new-defaul.patch ajouté
- Statut changé de Solution validée à Solution proposée
Yes, j'ai envoyé un nouveau commit pour faire ça et de manière plus générale nettoyer les fixtures "pub" (par exemple on avait des "two_pubs" faits pour tester pickle et sql devenus inutiles, rechangés en pub tout court). (en cours de build si c'est pas vert tout de suite je corrigerai).
~~
Ensuite on perd du coverage dans wcs/qommon/storage.py parce que particulièrement sur les clauses/conditions il y a du code qui servait uniquement pour de l'usage avancé sur les demandes/fiches, ça pourra être un petit nettoyage supplémentaire, mais ailleurs.
Mis à jour par Frédéric Péters il y a presque 2 ans
- Statut changé de Solution proposée à Solution validée
je garde la validation quand même :)
Mis à jour par Frédéric Péters il y a presque 2 ans
- Statut changé de Solution validée à Résolu (à déployer)
commit 790caa0ddd600b180355bde6b6526c32c69064c5 Author: Frédéric Péters <fpeters@entrouvert.com> Date: Mon Jul 11 16:45:37 2022 +0200 tests: simplify pub fixtures as sql is the new default (#67190) commit 1fd2ab76a1773763a94a76546704ed0a20830b1a Author: Frédéric Péters <fpeters@entrouvert.com> Date: Mon Jul 11 09:44:42 2022 +0200 tests: add check for refused http access for sites using pickle (#67190) commit 1eda23197b40cd323642ff0280b04541ef49b5b0 Author: Frédéric Péters <fpeters@entrouvert.com> Date: Mon Jul 11 09:34:05 2022 +0200 tests: update root directory tests to use fixtures commit 3484ae5341b0301f8f318f86fcba7843b9ce2c63 Author: Frédéric Péters <fpeters@entrouvert.com> Date: Sun Jul 10 21:32:33 2022 +0200 general: remove is_using_postgresql conditionals (#67190) commit b184acabd58471def2c6460af90e7d09c12285b9 Author: Frédéric Péters <fpeters@entrouvert.com> Date: Sun Jul 10 11:38:24 2022 +0200 tests: stop running most tests with pickle storage (#67190) commit 88506eb4a20ec82f70d313d5e114a59d904ab8f3 Author: Frédéric Péters <fpeters@entrouvert.com> Date: Sun Jul 10 14:40:40 2022 +0200 sql: run role migrations in sql mode (#67190) commit 35e5dac0a710af54f06ab9aea3b4980356fb08fe Author: Frédéric Péters <fpeters@entrouvert.com> Date: Sun Jul 10 11:37:26 2022 +0200 general: update convert_to_sql for postgresql enabled by default (#67190) commit f47f725daad8c3894505bf53cd8d6201986fa41a Author: Frédéric Péters <fpeters@entrouvert.com> Date: Sun Jul 10 11:04:04 2022 +0200 general: assume/require SQL configuration (#67190)
Mis à jour par Transition automatique il y a presque 2 ans
- Statut changé de Résolu (à déployer) à Solution déployée
general: assume/require SQL configuration (#67190)