Développement #113200
openRéduires l'espace pris par les objets ContentSnapshotPart
0%
Description
L'objet wcs.workflows.ContentSnapshotPart conserve les modifications aux données des fiches et des demandes dans les évolutions.
C'est accompli en recopiant complètement l'ancienne et la nouvelle valeur de formdata.data respectivement dans part.old_data et part.new_data. Ça ne semble pas très efficace car on doit pouvoir reconstruire tout l'historique du formulaire en ne conservant que les données qui ont changées, et uniquement ces nouvelles valeurs (les anciennes peuvent être retrouvées en remontant dans l'historique). À l'époque il a été jugé plus simple de tout conserver pour pouvoir générer les blocs de diff dans l'affichage de l'historique (#62800-14).
Reste que ça semble bien prendre pas mal de place. Pour ne pas parler dans le vent, j'ai lancé un script sur une des grosses instances (ici une grande ville du sud-ouest), pour mesurer l'espace consommé par les ContentSnapshotPart actuellement, et la même mesure (en mesurant len(pickle.dumps(part, protocol=2)) si on retire part.old_data et qu'on retire les clés de part.new_data qui sont identiques dans part.old_data. Cela donne ce script (attaché) et le tableau en fin de description.
TLDR; on passe de 223Go à 20Go, donc l'idée semble prometteuse. Le résultat en production sera un peu moins visible, car la base réelle ne fait que 131Go (bizarre si 223Go de parts...) cela s'explique par la compression que postgresql applique sur les colonnes prenant beaucoup de place (via le mécanisme TOAST), les données sont alors stockées dans une table à part et compressées; reste qu'une division par x10 du volume d'une partie de la colonne même avec une très bonne compression, réduira les volumes échangées entre les instances de w.c.s. et la base (sur le réseau ça n'est pas compressé, là on a vraiment 223Go qui transitent) ainsi que la taille de la base elle même.
| slug | type | count | before | after | difference |
| deposer-un-dossier-de-pacs | formdefs | 0 | 0 | 0 | 0 |
| deposer-un-dossier-de-mariage… | formdefs | 0 | 0 | 0 | 0 |
| inscription-listes-electorales | formdefs | 0 | 0 | 0 | 0 |
| se-renseigner-sur-le-recensem… | formdefs | 0 | 0 | 0 | 0 |
| acte-de-reconnaissance | formdefs | 0 | 0 | 0 | 0 |
| permis-de-louer-renouvellement | formdefs | 0 | 0 | 0 | 0 |
| permis-de-louer-transfert | formdefs | 0 | 0 | 0 | 0 |
| prendre-un-rendez-vous-a-la-m… | formdefs | 0 | 0 | 0 | 0 |
| inscription-activites-culture… | formdefs | 0 | 0 | 0 | 0 |
| mes-excursions | formdefs | 0 | 0 | 0 | 0 |
| sv | formdefs | 0 | 0 | 0 | 0 |
| excursions-culturelles-sporti… | formdefs | 0 | 0 | 0 | 0 |
| pre-inscription | formdefs | 0 | 0 | 0 | 0 |
| test-image | formdefs | 0 | 0 | 0 | 0 |
| enquete-sur-l-utilisation-des… | formdefs | 0 | 0 | 0 | 0 |
| acte-de-naissance | formdefs | 0 | 0 | 0 | 0 |
| inscription-appels-en-masse | formdefs | 0 | 0 | 0 | 0 |
| acte-de-mariage | formdefs | 0 | 0 | 0 | 0 |
| commande-de-composteur-indivi… | formdefs | 0 | 0 | 0 | 0 |
| acte-de-deces | formdefs | 0 | 0 | 0 | 0 |
| demande-d-acces-a-la-zone-res… | formdefs | 0 | 0 | 0 | 0 |
| espace-pedagogique-pre-inscri… | formdefs | 0 | 0 | 0 | 0 |
| carte-montoulouse-avec-offre-… | formdefs | 0 | 0 | 0 | 0 |
| carte-nationale-d-identite-cn… | formdefs | 0 | 0 | 0 | 0 |
| point-info-seniors-rendez-vous | formdefs | 0 | 0 | 0 | 0 |
| consultation-des-places-dispo… | formdefs | 0 | 0 | 0 | 0 |
| meubles-de-tourisme | formdefs | 0 | 0 | 0 | 0 |
| taxe-de-sejour | formdefs | 0 | 0 | 0 | 0 |
| contester-un-forfait-de-post-… | formdefs | 0 | 0 | 0 | 0 |
| paiement-et-suivi-des-factures | formdefs | 0 | 0 | 0 | 0 |
| prendre-rendez-vous-pour-enre… | formdefs | 0 | 0 | 0 | 0 |
| paiement-et-suivi-des-facture… | formdefs | 0 | 0 | 0 | 0 |
| declaration-stationnement-pay… | formdefs | 0 | 0 | 0 | 0 |
| testfc | formdefs | 2 | 0 | 0 | 0 |
| inscription-a-une-activite-cu… | formdefs | 9 | 0 | 0 | 0 |
| prise-de-rendez-vous-visite-p… | formdefs | 10 | 0 | 0 | 0 |
| etat-civil-rendez-vous | formdefs | 10 | 0 | 0 | 0 |
| espace-de-memoire-du-castelet | formdefs | 31 | 0 | 0 | 0 |
| demande-de-composteur-collect… | formdefs | 97 | 0 | 0 | 0 |
| vide-greniers | formdefs | 136 | 0 | 0 | 0 |
| accessibilite-opera-urbain | formdefs | 175 | 0 | 0 | 0 |
| demande-de-subventions-pour-l… | formdefs | 189 | 0 | 0 | 0 |
| allo-toulouse-collecte-de-dec… | formdefs | 395 | 0 | 0 | 0 |
| repas-de-rue | formdefs | 441 | 0 | 0 | 0 |
| participation-au-2d-des-elect… | formdefs | 571 | 0 | 0 | 0 |
| signalement-domaine-public | formdefs | 617 | 0 | 0 | 0 |
| reinscription-au-conservatoir… | formdefs | 1 662 | 0 | 0 | 0 |
| prendre-rendez-vous-dans-un-c… | formdefs | 1 872 | 0 | 0 | 0 |
| distribution-des-masques-recl… | formdefs | 3 330 | 0 | 0 | 0 |
| allo-toulouse-collecte-dencom… | formdefs | 3 743 | 0 | 0 | 0 |
| allo-toulouse-collecte-dencom… | formdefs | 7 604 | 0 | 0 | 0 |
| enquete-satisfaction-allo-tou… | formdefs | 7 971 | 0 | 0 | 0 |
| allo-toulouse-collecte-de-dec… | formdefs | 10 536 | 0 | 0 | 0 |
| stationnement-residant-sur-vo… | formdefs | 13 895 | 0 | 0 | 0 |
| stationnement-residant-sur-vo… | formdefs | 17 182 | 0 | 0 | 0 |
| mise-a-jour-des-donnees-du-co… | formdefs | 26 317 | 0 | 0 | 0 |
| reserver-une-place-a-la-pisci… | formdefs | 43 750 | 0 | 0 | 0 |
| numero-d-arretes | carddefs | 0 | 0 | 0 | 0 |
| reservation-piscine-gestion-d… | carddefs | 0 | 0 | 0 | 0 |
| gestion-formations-elections | carddefs | 0 | 0 | 0 | 0 |
| permanences-mts-pieges-a-mous… | carddefs | 0 | 0 | 0 | 0 |
| poles | carddefs | 0 | 0 | 0 | 0 |
| retour-collecte | carddefs | 0 | 0 | 0 | 0 |
| renfort-pm | carddefs | 0 | 0 | 0 | 0 |
| lieu-par-activite | carddefs | 0 | 0 | 0 | 0 |
| ecoles-rep | carddefs | 1 | 0 | 0 | 0 |
| contacts-mgr-pour-controleurs… | carddefs | 3 | 0 | 0 | 0 |
| activites-de-groupe-du-castel… | carddefs | 3 | 0 | 0 | 0 |
| applications-metiers | carddefs | 3 | 0 | 0 | 0 |
| theme-visite-guidee | carddefs | 4 | 0 | 0 | 0 |
| periodes-d-inscriptions | carddefs | 4 | 0 | 0 | 0 |
| categorie | carddefs | 4 | 0 | 0 | 0 |
| pieces-complementaires-ravale… | carddefs | 5 | 0 | 0 | 0 |
| motif-de-refus-justicatif-abs… | carddefs | 5 | 0 | 0 | 0 |
| piscines | carddefs | 8 | 0 | 0 | 0 |
| retours-collecte | carddefs | 9 | 0 | 0 | 0 |
| justificatifs-dui | carddefs | 9 | 0 | 0 | 0 |
| activites-individuelles-du-ca… | carddefs | 9 | 0 | 0 | 0 |
| direction | carddefs | 9 | 0 | 0 | 0 |
| disciplines | carddefs | 9 | 0 | 0 | 0 |
| agendas-lieux | carddefs | 13 | 0 | 0 | 0 |
| adl-types-d-accueil | carddefs | 16 | 0 | 0 | 0 |
| retour-equipe-pm | carddefs | 21 | 0 | 0 | 0 |
| dossiers-impayes | carddefs | 588 | 0 | 0 | 0 |
| dscrm-masques | carddefs | 3 307 | 0 | 0 | 0 |
| ne-plus-etre-associe-a-ce-com… | formdefs | 1 | 312 | 242 | 70 |
| chantier | carddefs | 1 | 563 | 486 | 77 |
| esabora-civilite | carddefs | 2 | 739 | 585 | 154 |
| prendre-modifier-ou-annuler-u… | formdefs | 1 692 540 | 1 019 | 434 | 585 |
| categories-defis-entreprises-… | carddefs | 3 | 1 119 | 909 | 210 |
| prescriptions-complements | carddefs | 2 | 1 502 | 1 348 | 154 |
| test-envoi-email-signe | formdefs | 9 | 1 576 | 1 202 | 374 |
| elections | carddefs | 5 | 1 610 | 1 386 | 224 |
| notice-de-securite | carddefs | 3 | 2 249 | 2 018 | 231 |
| tour-des-elections | carddefs | 13 | 3 832 | 3 314 | 518 |
| typologie-manifestation | carddefs | 13 | 3 960 | 2 959 | 1 001 |
| contact | formdefs | 6 | 4 024 | 3 564 | 460 |
| arretes-stationnement | carddefs | 1 | 4 205 | 2 378 | 1 827 |
| labels-mariage | carddefs | 10 | 4 479 | 3 779 | 700 |
| equipe | carddefs | 30 | 4 967 | 3 093 | 1 874 |
| cameras-bornes | carddefs | 63 | 5 112 | 4 190 | 922 |
| envoi-vers-mantis | formdefs | 17 | 5 633 | 4 463 | 1 170 |
| delai-de-grace-pour-stationne… | carddefs | 8 | 5 641 | 5 081 | 560 |
| enquete-externe | carddefs | 2 | 8 800 | 4 341 | 4 459 |
| pieces-justificatives-mariage | carddefs | 17 | 9 042 | 7 852 | 1 190 |
| agents-permis-de-louer | carddefs | 5 | 9 645 | 6 498 | 3 147 |
| ne-plus-etre-associe-a-ce-per… | formdefs | 34 | 9 913 | 7 349 | 2 564 |
| parametres-de-notification-du… | formdefs | 24 | 10 898 | 9 288 | 1 610 |
| pieces-justificatives-checkli… | carddefs | 22 | 11 612 | 10 072 | 1 540 |
| sous-typologie-manifestation | carddefs | 29 | 12 830 | 10 597 | 2 233 |
| adl-rattachement-ecoles | carddefs | 66 | 13 743 | 6 971 | 6 772 |
| evenement-sous-cause | carddefs | 25 | 16 714 | 14 789 | 1 925 |
| defi-toulouse-verte | formdefs | 12 | 17 284 | 7 617 | 9 667 |
| cause-evenement | carddefs | 20 | 20 236 | 13 886 | 6 350 |
| mettre-fin-a-son-autorisation… | formdefs | 8 | 20 256 | 11 118 | 9 138 |
| adl-vacances | carddefs | 8 | 22 447 | 7 855 | 14 592 |
| sv-periodes | carddefs | 4 | 23 897 | 6 690 | 17 207 |
| lien-de-parente | carddefs | 62 | 31 054 | 26 714 | 4 340 |
| appel-aux-dons-projets | carddefs | 8 | 35 805 | 12 897 | 22 908 |
| faire-un-don-mecenat | formdefs | 287 | 41 434 | 24 797 | 16 637 |
| departements-francais | carddefs | 102 | 43 265 | 36 125 | 7 140 |
| demande-d-un-piege-pondoir-co… | formdefs | 2 | 43 629 | 22 011 | 21 618 |
| considerants | carddefs | 60 | 47 977 | 41 240 | 6 737 |
| arrete-temporaire-prescriptio… | carddefs | 124 | 55 843 | 43 720 | 12 123 |
| autorisation-de-mise-en-locat… | carddefs | 78 | 56 065 | 50 605 | 5 460 |
| types-de-resolution-fait-non-… | carddefs | 166 | 56 237 | 35 759 | 20 478 |
| points-de-retrait-pieges-mous… | carddefs | 8 | 57 614 | 57 054 | 560 |
| adl-convoyage | carddefs | 104 | 59 041 | 22 187 | 36 854 |
| tarifs-des-creneaux-d-activit… | carddefs | 53 | 62 242 | 26 953 | 35 289 |
| nationalite | carddefs | 189 | 70 526 | 57 296 | 13 230 |
| demande-de-modification-de-su… | formdefs | 28 | 134 287 | 68 690 | 65 597 |
| adresses-concernee-par-demand… | carddefs | 32 | 147 267 | 79 095 | 68 172 |
| demande-de-changement-d-empla… | formdefs | 53 | 150 199 | 83 837 | 66 362 |
| quartiers-de-democratie-locale | carddefs | 20 | 174 411 | 173 011 | 1 400 |
| listes-de-diffusion | carddefs | 38 | 192 769 | 98 845 | 93 924 |
| modeles-at-libre | carddefs | 22 | 195 766 | 96 878 | 98 888 |
| modification-de-compte | formdefs | 447 | 204 339 | 175 981 | 28 358 |
| changer-la-taille-d-un-emplac… | formdefs | 100 | 268 994 | 153 579 | 115 415 |
| coordonateur | carddefs | 10 | 282 590 | 168 819 | 113 771 |
| arret-de-l-activite-sur-un-ma… | formdefs | 100 | 289 264 | 161 482 | 127 782 |
| changement-concernant-les-pro… | formdefs | 89 | 310 219 | 169 958 | 140 261 |
| notification-de-fin-de-mainte… | formdefs | 690 | 346 126 | 248 177 | 97 949 |
| annexes | carddefs | 74 | 377 165 | 194 100 | 183 065 |
| demande-dabonnement-desabonne… | formdefs | 187 | 468 014 | 255 813 | 212 201 |
| obtenir-un-document | formdefs | 419 | 581 283 | 393 431 | 187 852 |
| toulouse-solidaire-du-peuple-… | formdefs | 1 789 | 608 928 | 102 279 | 506 649 |
| demande-de-creation-d-une-ter… | formdefs | 74 | 663 879 | 214 442 | 449 437 |
| permissionnaire-terrasse | carddefs | 546 | 703 726 | 494 120 | 209 606 |
| enseigne | carddefs | 2 220 | 739 575 | 548 519 | 191 056 |
| sous-quartiers-pieges-a-moust… | carddefs | 84 | 814 530 | 808 650 | 5 880 |
| verification-si-besoin-d-un-p… | formdefs | 508 | 890 781 | 486 243 | 404 538 |
| pingdom | formdefs | 4 645 | 1 211 808 | 849 654 | 362 154 |
| renouvellement-d-une-autorisa… | formdefs | 443 | 1 507 492 | 771 031 | 736 461 |
| redevance-pour-neutralisation… | formdefs | 2 225 | 1 548 567 | 1 070 382 | 478 185 |
| adl | carddefs | 73 | 1 586 077 | 303 749 | 1 282 328 |
| participation-a-la-periode-2 | formdefs | 241 | 1 650 743 | 815 047 | 835 696 |
| mediateur | formdefs | 312 | 1 750 330 | 952 674 | 797 656 |
| depot-pieces-complementaires | formdefs | 7 078 | 2 056 971 | 922 518 | 1 134 453 |
| se-declarer-en-tant-que-comme… | formdefs | 570 | 2 545 971 | 957 478 | 1 588 493 |
| declarer-une-absence | formdefs | 935 | 2 709 393 | 2 643 351 | 66 042 |
| carte-montoulouse-seniors-act… | formdefs | 5 771 | 2 734 291 | 1 867 559 | 866 732 |
| renouvellement-d-une-autorisa… | formdefs | 778 | 3 086 115 | 1 607 876 | 1 478 239 |
| obtenir-une-facture | formdefs | 1 723 | 3 237 583 | 1 999 852 | 1 237 731 |
| agent-recenseur | carddefs | 115 | 3 298 935 | 1 963 497 | 1 335 438 |
| nomenclature-at | carddefs | 313 | 4 059 899 | 958 739 | 3 101 160 |
| demande-demplacement-sur-un-m… | formdefs | 1 503 | 4 307 224 | 2 397 367 | 1 909 857 |
| se-declarer-permissionnaire | formdefs | 2 153 | 5 682 481 | 3 029 426 | 2 653 055 |
| entreprises | carddefs | 4 844 | 6 381 338 | 4 024 200 | 2 357 138 |
| declarer-une-licence-de-debit… | formdefs | 481 | 7 168 346 | 2 377 485 | 4 790 861 |
| carte-montoulouse-senior | formdefs | 5 163 | 8 102 727 | 3 490 839 | 4 611 888 |
| inscription-formation-vie-ass… | formdefs | 1 487 | 9 354 394 | 2 785 882 | 6 568 512 |
| sv-structures | carddefs | 73 | 10 642 692 | 904 788 | 9 737 904 |
| associer-mon-compte-montoulou… | formdefs | 79 689 | 11 002 067 | 7 876 366 | 3 125 701 |
| ts-signalement-reclamation | carddefs | 30 557 | 11 142 040 | 9 297 561 | 1 844 479 |
| demande-dacces-aux-zones-de-c… | formdefs | 9 259 | 11 203 177 | 3 293 792 | 7 909 385 |
| permis-de-louer | formdefs | 89 | 11 387 919 | 998 868 | 10 389 051 |
| declaration-d_absence-cantine… | formdefs | 6 721 | 11 653 705 | 6 071 737 | 5 581 968 |
| arrete-temporaire-pour-abroga… | carddefs | 357 | 14 462 846 | 2 818 299 | 11 644 547 |
| fleur-sur-mon-mur | formdefs | 560 | 16 582 714 | 3 850 944 | 12 731 770 |
| permissionnaire | carddefs | 1 249 | 19 354 433 | 9 237 179 | 10 117 254 |
| ticket-de-stationnement | formdefs | 3 297 | 20 166 651 | 7 212 444 | 12 954 207 |
| candidater-a-la-fete-des-asso… | formdefs | 469 | 20 176 386 | 4 473 579 | 15 702 807 |
| ts-signalement-suivi-de-deman… | carddefs | 64 974 | 21 241 228 | 17 429 525 | 3 811 703 |
| sv-listing-enfants | carddefs | 6 586 | 22 805 573 | 9 644 168 | 13 161 405 |
| montoulouse-dui | carddefs | 34 566 | 23 847 914 | 21 246 945 | 2 600 969 |
| activite-sportives | carddefs | 341 | 28 353 901 | 9 062 282 | 19 291 619 |
| arrete-permanent | carddefs | 134 | 30 997 662 | 4 385 638 | 26 612 024 |
| devenez-assesseur-d-un-bureau… | formdefs | 5 248 | 37 069 277 | 11 939 928 | 25 129 349 |
| reservation-creneau | carddefs | 32 198 | 45 798 746 | 36 084 669 | 9 714 077 |
| neutralisation-de-stationneme… | carddefs | 7 422 | 57 744 608 | 23 031 901 | 34 712 707 |
| annexe-adresse | carddefs | 16 004 | 63 076 972 | 32 076 199 | 31 000 773 |
| enquete-satisfaction | formdefs | 32 065 | 69 690 162 | 33 265 175 | 36 424 987 |
| participation-a-la-tenue-d-un… | formdefs | 4 020 | 76 882 062 | 18 540 276 | 58 341 786 |
| ayants-droits-arretes-payants | carddefs | 9 248 | 135 118 995 | 31 408 346 | 103 710 649 |
| lieux-d-activites-1 | carddefs | 42 | 150 476 152 | 25 543 720 | 124 932 432 |
| mettre-a-jour-mon-dui | formdefs | 33 460 | 206 271 496 | 141 161 288 | 65 110 208 |
| inscription-sports | formdefs | 5 040 | 254 146 623 | 5 165 997 | 248 980 626 |
| excursions-culturelles-et-spo… | formdefs | 4 551 | 284 108 688 | 33 127 195 | 250 981 493 |
| adresses-a-recenser | carddefs | 3 722 | 329 345 751 | 77 448 456 | 251 897 295 |
| creation-de-compte | formdefs | 183 067 | 365 841 249 | 203 327 063 | 162 514 186 |
| reservation-activite-sportive | carddefs | 1 689 | 420 405 709 | 32 271 694 | 388 134 015 |
| declaration-manifestation-esp… | formdefs | 4 006 | 597 202 231 | 53 309 515 | 543 892 716 |
| sejours-vacances | formdefs | 6 275 | 631 648 766 | 59 672 808 | 571 975 958 |
| adl-periodes-et-dates | carddefs | 234 | 632 759 710 | 164 676 119 | 468 083 591 |
| inscription-en-accueil-de-loi… | formdefs | 7 846 | 640 203 281 | 87 370 737 | 552 832 544 |
| demenagement-stationnement-ru… | formdefs | 33 713 | 766 143 034 | 141 361 669 | 624 781 365 |
| demande-dinscription-scolaire | formdefs | 16 092 | 822 255 635 | 104 821 446 | 717 434 189 |
| odp-travaux | formdefs | 36 619 | 1 317 005 774 | 213 392 682 | 1 103 613 092 |
| reservation-cantine-clae | formdefs | 188 899 | 1 526 243 879 | 701 000 022 | 825 243 857 |
| inscription-adl | formdefs | 73 657 | 1 841 980 665 | 234 470 823 | 1 607 509 842 |
| inscription-activite | formdefs | 27 587 | 2 086 153 424 | 180 513 750 | 1 905 639 674 |
| arrete-temporaire | carddefs | 25 314 | 3 688 546 297 | 497 649 199 | 3 190 897 098 |
| rendez-vous-collecte-encombra… | formdefs | 497 878 | 34 454 012 251 | 3 312 767 475 | 31 141 244 776 |
| signalements | formdefs | 1 066 753 | 171 667 496 342 | 13 994 498 267 | 157 672 998 075 |
| Total | 4 448 774 | 223 536 094 075 | 20 609 288 801 | 202 926 805 274 |
Files
Updated by Benjamin Dauvergne 21 days ago
- Status changed from Nouveau to En cours
🤖 Une pull request concernant ce ticket a été ouverte :
- URL : https://git.entrouvert.org/entrouvert/wcs/pulls/2552
- Titre : WIP: Réduires l'espace pris par les objets ContentSnapshotPart (#113200)
- Modifications : https://git.entrouvert.org/entrouvert/wcs/pulls/2552/files
Updated by Benjamin Dauvergne 5 days ago
- Status changed from En cours to Solution proposée