Bug #23399
limiter la consommation mémoire wcs-olap/postgresql
0%
Description
Pour le moment les lignes évolutions sont toutes aggrégées puis régurgitées dans postgresql en même temps.
Il n'y a pas de limite de taille sur les instructions passées à postgresql mais il faut quand même que ça tienne en mémoire,
2018-04-25 10:48:39,691 DEBUG SQL: INSERT INTO evolution_demande_de_place_en_creche (formdata_id, status_id, time, date, hour_id) VALUES %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, ...
ne passe pas quand il y a des millions de lignes.
Fichiers
Révisions associées
Historique
Mis à jour par Benjamin Dauvergne il y a environ 6 ans
- Fichier 0001-insert-formdata-values-by-batches-of-200-formdata-23.patch 0001-insert-formdata-values-by-batches-of-200-formdata-23.patch ajouté
- Fichier 0002-insert-value-by-batches-of-max-10000-rows-fixes-2339.patch 0002-insert-value-by-batches-of-max-10000-rows-fixes-2339.patch ajouté
- Patch proposed changé de Non à Oui
J'évolue le code en deux commits pour plus de clarté.
Le premier patch les insertions par paquet de 200 formdata, mais ça n'est pas idéal car je ne connais pas le nombre d'évolution pour chacun des formdata, ça pourrait être beaucoup.
Le deuxième patch mesure exactement le nombre de ligne qui vont être insérées et limite les insertions à des paquets de 10000 lignes au pire.
Mis à jour par Frédéric Péters il y a environ 6 ans
Misère, t'es en congés; et je travaille et teste ce ticket parce qu'il y a un ticket alfortville ouvert depuis des jours et que ça devenait urgent.
Mis à jour par Frédéric Péters il y a environ 6 ans
- Fichier 0001-feeder-feed-evolutions-to-postgresql-in-reasonable-c.patch 0001-feeder-feed-evolutions-to-postgresql-in-reasonable-c.patch ajouté
- Statut changé de Nouveau à En cours
Le code qui vient de permettre à la prod d'enfin fonctionner. (et je ne participe plus au ticket).
Mis à jour par Thomas Noël il y a environ 6 ans
Ack sur le patch de Frédéric que j'ai bien cerné ; mais je laisse le dernier mot à Benjamin.
Mis à jour par Thomas Noël il y a environ 6 ans
- Statut changé de En cours à Résolu (à déployer)
Hop, poussé d'autorité.
commit bfe7b73cb4f07b96c64db40a9afe7e99cfcc61fb
Author: Frédéric Péters <fpeters@entrouvert.com>
Date: Wed Apr 25 11:06:15 2018 +0200
feeder: feed evolutions to postgresql in reasonable chunks (#23399)
Mis à jour par Benjamin Dauvergne il y a plus de 5 ans
- Statut changé de Résolu (à déployer) à Fermé
feeder: feed evolutions to postgresql in reasonable chunks (#23399)