Développement #98223
csvdatasource: lignes vides importées en base
0%
Description
Repéré sur l'essonne, et en cherchant je vois des problèmes similaires pour la dordogne et meudon.
passerelle=# select count(*) from csvdatasource_tablerow where resource_id = 4 and data = '{"id": "", "text": " ", "data1": "", "data2": "", "data3": "", "data4": "", "data5": "", "data6": "", "data7": "", "data8": "", "data9": "", "data10": ""}';
count
-------
65341
(1 ligne)
Forcément, ça ralentit bien le code qui manipule cette source derrière...
Associated revisions
History
Updated by Pierre Ducroquet about 1 month ago
Note : je l'ai repéré parce que sur 2 jours ce bug a de fait provoqué 3% des requêtes de plus de 100ms sur la prod... Il va de soit qu'en supprimant ces 65000 lignes erronées on améliorera les performances...
Updated by Pierre Ducroquet about 1 month ago
Avec l'accord du CPF, j'ai fait le ménage sur l'essonne.
Updated by Robot Gitea about 1 month ago
- Tracker changed from Support to Développement
- Status changed from Nouveau to En cours
- Assignee set to Gael Pasgrimaud
Gael Pasgrimaud (gpasgrimaud) a ouvert une pull request sur Gitea concernant cette demande :
- URL : https://git.entrouvert.org/entrouvert/passerelle/pulls/664
- Titre : WIP: csvdatasource: ignore empty lines (#98223)
- Modifications : https://git.entrouvert.org/entrouvert/passerelle/pulls/664/files
Updated by Gael Pasgrimaud about 1 month ago
Je ne vois pas comment ajouter une migration qui fixerai l'existant. Je me suis donc contenté de faire en sorte que ça n'arrive plus
Updated by Robot Gitea 11 days ago
- Status changed from Solution proposée to Solution validée
Nicolas Roche (nroche) a approuvé une pull request sur Gitea concernant cette demande :
Updated by Robot Gitea 10 days ago
- Status changed from Solution validée to Résolu (à déployer)
Gael Pasgrimaud (gpasgrimaud) a mergé une pull request sur Gitea concernant cette demande :
- URL : https://git.entrouvert.org/entrouvert/passerelle/pulls/664
- Titre : csvdatasource: ignore empty lines (#98223)
- Modifications : https://git.entrouvert.org/entrouvert/passerelle/pulls/664/files
Updated by Transition automatique 10 days ago
- Status changed from Résolu (à déployer) to Solution déployée
csvdatasource: ignore empty lines (#98223)