Development #27025
optimiser collectstatic
0%
Description
Sur le nouveau SaaS, avec le collectstatic sur le ceph (voir si ça évolue avec #27024), le collectstatic est très lent.
Il pourrait conserver les timestamps des fichiers et écraser uniquement si timestamp plus récent (comme le collectstatic de django, je pense).
Fichiers
Révisions associées
Historique
Mis à jour par Frédéric Péters il y a plus de 5 ans
- Fichier 0001-misc-skip-unmodified-files-in-collectstatic-27025.patch 0001-misc-skip-unmodified-files-in-collectstatic-27025.patch ajouté
- Statut changé de Nouveau à Solution proposée
- Patch proposed changé de Non à Oui
Mis à jour par Thomas Noël il y a plus de 5 ans
- Statut changé de Solution proposée à Solution validée
(le copy2 rendrait plutôt le os.utime inutile je crois, mais ceinture et bretelles, c'est bien)
Mis à jour par Frédéric Péters il y a plus de 5 ans
(le copy2 rendrait plutôt le os.utime inutile je crois, mais ceinture et bretelles, c'est bien)
En fait sur des tests j'ai pu avoir une granularité différente sur le st_mtime, peut-être entre le filesystem local et le ceph, ce qui laissait le collectstatic dans le ceph en-deça des fichiers d'origine, et amenait du coup toujours leur copie. C'est pour ça qu'il y a un int() des st_mtime, et un appel os.utime explicite.
Mis à jour par Thomas Noël il y a plus de 5 ans
posé à l'arrache sur wcs.sbg.prod où la lenteur du collectstatic faisait carrément planter le démarrage du service (timeout)
thomas@wcs:~$ sudo service wcs start Job for wcs.service failed because a fatal signal was delivered to the control process. See "systemctl status wcs.service" and "journalctl -xe" for details.
Plus de soucis avec le patch
thomas@wcs:~$ time sudo service wcs start real 0m11.408s user 0m0.037s sys 0m0.045s
Mis à jour par Frédéric Péters il y a plus de 5 ans
- Statut changé de Solution validée à Résolu (à déployer)
commit c017939e20377bf4af0d8d4ce4708b0bcc89479e
Author: Frédéric Péters <fpeters@entrouvert.com>
Date: Sun Oct 7 12:10:14 2018 +0200
misc: skip unmodified files in collectstatic (#27025)
Mis à jour par Frédéric Péters il y a plus de 5 ans
- Statut changé de Résolu (à déployer) à Solution déployée
misc: skip unmodified files in collectstatic (#27025)