Development #20526
Authentic journalise beaucoup trop de choses inutiles
0%
Description
Cela a tendance à remplir les fichiers de log de manière conséquente (voir #20507), un coupable évident est l'IdP SAML mais on doit pouvoir faire le tour de ce qui remplit le disque en analysant les logs sur authentic.entrouvert.org. Ensuite il faudra réduire au nécessaire et améliorer ce qui est journalisé.
Tout le monde peut jouer en signalant la ligne de log la plus inutile, ou en suggérant comment la raccourcir.
Fichiers
Historique
Mis à jour par Christophe Siraut il y a plus de 6 ans
Dans /var/log/user* on a des entrées différents niveaux: DEBUG, INFO, WARNING et ERROR. Pourquoi est-ce qu'on laisse les niveaux d'alerte DEBUG et INFO actifs en prod? serait-ce un oubli?
Dans /var/log/debug* on a seulement des entrées de niveau DEBUG
Mis à jour par Benjamin Dauvergne il y a plus de 6 ans
Bien joué smarties c'était ça; trouvé ces lignes dans /etc/authentic2-multitenant/config.py:
LOGGING['loggers']['authentic2'] = {
'level': 'DEBUG',
}
Je vire.
Mis à jour par Benjamin Dauvergne il y a plus de 6 ans
Je pense que tu peux purger les lignes DEBUG voir les fichiers debug.* de /var/log pour regagner de la place.
Mis à jour par Christophe Siraut il y a plus de 3 ans
Dans le fichier attaché je regroupe les messages de logging par nombre d’occurrences, c'est collecté sur authentic.node1.dev.saas.
- il y a plein de messages de debug lasso (xml.c) <- quickwin * artifact found * reloading artifact * artifact saved * sending Artifact to assertionConsumer * NameIDFormat is uuid * loaded provider x * nonce is y * processing sso request * redirect to login page with next url * resolve response '<s:Envelope xmlns: z * ...
je ne me rend pas compte ce qui est utile de garder dans tout ça en recette, en tout cas ça aboutit à 5Go de logs par jour ce qui n'est pas tenable pour notre infra (#45557)
Mis à jour par Benjamin Dauvergne il y a plus de 3 ans
Christophe Siraut a écrit :
Dans le fichier attaché je regroupe les messages de logging par nombre d’occurrences, c'est collecté sur authentic.node1.dev.saas.
- il y a plein de messages de debug lasso (xml.c) <- quickwin
Ça c'est du debug, ça doit partir dans /var/log/debug et être nettoyé tous les jours.
- artifact found
idem.
- reloading artifact
idem.
- artifact saved
- sending Artifact to assertionConsumer
- NameIDFormat is uuid
- loaded provider x
- nonce is y
- processing sso request
- redirect to login page with next url
- resolve response '<s:Envelope xmlns: z
- ...
je ne me rend pas compte ce qui est utile de garder dans tout ça en recette, en tout cas ça aboutit à 5Go de logs par jour ce qui n'est pas tenable pour notre infra (#45557)
Le but du ticket c'était de nettoyer le niveau INFO, là j'ai l'impression qu'on a que du niveau DEBUG, c'est quoi le souci ? Ça part aussi dans journald ?
Mis à jour par Frédéric Péters il y a plus de 3 ans
c'est quoi le souci ?
→
ça aboutit à 5Go de logs par jour ce qui n'est pas tenable pour notre infra
Mis à jour par Christophe Siraut il y a plus de 3 ans
Ça c'est du debug, ça doit partir dans /var/log/debug et être nettoyé tous les jours.
...
Ça part aussi dans journald ?
C'est un peu l'inverse : journald reçoit tout, ensuite forwarde tout à rsyslog. (Le forward est est à supprimer pour éviter la duplication #46003) Nettoyer le journal des entrées debug je ne connais pas, faut voir si c'est possible.
Le but du ticket c'était de nettoyer le niveau INFO, là j'ai l'impression qu'on a que du niveau DEBUG
DEBUG est activé sur les recettes, du coup il faut peut-être redéfinir ce qu'on y met, ou désactiver ce niveau sur les recettes.
Mis à jour par Benjamin Dauvergne il y a plus de 3 ans
Christophe Siraut a écrit :
DEBUG est activé sur les recettes, du coup il faut peut-être redéfinir ce qu'on y met, ou désactiver ce niveau sur les recettes.
Ok donc on en serait plus à définir plus finement, même avec DEBUG_LOG activé, les loggers qui sont réellement émis ou pas. Je dis ça parce que le debug de Lasso c'est 99,9% du temps inutile, mais des fois on est bien content de le trouver.
Et donc il y a déjà un plan sur ce sujet, #29149.