Développement #100545: ApiAccess: modifications superflues - w.c.s. - Redmine Entr’ouvert

Développement #100545

ApiAccess: modifications superflues

Added by Pierre Ducroquet 7 days ago. Updated 6 days ago.

Status:

Solution déployée

Priority:

Normal

Assignee:

Pierre Ducroquet

Target version:

Start date:

10 January 2025

Due date:

% Done:

Estimated time:

Patch proposed:

Planning:

Description

Avec le passage en PostgreSQL des ApiAccess, je dispose enfin de statistiques intéressantes sur leur usage, et le cas du finistere ressort immédiatement.
Pour une raison que j'ignore, ils exécutent un nombre extrêmement important d'appels à l'API de wcs (j'ignore si cela justifie une interrogation du CPF, mais on est à plus d'un appel par seconde, sans interruption).
Et j'observe qu'à chaque appel, un update est effectué sur la table ApiAccess, ce qui fait que cette table sur ce client est la table justifiant le plus de charge pour l'autovacuum. Un correctif est requis pour laisser l'autovacuum à des tâches utiles.

Related issues

Associated revisions

Revision 93bdfb9c (diff)
Added by Pierre Ducroquet 7 days ago

sql: add mechanism to prevent spurious updates (#100545)

History

Updated by Robot Gitea 7 days ago

Status changed from Nouveau to En cours

Pierre Ducroquet (pducroquet) a ouvert une pull request sur Gitea concernant cette demande :

URL : https://git.entrouvert.org/entrouvert/wcs/pulls/2082
Titre : WIP: sql: add mechanism to prevent spurious updates (#100545)
Modifications : https://git.entrouvert.org/entrouvert/wcs/pulls/2082/files

Updated by Benjamin Dauvergne 7 days ago

Souci déjà repairé il y a 2 mois vis les les analyses de la latence des requêtes (mais à l'époque ça tapait sur un pickle) ça avait donné #98076 coté authentic. Plusieurs collectivités font du polling massif sur w.c.s. via les APIClient. La première étape serait de ne plus faire des mises à jour pour rien, la deuxième de gagner quelques appels vers authentic en mettant en cache le mot de passe temporairement comme authentic le fait pour éviter un DoS en cascade dans un cas extrême.

Pour le coût des appels eux même sur w.c.s. il faudrait du throttling pour éviter un DoS par erreur par un client. Je ne sais plus si c'est le cas du Finistère mais il y a au moins un client qui pagine toute une catégorie de fiches ou de demandes en permanence.