https://dev.entrouvert.org/https://dev.entrouvert.org/favicon.ico?15861920342021-06-08T14:51:25ZRedmine Entr’ouvertOLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3103032021-06-08T14:51:25ZBenjamin Dauvergne
<ul></ul><p>Le deadlock_timeout est à une seconde par défaut, pour toutes les transactions, je pense qu'on peut le pousser à 10s durant la mise à jour olap.</p> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3103042021-06-08T14:51:41ZBenjamin Dauvergne
<ul><li><strong>Assigné à</strong> mis à <i>Benjamin Dauvergne</i></li></ul> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3103142021-06-08T15:25:43ZBenjamin Dauvergne
<ul><li><strong>Fichier</strong> <a href="/attachments/55216">0001-feeder-set-deadlock_timeout-to-10-seconds-54658.patch</a> <a class="icon-only icon-download" title="Télécharger" href="/attachments/download/55216/0001-feeder-set-deadlock_timeout-to-10-seconds-54658.patch">0001-feeder-set-deadlock_timeout-to-10-seconds-54658.patch</a> ajouté</li><li><strong>Tracker</strong> changé de <i>Bug</i> à <i>Development</i></li><li><strong>Statut</strong> changé de <i>Nouveau</i> à <i>Solution proposée</i></li><li><strong>Patch proposed</strong> changé de <i>Non</i> à <i>Oui</i></li></ul> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3103192021-06-08T15:36:53ZBenjamin Dauvergne
<ul><li><strong>Fichier</strong> <a href="/attachments/55219">0001-feeder-set-deadlock_timeout-to-10-seconds-54658.patch</a> <a class="icon-only icon-download" title="Télécharger" href="/attachments/download/55219/0001-feeder-set-deadlock_timeout-to-10-seconds-54658.patch">0001-feeder-set-deadlock_timeout-to-10-seconds-54658.patch</a> ajouté</li></ul><p>Autant modifier le timeout le plus tôt possible.</p> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3106932021-06-10T09:37:41ZBenjamin Dauvergne
<ul></ul><p>Benjamin Dauvergne a écrit :</p>
<blockquote>
<p>Autant modifier le timeout le plus tôt possible.</p>
</blockquote>
<p>Le but si ce n'est pas clair c'est que dans un duel (due à la détection des deadlock par postgresql), ce soit toujours wcs-olap qui gagne vu que sont timeout est plus élevé; ça laisse toujours une marge d'erreur car le scheduling des processus peut faire que wcs-olap perde quand même mais 10s ça laisse quand même une bonne marge.</p> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3107222021-06-10T10:30:58ZNicolas Roche (absent jusqu'au 3 avril)
<ul><li><strong>Statut</strong> changé de <i>Solution proposée</i> à <i>Solution validée</i></li></ul> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3108412021-06-11T04:56:02ZBenjamin Dauvergne
<ul><li><strong>Statut</strong> changé de <i>Solution validée</i> à <i>Résolu (à déployer)</i></li></ul><pre>commit c74766bf2c7a911ab04da9084231ef3397cb2964
Author: Benjamin Dauvergne <bdauvergne@entrouvert.com>
Date: Tue Jun 8 17:24:52 2021 +0200
feeder: set deadlock_timeout to 10 seconds (#54658)
It makes wcs-olap always win in a deadlock with another client.</pre> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3111172021-06-12T08:17:24ZFrédéric Pétersfpeters@entrouvert.com
<ul><li><strong>Statut</strong> changé de <i>Résolu (à déployer)</i> à <i>Solution déployée</i></li></ul> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3112912021-06-14T12:04:13ZFrédéric Pétersfpeters@entrouvert.com
<ul><li><strong>Statut</strong> changé de <i>Solution déployée</i> à <i>Nouveau</i></li><li><strong>Patch proposed</strong> changé de <i>Oui</i> à <i>Non</i></li></ul><p>Le commit étant annulé (<a class="issue tracker-1 status-5 priority-4 priority-default closed" title="Bug: pas de permissions pour SET deadlock_timeout (Fermé)" href="https://dev.entrouvert.org/issues/54808">#54808</a>) ce ticket reste.</p> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3206862021-08-07T17:05:06ZBenjamin Dauvergne
<ul><li><strong>Fichier</strong> <a href="/attachments/56678">0001-feeder-prevent-situation-of-half-dropped-schema-5465.patch</a> <a class="icon-only icon-download" title="Télécharger" href="/attachments/download/56678/0001-feeder-prevent-situation-of-half-dropped-schema-5465.patch">0001-feeder-prevent-situation-of-half-dropped-schema-5465.patch</a> ajouté</li><li><strong>Statut</strong> changé de <i>Nouveau</i> à <i>Solution proposée</i></li><li><strong>Patch proposed</strong> changé de <i>Non</i> à <i>Oui</i></li></ul><p>Plus simple, ne pas s'occuper du deadlock juste faire les choses dans le bon ordre dans une transaction et ré-essayer.</p> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3206872021-08-07T17:06:37ZBenjamin Dauvergne
<ul><li><strong>Fichier</strong> <a href="/attachments/56679">0001-feeder-prevent-situation-of-half-dropped-schema-5465.patch</a> <a class="icon-only icon-download" title="Télécharger" href="/attachments/download/56679/0001-feeder-prevent-situation-of-half-dropped-schema-5465.patch">0001-feeder-prevent-situation-of-half-dropped-schema-5465.patch</a> ajouté</li></ul><p>Plus optimiste j'essaie 33 secondes toutes les secondes.</p> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3207342021-08-09T08:38:00ZBenjamin Dauvergne
<ul><li><strong>Lié à</strong> <i><a class="issue tracker-1 status-5 priority-4 priority-default closed" href="/issues/54808">Bug #54808</a>: pas de permissions pour SET deadlock_timeout</i> ajouté</li></ul> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3207362021-08-09T08:39:36ZBenjamin Dauvergne
<ul></ul><p>Le 33 secondes c'est parce que les requêtes dans bijoe prennent au plus 30 secondes avant d'échouer (petite idée que wcs-olap devrait gagner un duel, mais je ne suis même pas sûr qu'un simple renommage de schéma prennent des verrous, par contre le schema drop en prend pleins, mais une fois le nom modifié il ne devrait plus y avoir d'accès de la part de bijoe).</p> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3207572021-08-09T09:35:58ZBenjamin Dauvergne
<ul><li><strong>Tracker</strong> changé de <i>Development</i> à <i>Bug</i></li></ul> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3216972021-08-17T14:25:56ZBenjamin Dauvergne
<ul><li><strong>Fichier</strong> <a href="/attachments/56884">0001-feeder-prevent-situation-of-half-dropped-schema-5465.patch</a> <a class="icon-only icon-download" title="Télécharger" href="/attachments/download/56884/0001-feeder-prevent-situation-of-half-dropped-schema-5465.patch">0001-feeder-prevent-situation-of-half-dropped-schema-5465.patch</a> ajouté</li><li><strong>Tracker</strong> changé de <i>Bug</i> à <i>Development</i></li></ul><p>J'ai récupéré atomic() depuis <a class="issue tracker-2 status-5 priority-4 priority-default closed" title="Development: améliorer les performances du chargement (Fermé)" href="https://dev.entrouvert.org/issues/56039">#56039</a> où il a disparu.</p> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3217152021-08-17T14:54:13ZSerghei Mihai
<ul></ul><p>Je valide une fois jenkins vert.</p> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3217422021-08-17T19:22:02ZSerghei Mihai
<ul><li><strong>Statut</strong> changé de <i>Solution proposée</i> à <i>Solution validée</i></li></ul> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3217502021-08-17T21:08:42ZBenjamin Dauvergne
<ul><li><strong>Statut</strong> changé de <i>Solution validée</i> à <i>Résolu (à déployer)</i></li></ul><pre>commit 05c40317767e218acdb7675fec39ea2a34c7360b
Author: Benjamin Dauvergne <bdauvergne@entrouvert.com>
Date: Sat Aug 7 18:43:29 2021 +0200
feeder: prevent situation of half-dropped schema (#54658)
To prevent loosing currently loaded data wcs-olap, failing ro rename the
temporary schema to its final name, wcs-olap will:
- first, inside a transaction, rename the current schema instead of
dropping it, then rename the new schema to the current schema's name;
in case of failure it will retry 33 times sleeping 1 second between
each attempt;
- if successfull, drop the renamed old schema, again in a retry loop, if
it fails to drop it logs an error, without aborting the current
feeding.</pre> OLAP / Business Intelligence pour Publik - Development #54658: possibilité pour une mise à jour des données de se casser et laisser un schéma videhttps://dev.entrouvert.org/issues/54658?journal_id=3217512021-08-17T21:18:24ZFrédéric Pétersfpeters@entrouvert.com
<ul><li><strong>Statut</strong> changé de <i>Résolu (à déployer)</i> à <i>Solution déployée</i></li></ul>