https://dev.entrouvert.org/https://dev.entrouvert.org/favicon.ico?15861920342017-10-29T05:59:24ZRedmine Entr’ouvertPublik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=886752017-10-29T05:59:24ZPierre Crospcros@entrouvert.com
<ul><li><strong>Catégorie</strong> mis à <i>Statistiques</i></li></ul> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=910382017-11-20T10:55:56ZJosué Kouka
<ul><li><strong>Assigné à</strong> mis à <i>Josué Kouka</i></li></ul> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1009962018-02-15T14:24:49ZFrédéric Pétersfpeters@entrouvert.com
<ul><li><strong>Sujet</strong> changé de <i>Intégration de Piwik, outil de statistiques de consultation</i> à <i>Intégration de Matomo (ex Piwik), outil de statistiques de consultation</i></li></ul> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1009992018-02-15T14:32:21ZJosué Kouka
<ul><li><strong>Lié à</strong> <i><a class="issue tracker-1 status-5 priority-4 priority-default closed" href="/issues/21474">Bug #21474</a>: PIWIK_COMMAND dans les setttings des worker est mal nommé</i> ajouté</li></ul> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1154842018-06-05T11:31:37ZChristophe Siraut
<ul></ul><p>Salut Josué, peux-tu nous faire un bilan de ce qui est accompli est ce qui reste à faire pour intégrer Matomo aux instances clientes?</p> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1163172018-06-11T09:21:19ZJosué Kouka
<ul></ul><p>Christophe Siraut a écrit :</p>
<blockquote>
<p>Salut Josué, peux-tu nous faire un bilan de ce qui est accompli est ce qui reste à faire pour intégrer Matomo aux instances clientes?</p>
</blockquote>
<p>Il y'a une agent hobo qui a été dévelopé <a class="external" href="http://git.entrouvert.org/hobo.git/tree/debian/piwik/piwik-manage">http://git.entrouvert.org/hobo.git/tree/debian/piwik/piwik-manage</a>. Mais on a jamais rien déployé chez un client.</p> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1163182018-06-11T09:25:59ZChristophe Siraut
<ul><li><strong>Assigné à</strong> changé de <i>Josué Kouka</i> à <i>Christophe Siraut</i></li></ul><p>ok, je vais un peu reprendre le dossier. 1ère phase: analyse des modifications depuis piwik et faire un plan d'utilisation de matomo pour plusieurs tenants.</p> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1163342018-06-11T09:33:22ZFrédéric Pétersfpeters@entrouvert.com
<ul></ul><p>Pour reprendre le fonctionnement imaginé, le serveur piwik reçoit les messages rabbitmq, quand dans hobo on déclare un service piwik il y a donc un message chopé par l'agent. L'agent regarde/crée un objet "Site" Piwik et l'associe à une floppée d'utilisateurs (adresses fournies par Hobo, pas de SSO).</p>
<p>Sur le côté multitenant, de manière native on crée donc un objet "Site" et ça assure le nécessaire (certes en utilisant tout le temps le même nom de domaine mais je ne pense pas ça bien grave).</p>
<p>Côté packaging il y avait debian.piwik.org et pour matomo il y a ce ticket : <a class="external" href="https://github.com/matomo-org/matomo-package/issues/62">https://github.com/matomo-org/matomo-package/issues/62</a></p> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1589972019-02-28T10:53:14ZChristophe Siraut
<ul><li><strong>Assigné à</strong> <del><i>Christophe Siraut</i></del> supprimé</li></ul><p>Je laisse la main à Fred.</p>
<p>Je n'ai pas beaucoup avancé sur le fond, seulement installé 2 instances dans des conteneurs modernes, voir <a class="wiki-page new" href="https://dev.entrouvert.org/projects/publik/wiki/Piwik">Piwik</a>. L'instance de test est utilisée pour la recette de Toulouse. Un peu analysé les scenarii et compris qu'une automatisation via l'API matomo peut facilement ajouter des objets websites. (Par contre l'ajout d'instances matomo par client n'est pas prévue dans la version gratuite)</p> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1590012019-02-28T11:02:27ZFrédéric Pétersfpeters@entrouvert.com
<ul></ul><p>Sur ce même commentaire, je corrigeais en [[sysadmin:Piwik]] et posais la question "encore rien sur matomo.entrouvert.org ?", et Christophe éditait pour écrire "rien, sauf un cname qui pointe vers roquette et un conteneur vierge."</p>
<p>(je note ça parce que ça faisait un historique bizarre) (ça a donné #31011)</p> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1591622019-02-28T21:55:02ZFrédéric Pétersfpeters@entrouvert.com
<ul></ul><p>Nouveau plan :</p>
<ul>
<li>dans hobo un écran de configuration "statistiques de visite", qui contiendrait
<ul>
<li>deux boutons, un bouton pour la configuration automatique et un bouton pour ouvrir la configuration manuelle</li>
<li>la configiruation manuelle c'est une case à cocher "suivi des recommandations CNIL" et un textarea pour copier/coller du js
<ul>
<li>pour accompagner ça un ou deux paragraphes pour rappeler un peu les règles CNIL, peut-être expliciter qu'ainsi il n'y a rien à consentir et donc pas de bandeau, et un lien vers le site de la cnil.</li>
<li>évidemment quand dans le js il y a une référence google, ça désactive la case "suivi des recommandations CNIL"</li>
</ul></li>
</ul></li>
</ul>
<ul>
<li>tout ça pose simplement cnil_compliant_visits_tracking_js ou visits_tracking_js.</li>
</ul>
<ul>
<li>le clic sur le bouton "configuration automatique", il fait des appels à l'API de piwik/matomo
<ul>
<li>SitesManager.addSite(siteName, urls = '', etc.) (<a class="external" href="https://developer.matomo.org/api-reference/reporting-api#SitesManager">https://developer.matomo.org/api-reference/reporting-api#SitesManager</a>)</li>
<li>UsersManager.addUser(userLogin, password, email, initialIdSite='')
<ul>
<li>en userlogin le nom du tenant, en password un truc généré à la volée, en email il faut vérifier si ça doit être unique ou pas, mais genre ça peut être (<a class="email" href="mailto:noreply+whatever@entrouvert.com">noreply+whatever@entrouvert.com</a>), en initiialIdSite ce qu'on aura reçu à l'appel précédent</li>
</ul>
</li>
<li>on stocke le site id et le mot de passe (dans des variables hobo)</li>
<li>on tape dans cnil_compliant_visits_tracking_js le js de suivi, qu'on peut obtenir via SitesManager.getJavascriptTag(...)</li>
</ul></li>
</ul>
<ul>
<li>quand on a site id et mot de passe, on peut utiliser l'action logme pour taper sur la page un lien emmenant directement l'utilisateur sur le piwik (cf <a class="external" href="https://matomo.org/faq/how-to/faq_30/">https://matomo.org/faq/how-to/faq_30/</a>)
<ul>
<li>ainsi on n'a pas besoin de communiquer d'identifiant ou de mot de passe</li>
<li>évidemment il y a des gens qui n'ont pas accès à hobo qui voudront également aller sur le piwik, là comme réponse c'est que ce lien, il peut être posé dans une cellule sur le portail agent.</li>
</ul></li>
</ul> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1600882019-03-06T09:35:33ZNicolas Roche
<ul><li><strong>Assigné à</strong> mis à <i>Nicolas Roche</i></li></ul> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1637072019-03-25T14:29:16ZNicolas Roche
<ul></ul><p>Pour info, j'ai un problème avec les services web sur le serveur de test (en prod ça fonctionne bien) :<br /><pre>
$ curl -u 'xx:yy' 'https://matomo-test.entrouvert.org/?module=API&method=SitesManager.getSiteFromId&idSite=1'
<?xml version="1.0" encoding="utf-8" ?>
<result>
<error message="You can't access this resource as it requires 'view' access for the website id = 1." />
</result>
$ curl -u 'xx:yy' 'https://matomo-test.entrouvert.org/?module=API&method=UsersManager.getUser&userLogin=entrouvert'
<?xml version="1.0" encoding="utf-8" ?>
<result>
<error message="The user has to be either a Super User or the user 'entrouvert' itself." />
</result>
</pre></p> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1637172019-03-25T14:39:32ZFrédéric Pétersfpeters@entrouvert.com
<ul></ul><p>Utilise plutôt le jeton d'accès à l'API.</p> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1643802019-03-27T17:11:53ZNicolas Roche
<ul><li><strong>Fichier</strong> <a href="/attachments/32960">0001-matomo-correct-README-file-19743.patch</a> <a class="icon-only icon-download" title="Télécharger" href="/attachments/download/32960/0001-matomo-correct-README-file-19743.patch">0001-matomo-correct-README-file-19743.patch</a> ajouté</li><li><strong>Fichier</strong> <a href="/attachments/32961">0002-matomo-manage-matomo-s-webservices-19743.patch</a> <a class="icon-only icon-download" title="Télécharger" href="/attachments/download/32961/0002-matomo-manage-matomo-s-webservices-19743.patch">0002-matomo-manage-matomo-s-webservices-19743.patch</a> ajouté</li><li><strong>Fichier</strong> <a href="/attachments/32962">0003-matomo-dedicated-ihm-for-manual-configuration-19743.patch</a> <a class="icon-only icon-download" title="Télécharger" href="/attachments/download/32962/0003-matomo-dedicated-ihm-for-manual-configuration-19743.patch">0003-matomo-dedicated-ihm-for-manual-configuration-19743.patch</a> ajouté</li><li><strong>Fichier</strong> <a href="/attachments/32963">0004-matomo-manage-automatic-configuration-19743.patch</a> <a class="icon-only icon-download" title="Télécharger" href="/attachments/download/32963/0004-matomo-manage-automatic-configuration-19743.patch">0004-matomo-manage-automatic-configuration-19743.patch</a> ajouté</li><li><strong>Statut</strong> changé de <i>Nouveau</i> à <i>Solution proposée</i></li><li><strong>Patch proposed</strong> changé de <i>Non</i> à <i>Oui</i></li></ul><p>Merci Fred pour les spécifications détaillées.</p>
<p>- Pour le nom du tenant j'ai pris le nom de domaine du portail usager :<br /> "combo.dev.publik.love" par exemple.</p>
<p>- Pas d'API Matomo pour retrouver un site par rapport à un identifiant externe,<br /> ou en d'autres termes : ajouter 2 fois le même site ne sort pas en erreur.<br /> Du coup je stocke l'ID en base (il y a doublon dans piwik si l'id est modifié en base)</p>
<p>- J'ai stocké le mot de passe matomo du client en clair dans la base.<br /> Puisque l'on met à disposition une url pour se loguer et donc qu'à priori<br /> on ne souhaite pas communiquer ce mot de passe, j'aurais pu stocker son md5.</p>
<p>Svp, je prends toutes vos remarques (specs, pep8, gestion des erreurs, IHM, tests...)</p> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1643932019-03-27T17:50:18ZFrédéric Pétersfpeters@entrouvert.com
<ul></ul><p>(commentaires en vrac, commit par commit, sans avoir testé)</p>
<blockquote>
<p>hobo/matomo/README</p>
</blockquote>
<p>Doit être écrit en anglais, mais plutôt que se trouver là ça pourrait directement se trouver dans hobo/settings.py, au-dessus d'une initialisation à {} du paramètre.</p>
<blockquote>
<p>MATOMO_FEED</p>
</blockquote>
<p>Peut-être plutôt nommer ça MATOMO_SERVER ?</p>
<blockquote>
<p>get_matomo_settings</p>
</blockquote>
<p>Je zapperais totalement cette méthode et accèderait directement à settings.MATOMO_SERVER.</p>
<blockquote>
<p>_parse_response, _raise_on_error</p>
</blockquote>
<p>On n'a pas de règle stricte sur le sujet mais dans la pratique on préfixe rarement de _ les méthodes.</p>
<blockquote>
<p>email = 'noreply_' + user_login + '@entrouvert.com'</p>
</blockquote>
<p>Plutôt 'noreply+' que 'noreply_', histoire d'obtenir une adresse qui existe. Mais peut-être définir dans settings.MATOMO_SERVER un paramètre supplémentaire EMAIL_TEMPLATE (qu'on mettrait nous à '<a class="email" href="mailto:noreply+%s@entrouvert.com">noreply+%s@entrouvert.com</a>' mais qu'une installation ailleurs pourrait vouloir différent).</p>
<blockquote>
<p>get_and_normalise_javascript_tag</p>
</blockquote>
<p>Je ne comprends à première vue pas le rôle de la partie CNIL_JS, ce n'est pas du code qu'on met dans nos installations; c'est quelque part une recommandation CNIL d'ajouter ça ?</p>
<blockquote>
<p>compute_cnil_acknowledgment_level</p>
</blockquote>
<p>Ok je comprends l'intention ici (surtout en suivant derrière 0003 et en relisant mon commentaire initial…). Comme c'est seulement utilisé dans le commit qui suit je l'y aurais déplacé, mais pas bien important.</p>
<blockquote>
<p><h2>Matomo</h2></p>
</blockquote>
<p>Et ailleurs, ça peut plutôt être {% trans "User tracking" %} ou une variation, plutôt que citer un nom de logiciel, ce qui ne sera pas évident pour les gens.</p>
<blockquote>
<p>Les outils de mesures d’audience sont déployés afin d’obtenir des informations (...)</p>
</blockquote>
<p>Il y a ce bout en français qui est venu se coller dans le {% blocktrans %}.</p>
<blockquote>
<p><div class="errornotice">suivi des recommandations CNIL</p>
</blockquote>
<p>À traduire aussi et de préférence ne pas utiliser le même texte pour les trois situations (genre mettre "Excellent respect of user rights", "Good respect of user rights", "No respect for user rights"). (en se disant toujours qu'on n'est pas obligé de taper parfait pour les chaines en anglais, qu'on pourra aviser/adapter dans le fichier de traduction).</p>
<blockquote>
<p>tracking_js = get_variable('cnil_compliant_visits_tracking_js').value<br />context['cnil_ack_level'] = compute_cnil_acknowledgment_level(tracking_js)</p>
</blockquote>
<p>Attention aujourd'hui on peut avoir soit une variable "cnil_compliant_visits_tracking_js" soit une variable "visits_tracking_js" (dans le cas Google, et ça provoquera l'affichage d'un bandeau de consentement). (ce commentaire est valable aussi quelques lignes plus haut, quand on écrit la valeur).</p>
<blockquote>
<p>0004</p>
</blockquote>
<p>Il y a dedans des bouts qui semblent juste changer l'indendation, ça serait plutôt à aller dans 0003. (mais je pense que 0003 et 0004 peuvent être réunis en un seul commit).</p>
<blockquote>
<p>{% trans "Matomo login url" %} :</p>
</blockquote>
<p>URL en majuscule mais pour reprendre une note passée, plutôt avoir {% trans "Open visits tracking dashboard" %}, par exemple. Aussi ça aurait sa place comme lien à droite du titre appbar/h2, dans le <span class="actions">.</p>
<blockquote>
<p>{% trans "Untrack me code" %} :</p>
</blockquote>
<p>Ça n'est pas accessible dans Matomo même ? (parce que je zapperais bien ça ici).</p>
<p><sub>~~</sub></p>
<p>Voilà pour cette lecture mais déjà en l'état je pense que je peux tester en vrai, chouette.</p> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1643942019-03-27T17:51:01ZFrédéric Pétersfpeters@entrouvert.com
<ul><li><strong>Projet</strong> changé de <i>Publik</i> à <i>Hobo</i></li><li><strong>Catégorie</strong> <del><i>Statistiques</i></del> supprimé</li><li><strong>Version cible</strong> <del><i>2019</i></del> supprimé</li></ul> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1643982019-03-27T17:58:21ZFrédéric Pétersfpeters@entrouvert.com
<ul><li><strong>Tracker</strong> changé de <i>Development</i> à <i>Project management</i></li><li><strong>Projet</strong> changé de <i>Hobo</i> à <i>Publik</i></li><li><strong>Statut</strong> changé de <i>Solution proposée</i> à <i>En cours</i></li><li><strong>Version cible</strong> mis à <i>2019</i></li><li><strong>Patch proposed</strong> changé de <i>Oui</i> à <i>Non</i></li><li><strong>Club</strong> mis à <i>Non</i></li></ul><p>Je le redéplace côté Publik pour qu'il ne sorte pas de la roadmap/version cible; du coup j'ai créé <a class="issue tracker-2 status-5 priority-4 priority-default closed" title="Development: intégration matomo (Fermé)" href="https://dev.entrouvert.org/issues/31778">#31778</a> pour la suite des discussions sur les patchs, désolé pour le changement de numéro de ticket que ça amène.</p> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1643992019-03-27T17:58:38ZFrédéric Pétersfpeters@entrouvert.com
<ul><li><strong>Catégorie</strong> mis à <i>Statistiques</i></li></ul> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=1712722019-05-05T10:05:49ZFrédéric Pétersfpeters@entrouvert.com
<ul><li><strong>Statut</strong> changé de <i>En cours</i> à <i>Solution déployée</i></li></ul><p>C'est désormais en recette.</p> Publik - Project management #19743: Intégration de Matomo (ex Piwik), outil de statistiques de consultationhttps://dev.entrouvert.org/issues/19743?journal_id=3381582021-11-22T07:51:09ZMikaël Atesmates@entrouvert.com
<ul><li><strong>Statut</strong> changé de <i>Solution déployée</i> à <i>Fermé</i></li></ul>