Project

General

Profile

Development #35818

mdel: démarche DDPACS

Added by Emmanuel Cazenave 9 months ago. Updated 3 months ago.

Status:
Solution déployée
Priority:
Normal
Target version:
-
Start date:
04 Sep 2019
Due date:
% Done:

0%

Patch proposed:
Yes
Planning:
No

Description

Aucune information particulière sur la façon dont ça doit se gérer mais parait-il que c'est possible.

0001-utils-add-zip-package-for-templated-zip-files-36848.patch View (11.1 KB) Benjamin Dauvergne, 15 Oct 2019 02:08 PM

0003-utils-add-conversion-from-XMLSchema-to-JSON-schema-3.patch View (9.84 KB) Benjamin Dauvergne, 15 Oct 2019 02:08 PM

0002-utils-add-JSON-flattening-helpers-35818.patch View (11.8 KB) Benjamin Dauvergne, 15 Oct 2019 02:08 PM

0003-utils-allow-blank-SFTPField-35818.patch View (858 Bytes) Benjamin Dauvergne, 21 Oct 2019 10:25 AM

0006-utils-add-conversion-from-XMLSchema-to-JSON-schema-3.patch View (13 KB) Benjamin Dauvergne, 21 Oct 2019 10:25 AM

0002-utils-add-zip-package-for-templated-zip-files-36848.patch View (14.3 KB) Benjamin Dauvergne, 21 Oct 2019 10:25 AM

0007-tox.ini-rebase-and-remove.patch View (1.4 KB) Benjamin Dauvergne, 21 Oct 2019 10:25 AM

0008-new-DDPACS-connector.patch View (43.3 KB) Benjamin Dauvergne, 21 Oct 2019 10:25 AM

0001-gitignore-add-build-and-htmlcov.patch View (462 Bytes) Benjamin Dauvergne, 21 Oct 2019 10:25 AM

0005-utils-load-more-json-related-symbols.patch View (883 Bytes) Benjamin Dauvergne, 21 Oct 2019 10:25 AM

0004-utils-add-JSON-flattening-helpers-35818.patch View (12.2 KB) Benjamin Dauvergne, 21 Oct 2019 10:25 AM

0001-utils-add-zip-package-for-templated-zip-files-36848.patch View (14.9 KB) Benjamin Dauvergne, 24 Oct 2019 11:05 PM

0007-utils-add-conversion-from-XMLSchema-to-JSON-schema-3.patch View (13.1 KB) Benjamin Dauvergne, 24 Oct 2019 11:05 PM

0008-add-MDEL-DDPACS-connector-35818.patch View (54.3 KB) Benjamin Dauvergne, 24 Oct 2019 11:05 PM

0006-utils-load-more-json-related-symbols.patch View (883 Bytes) Benjamin Dauvergne, 24 Oct 2019 11:05 PM

0003-base-add-context-method-to-ProxyLogger-35818.patch View (1.56 KB) Benjamin Dauvergne, 24 Oct 2019 11:05 PM

0005-utils-add-JSON-flattening-helpers-35818.patch View (12.2 KB) Benjamin Dauvergne, 24 Oct 2019 11:05 PM

0002-gitignore-add-build-and-htmlcov.patch View (462 Bytes) Benjamin Dauvergne, 24 Oct 2019 11:05 PM

0004-utils-allow-blank-SFTPField-35818.patch View (858 Bytes) Benjamin Dauvergne, 24 Oct 2019 11:05 PM

0001-utils-add-zip-package-for-templated-zip-files-36848.patch View (14.9 KB) Benjamin Dauvergne, 25 Oct 2019 10:48 AM

0007-utils-add-conversion-from-XMLSchema-to-JSON-schema-3.patch View (13.1 KB) Benjamin Dauvergne, 25 Oct 2019 10:48 AM

0009-add-MDEL-DDPACS-connector-35818.patch View (55.5 KB) Benjamin Dauvergne, 25 Oct 2019 10:48 AM

0006-utils-load-more-json-related-symbols.patch View (883 Bytes) Benjamin Dauvergne, 25 Oct 2019 10:48 AM

0003-base-add-context-method-to-ProxyLogger-35818.patch View (1.56 KB) Benjamin Dauvergne, 25 Oct 2019 10:48 AM

0005-utils-add-JSON-flattening-helpers-35818.patch View (12.2 KB) Benjamin Dauvergne, 25 Oct 2019 10:48 AM

0002-gitignore-add-build-and-htmlcov.patch View (462 Bytes) Benjamin Dauvergne, 25 Oct 2019 10:48 AM

0004-utils-allow-blank-SFTPField-35818.patch View (858 Bytes) Benjamin Dauvergne, 25 Oct 2019 10:48 AM

0008-api-add-long_description-for-POST-endpoints-35818.patch View (1.47 KB) Benjamin Dauvergne, 25 Oct 2019 10:48 AM

Firefox_Screenshot_2019-10-25T08-47-55.574Z.png View (404 KB) Benjamin Dauvergne, 25 Oct 2019 10:49 AM

0001-utils-add-zip-package-for-templated-zip-files-36848.patch View (14.9 KB) Benjamin Dauvergne, 25 Oct 2019 02:23 PM

0007-utils-add-conversion-from-XMLSchema-to-JSON-schema-3.patch View (13.1 KB) Benjamin Dauvergne, 25 Oct 2019 02:23 PM

0009-add-MDEL-DDPACS-connector-35818.patch View (55.5 KB) Benjamin Dauvergne, 25 Oct 2019 02:23 PM

0006-utils-load-more-json-related-symbols.patch View (883 Bytes) Benjamin Dauvergne, 25 Oct 2019 02:23 PM

0003-base-add-context-method-to-ProxyLogger-35818.patch View (1.56 KB) Benjamin Dauvergne, 25 Oct 2019 02:23 PM

0005-utils-add-JSON-flattening-helpers-35818.patch View (12.2 KB) Benjamin Dauvergne, 25 Oct 2019 02:23 PM

0002-gitignore-add-build-and-htmlcov.patch View (462 Bytes) Benjamin Dauvergne, 25 Oct 2019 02:23 PM

0004-utils-allow-blank-SFTPField-35818.patch View (858 Bytes) Benjamin Dauvergne, 25 Oct 2019 02:23 PM

0008-api-add-long_description-for-POST-endpoints-35818.patch View (2.76 KB) Benjamin Dauvergne, 25 Oct 2019 02:23 PM

0009-utils-load-more-json-related-symbols.patch View (885 Bytes) Benjamin Dauvergne, 05 Nov 2019 03:41 PM

0005-utils-add-zip-package-for-templated-zip-files-36848.patch View (14.9 KB) Benjamin Dauvergne, 05 Nov 2019 03:41 PM

0006-base-add-context-method-to-ProxyLogger-35818.patch View (1.56 KB) Benjamin Dauvergne, 05 Nov 2019 03:41 PM

0007-utils-allow-blank-SFTPField-35818.patch View (860 Bytes) Benjamin Dauvergne, 05 Nov 2019 03:41 PM

0003-misc-render-request-body-s-JSON-schema-35818.patch View (9.79 KB) Benjamin Dauvergne, 05 Nov 2019 03:41 PM

0001-gitignore-add-build-and-htmlcov.patch View (464 Bytes) Benjamin Dauvergne, 05 Nov 2019 03:41 PM

0011-add-MDEL-DDPACS-connector-35818.patch View (55.1 KB) Benjamin Dauvergne, 05 Nov 2019 03:41 PM

0008-utils-add-JSON-flattening-helpers-35818.patch View (12.2 KB) Benjamin Dauvergne, 05 Nov 2019 03:41 PM

0002-misc-add-long_description-for-POST-endpoints-35818.patch View (2.76 KB) Benjamin Dauvergne, 05 Nov 2019 03:41 PM

0010-utils-add-conversion-from-XMLSchema-to-JSON-schema-3.patch View (13.4 KB) Benjamin Dauvergne, 05 Nov 2019 03:41 PM

0004-misc-adapt-payload-when-parsing-JSON-request-body-35.patch View (1.79 KB) Benjamin Dauvergne, 05 Nov 2019 03:41 PM

Firefox_Screenshot_2019-11-05T14-40-34.689Z.png View (211 KB) Benjamin Dauvergne, 05 Nov 2019 03:44 PM

Firefox_Screenshot_2019-11-05T14-40-14.999Z.png View (441 KB) Benjamin Dauvergne, 05 Nov 2019 03:44 PM

Firefox_Screenshot_2019-11-05T14-37-53.248Z.png View (530 KB) Benjamin Dauvergne, 05 Nov 2019 03:44 PM

0009-utils-load-more-json-related-symbols.patch View (885 Bytes) Benjamin Dauvergne, 05 Nov 2019 06:54 PM

0005-utils-add-zip-package-for-templated-zip-files-36848.patch View (14.9 KB) Benjamin Dauvergne, 05 Nov 2019 06:54 PM

0006-base-add-context-method-to-ProxyLogger-35818.patch View (1.56 KB) Benjamin Dauvergne, 05 Nov 2019 06:54 PM

0007-utils-allow-blank-SFTPField-35818.patch View (860 Bytes) Benjamin Dauvergne, 05 Nov 2019 06:54 PM

0003-misc-render-request-body-s-JSON-schema-35818.patch View (9.87 KB) Benjamin Dauvergne, 05 Nov 2019 06:54 PM

0001-gitignore-add-build-and-htmlcov.patch View (464 Bytes) Benjamin Dauvergne, 05 Nov 2019 06:54 PM

0011-add-MDEL-DDPACS-connector-35818.patch View (55.1 KB) Benjamin Dauvergne, 05 Nov 2019 06:54 PM

0008-utils-add-JSON-flattening-helpers-35818.patch View (12.2 KB) Benjamin Dauvergne, 05 Nov 2019 06:54 PM

0002-misc-add-long_description-for-POST-endpoints-35818.patch View (2.76 KB) Benjamin Dauvergne, 05 Nov 2019 06:54 PM

0010-utils-add-conversion-from-XMLSchema-to-JSON-schema-3.patch View (15.9 KB) Benjamin Dauvergne, 05 Nov 2019 06:54 PM

0004-misc-adapt-payload-when-parsing-JSON-request-body-35.patch View (1.79 KB) Benjamin Dauvergne, 05 Nov 2019 06:54 PM

0009-utils-load-more-json-related-symbols.patch View (885 Bytes) Benjamin Dauvergne, 05 Nov 2019 07:22 PM

0005-utils-add-zip-package-for-templated-zip-files-36848.patch View (14.9 KB) Benjamin Dauvergne, 05 Nov 2019 07:22 PM

0006-base-add-context-method-to-ProxyLogger-35818.patch View (1.56 KB) Benjamin Dauvergne, 05 Nov 2019 07:22 PM

0007-utils-allow-blank-SFTPField-35818.patch View (860 Bytes) Benjamin Dauvergne, 05 Nov 2019 07:22 PM

0003-misc-render-request-body-s-JSON-schema-35818.patch View (9.87 KB) Benjamin Dauvergne, 05 Nov 2019 07:22 PM

0001-gitignore-add-build-and-htmlcov.patch View (464 Bytes) Benjamin Dauvergne, 05 Nov 2019 07:22 PM

0011-add-MDEL-DDPACS-connector-35818.patch View (55.1 KB) Benjamin Dauvergne, 05 Nov 2019 07:22 PM

0008-utils-add-JSON-flattening-helpers-35818.patch View (12.2 KB) Benjamin Dauvergne, 05 Nov 2019 07:22 PM

0002-misc-add-long_description-for-POST-endpoints-35818.patch View (2.76 KB) Benjamin Dauvergne, 05 Nov 2019 07:22 PM

0010-utils-add-conversion-from-XMLSchema-to-JSON-schema-3.patch View (15.9 KB) Benjamin Dauvergne, 05 Nov 2019 07:22 PM

0004-misc-adapt-payload-when-parsing-JSON-request-body-35.patch View (1.79 KB) Benjamin Dauvergne, 05 Nov 2019 07:22 PM

0001-add-MDEL-DDPACS-connector-35818.patch View (55.2 KB) Benjamin Dauvergne, 02 Dec 2019 02:29 PM

0001-add-MDEL-DDPACS-connector-35818.patch View (55.2 KB) Benjamin Dauvergne, 16 Jan 2020 04:30 PM

0002-py3-update.patch View (1.63 KB) Benjamin Dauvergne, 31 Jan 2020 08:19 PM

0001-add-MDEL-DDPACS-connector-35818.patch View (55.2 KB) Benjamin Dauvergne, 31 Jan 2020 08:19 PM

38427
38680
38681
38682

Related issues

Related to Passerelle - Development #36848: mdel: adopter une nouvelle façon de faire les .zip Solution déployée 10 Oct 2019
Related to Passerelle - Development #37491: permettre d'ajouter du contexte au proxylogger Solution déployée 06 Nov 2019
Related to Passerelle - Development #37490: ajouter des transformations à la validation de schéma JSON Solution déployée 06 Nov 2019
Blocked by Passerelle - Development #37481: Afficher les schémas JSON déclarés pour les endpoints POST Solution déployée 06 Nov 2019
Blocked by Passerelle - Development #37487: SFTPField: permettre blank=True Solution déployée 06 Nov 2019

Associated revisions

Revision 049198cb (diff)
Added by Benjamin Dauvergne 4 months ago

add MDEL DDPACS connector (#35818)

History

#1 Updated by Benjamin Dauvergne 9 months ago

On parle de la déclaration préalable de PACS ? On a un formulaire sur hautes-alpes.

#2 Updated by Stéphane Laget 9 months ago

Oui, on parle de ce formulaire.
Le principe est de pouvoir générer un fichier "MDEL" pour un import dans l'appli métier cible.
Si ce formulaire correspond à celui en place sur sp.fr, on garde exactement le même.

#3 Updated by Benjamin Dauvergne 8 months ago

Stéphane Laget a écrit :

Oui, on parle de ce formulaire.
Le principe est de pouvoir générer un fichier "MDEL" pour un import dans l'appli métier cible.
Si ce formulaire correspond à celui en place sur sp.fr, on garde exactement le même.

Le formulaire existant sur hautes-alpes est adapté pour reprendre sans difficulté les données tel que formaté dans le XML déposé par MDEL (donc notamment les listes de nationalité et les dates séparées en 3 champs); dans l'autre sens i.e. de w.c.s. vers un logiciel compatible MDEL on peut repartir au moins pour les dates sur un champ date classique. À part ça on peut reprendre le formulaire tel quel, merci de lier ce ticket au ticket client correspondant et de mettre en place ce formulaire sur la recette du client correspondante.

Il me faudra un accès au logiciel qui consomme ou un lien vers le wiki où tout ça est actuellement décrit (ça ira plutôt dans le ticket client).

#4 Updated by Benjamin Dauvergne 8 months ago

  • Subject changed from MDEL: gestion du PACS to mdel: démarche DDPACS

#5 Updated by Benjamin Dauvergne 8 months ago

  • Related to Development #36848: mdel: adopter une nouvelle façon de faire les .zip added

#6 Updated by Benjamin Dauvergne 8 months ago

En plus de changer la façon de produire les .zip par rapport à AEC et ILE je pense aussi changer la façon de déposer les fichiers en utilisant directement le champ SFTP, parce qu'il me semble que toute ville actuellement raccordée à la DILA dispose d'un tel SFTP ou que leur prestataire sait en monter un, donc le plus simple c'est d'avoir la même approche. Au pire ça peut-être un SFTP qu'on déploie nous.

#7 Updated by Emmanuel Cazenave 8 months ago

Est-ce que tu prévois que l'envoi SFTP puisse être débrayé ?

Ça me parait important au moins pour les phases de recette, qu'on puisse générer des fichiers et les transmettre au client sans que eux ou nous aient à monter l'infra sftp.

#8 Updated by Benjamin Dauvergne 8 months ago

Emmanuel Cazenave a écrit :

Est-ce que tu prévois que l'envoi SFTP puisse être débrayé ?

Ça me parait important au moins pour les phases de recette, qu'on puisse générer des fichiers et les transmettre au client sans que eux ou nous aient à monter l'infra sftp.

Hmm oui; ce que je trouverai bien c'est que tout ça soit un peu découplé à un moment, à la manière d'un ESB qui ont des connecteurs "filesystem" (sftp, répertoire locale dans media/, etc..) et d'autres qui produisent du contenu et qu'on puisse les brancher les uns dans les autres sans se poser de questions existentielles. Dans l'attente le plus simple c'est de stocker ça localement dans les modèles des demandes qui sont déjà là.

Mais dans le cas particulier de MDEL ils doivent toujours avoir un SFTP déjà là, sinon je ne vois pas comment ils sont raccordés à MDEL (pour l'instant on a eu aucun client qui utilise le truc sans l'avoir jamais utilisé avec MDEL en fait). Donc question HS: Coté SITIV on a les informations sur le SFTP ?

#9 Updated by Emmanuel Cazenave 8 months ago

Benjamin Dauvergne a écrit :

Donc question HS: Coté SITIV on a les informations sur le SFTP ?

Yes : #33323

#10 Updated by Benjamin Dauvergne 7 months ago

  • Assignee set to Benjamin Dauvergne

#11 Updated by Benjamin Dauvergne 7 months ago

Voilà j'ai mes outils.

#12 Updated by Serghei Mihai 7 months ago

Dans 0002 renommer le module json.py, pour éviter les conflits à l'import?

#13 Updated by Benjamin Dauvergne 7 months ago

  • Status changed from Solution proposée to En cours

#17 Updated by Benjamin Dauvergne 7 months ago

38427

Ce n'est pas magnifique mais ça fait le job.

#19 Updated by Benjamin Dauvergne 7 months ago

Discussion sur le salon :

(14:28:10) fpeters: l'idée maintenant est d'avoir un connecteur mdel par type de document ?
(14:40:51) bdauvergne: ça me parait plus simple oui
(14:41:33) bdauvergne: les types n'ont aucun rapport entre eux à part vaguement la structure de l'enveloppe et encore
(14:41:52) bdauvergne: de toute façon il y a un connecteur sftp par type de document et par collectivité (même deux si on sépare aller et retour)
(14:42:33) bdauvergne: mais j'ai créé un modèle Django abstrait pour tout ce qui est commun

#21 Updated by Benjamin Dauvergne 7 months ago

38680
38681
38682

Exemples de rendu pour les schémas JSON.

J'ai aussi au passage modifier la présentation des paramètres de GET et j'ai ajouté l'affichage d'un type tout le temps (donc soit string, soit integer soit float).

#24 Updated by Frédéric Péters 7 months ago

Ça m'irait d'avoir ces modifs génériques (affichage des données attendues dans le POST, modification de ce qui est affiché pour le GET) dans un ticket séparé, qu'ils puissent être relus et validés indépendamment des parties xmlschema et MDEL.

#25 Updated by Benjamin Dauvergne 7 months ago

  • Blocked by Development #37481: Afficher les schémas JSON déclarés pour les endpoints POST added

#26 Updated by Benjamin Dauvergne 7 months ago

  • Blocked by Development #37482: outils: fonction pour aplatir/désaplatir une structure JSON added

#27 Updated by Benjamin Dauvergne 7 months ago

#28 Updated by Benjamin Dauvergne 6 months ago

#29 Updated by Benjamin Dauvergne 6 months ago

  • Related to Development #37490: ajouter des transformations à la validation de schéma JSON added

#30 Updated by Benjamin Dauvergne 6 months ago

  • Blocked by deleted (Development #37482: outils: fonction pour aplatir/désaplatir une structure JSON)

#31 Updated by Emmanuel Cazenave 6 months ago

La branche est à jour pour relecture (rapport aux trucs qui sont partis dans des tickets à part) ?

#32 Updated by Benjamin Dauvergne 6 months ago

Là ça devrait être bon (j'ai du corrigé un bug dans xmlschema, remonté upstream1 mais déjà contourné dans le code toulouse_axel).

1 https://github.com/sissaschool/xmlschema/issues/144

#34 Updated by Emmanuel Cazenave 4 months ago

Tu pourrais ajouter un help_text sur outcoming_sftp et incoming_sftp qui dise dans lequel on écrit vs lequel on lit ? (Sur ce type de connecteurs je ne m'en souviens jamais).

La méthode render_schema n'est pas utilisée (et du coup get_flattened_schema non plus), j'imagine que ça date d'avant #37481.

On passe par un job pour pousser vers le ftp mais on peut télécharger le zip quand on veut via le endpoint document correct ?

(désolé il faut que tu rebases encore, et vérifier que ça tourne en py3 aussi maintenant, je réagirai vite ensuite)

#35 Updated by Benjamin Dauvergne 4 months ago

Emmanuel Cazenave a écrit :

Tu pourrais ajouter un help_text sur outcoming_sftp et incoming_sftp qui dise dans lequel on écrit vs lequel on lit ? (Sur ce type de connecteurs je ne m'en souviens jamais).

La méthode render_schema n'est pas utilisée (et du coup get_flattened_schema non plus), j'imagine que ça date d'avant #37481.

On passe par un job pour pousser vers le ftp mais on peut télécharger le zip quand on veut via le endpoint document correct ?

(désolé il faut que tu rebases encore, et vérifier que ça tourne en py3 aussi maintenant, je réagirai vite ensuite)

Pas de souci je fais ça.

#37 Updated by Benjamin Dauvergne 4 months ago

  • Assignee changed from Benjamin Dauvergne to Emmanuel Cazenave

#38 Updated by Emmanuel Cazenave 4 months ago

  • Assignee changed from Emmanuel Cazenave to Benjamin Dauvergne
  • Status changed from Solution proposée to En cours

Emmanuel Cazenave a écrit :

Tu pourrais ajouter un help_text sur outcoming_sftp et incoming_sftp qui dise dans lequel on écrit vs lequel on lit ? (Sur ce type de connecteurs je ne m'en souviens jamais).

Tu pourrais ajouter ça stp ?

La méthode render_schema n'est pas utilisée (et du coup get_flattened_schema non plus), j'imagine que ça date d'avant #37481.

A supprimer donc ?

On passe par un job pour pousser vers le ftp mais on peut télécharger le zip quand on veut via le endpoint document correct ?

Tu confirmes ?

#39 Updated by Benjamin Dauvergne 4 months ago

Emmanuel Cazenave a écrit :

On passe par un job pour pousser vers le ftp mais on peut télécharger le zip quand on veut via le endpoint document correct ?

Tu confirmes ?

Oui, il manquerait une vue pour rendre ça plus joli mais si on connait l'id de la demande il suffit de faire /mdel-ddpacs/<slug>/document/<id_demand>/ pour avoir le zip et tester à la main, toutafé. Pour du debug d'un connecteur beta ça me semble suffisant.

#40 Updated by Benjamin Dauvergne 4 months ago

  • Assignee changed from Benjamin Dauvergne to Emmanuel Cazenave
  • Status changed from En cours to Résolu (à déployer)

Commits ajoutés et branche à jour :

commit 0dc9f31e1e72622bc2b90809697ecc7513967938 (HEAD -> wip/35818-mdel-demarche-DDPACS, origin/wip/35818-mdel-demarche-DDPACS)
Author: Benjamin Dauvergne <bdauvergne@entrouvert.com>
Date:   Mon Feb 10 10:57:53 2020 +0100

    remove dead methods

commit c6f53fc39cd693bf2b30b5894c78a5495b2717d2
Author: Benjamin Dauvergne <bdauvergne@entrouvert.com>
Date:   Mon Feb 10 10:54:38 2020 +0100

    add help_text to outgoing_sftp and in incoming_sftp

commit c0086a1d76273547771d78c40f8a153bbc5eef1e
Author: Benjamin Dauvergne <bdauvergne@entrouvert.com>
Date:   Mon Feb 10 10:53:15 2020 +0100

    rename outcoming_sftp to outgoing_sftp

Je squash quand c'est ok.

#41 Updated by Emmanuel Cazenave 4 months ago

  • Status changed from Résolu (à déployer) to Solution validée

#42 Updated by Benjamin Dauvergne 4 months ago

  • Status changed from Solution validée to Résolu (à déployer)
commit 049198cb33f52247e2c4358343998165e49684bd
Author: Benjamin Dauvergne <bdauvergne@entrouvert.com>
Date:   Fri Oct 18 10:54:20 2019 +0200

    add MDEL DDPACS connector (#35818)

#43 Updated by Frédéric Péters 3 months ago

  • Status changed from Résolu (à déployer) to Solution déployée

Also available in: Atom PDF