Produits Entr'ouvert » BiJoe

Déjà est-ce qu'il existe un format de catalogue de donnée opendata qu'on pourrait publier pour reprise dans n'importe quel portail open-data ? Ça nous éviterait d'avoir à faire des interfaces publics. On pourrait ainsi se concentrer sur les aspects backoffice de curation: choisir les données, sous quel nom et avec quels colonnes (on n'est pas sur que les données dans nos exports soient toujours "anonymisé" ce serait mieux d'avoir un dernier garde-fou au niveau de bijoe que d'exporter bêtement tout).

Pas très détaillée mais page de référence à mon avis : https://www.data.gouv.fr/fr/faq/producer/

C'est plus clair ici: on a le choix soit de se faire moissonner en protocole CJAN ou OpenDataSoft (à voir si ce dernier est documenté) soit de pousser via l'API de data.gouv.fr.

Je n'ai pas donné l'URL ou soit disant ce serait plus clair: https://www.data.gouv.fr/fr/faq/developer/#api

Je n'ai pas donné l'URL ou soit disant ce serait plus clair: https://www.data.gouv.fr/fr/faq/developer/#api

Cette page (enfin je suppose que c'était celle-ci) est maintenant accessible ici : https://doc.data.gouv.fr/jeux-de-donnees/demander-a-datagouvfr-de-moisonner-votre-site/

Déjà est-ce qu'il existe un format de catalogue de donnée opendata qu'on pourrait publier pour reprise dans n'importe quel portail open-data ?

Si existait, pourrait être ici : https://scdl.opendatafrance.net/docs/ (mais existe pê qqchose à l'échelon européen ?)
Ce serait donc à nous de créer notre "spécification du modèle de données relatif aux demandes en lignes", puis la proposer pour standardisation à http://www.opendatafrance.net/

J'ai regardé du côté de https://doc.data.gouv.fr/.

Il y a à présent 3 formats : DCAT, CKAN et OpenDataSoft. Le code du moissoneur CKAN utilisé par doc.data.gouv.fr est publié ici alors que celui de DCAT est intégré au projet udata.

cf la doc technique du logiciel udata (utilisé pour doc.data.gouv.f) : DCAT is now the recommended way to harvest remote portals and repositories (and so to expose opendata metadata for any portal and repository).

• Il s'agit d'un modèle de métadonnées (la version européenne fait plus peur à voir).
• Plusieurs languages peuvent être utilisés pour la description du catalogue. udata accèpe les suivants :
  • RDF XML
  • JSON-LD
  • Turtle
  • N3
  • NT
  • Trig

cf google, CKAN is the most mature opensource solution
CKAN propose un plugin pour importer/exporter suivant le format DCAT qui fourni de la doc avec des exemple dont un en JSON-LD : https://opendata.swiss/en/dataset/verbreitung-der-steinbockkolonien.jsonld qui au final serait plus pratique que de l'XML.

En python, on peut jouer avec le format RDF XML via la rdflib. Elle permet de construire des jeux de données et fourni (entre autres) un serializer RDF-XML

• Implémentation : parmis DCAT, ODS, MAAF, CKAN et DKAN
• URL : source base url

• Dataset noeud de type dcat:Dataset en RDF : une collection de données, publiée ou élaborée par une seule source, et disponible pour accès ou téléchargement dans un ou plusieurs formats.
• Resource noeud de type dcat:Distribution en RDF : représente une forme spécifique d'un jeu de données : CSV...

extrait (Tours publie via opendatasoft) :

   <rdf:Description rdf:about="https://data.tours-metropole.fr/api/v2/catalog/exports/rdf?lang=fr">
       <dcat:dataset rdf:resource="https://data.tours-metropole.fr/api/v2/catalog/datasets/sections-sur-le-territoire-de-tours-metropole-val-de-loire"/>
   </rdf:Description>

   <rdf:Description rdf:about="https://data.tours-metropole.fr/api/v2/catalog/datasets/sections-sur-le-territoire-de-tours-metropole-val-de-loire-csv">
       <rdf:type rdf:resource="http://www.w3.org/ns/dcat#Distribution"/>
       <dcat:accessURL rdf:resource="https://data.tours-metropole.fr/api/v2/catalog/datasets/sections-sur-le-territoire-de-tours-metropole-val-de-loire/exports/csv"/>
       <dct:description>csv export of https://data.tours-metropole.fr/api/v2/catalog/datasets/sections-sur-le-territoire-de-tours-metropole-val-de-loire</dct:description>
       <dct:format>csv</dct:format>
       <dcat:mediaType>text/csv</dcat:mediaType>
   </rdf:Description>

   <rdf:Description rdf:about="url de ce fichier">
       <dcat:dataset rdf:resource="url de ce fichier#ID"/>
   </rdf:Description>

   <rdf:Description rdf:nodeID="ID">
       <rdf:type rdf:resource="http://www.w3.org/ns/dcat#Distribution"/>
       <dcat:accessURL rdf:resource="url du jeux de donnée"/>
       <dct:format>json</dct:format>
   </rdf:Description>

Tout ça pour dire que la question du format de catalogue de donnée opendata concerne uniquement les métadonnées et ne répond pas à la question du format des données, pour qu'elles soient ensuite reprisent dans n'importe quel portail open-data.

A cette seconde question, d'après ce que je lis dans la doc d'opendatasoft je dirais du GeoJSON ou un JSON du type :

{
  "data": [
    {"id1": {"key1": "val1", "key2": "val2", ...}},
    {"id2": {"key1": "val1", "key2": "val2", ...}},
    ...]
}