Datawarehouse¶

Le but est de concentrer et rationaliser (simplification des schémas) sur une machine unique, l'expérience est mené sur la vm "bi" de mesclun.

Tout ce qui concerne cubes a été supprimé car obsolète, la démarche adoptée maintenant est l'utilisation d'un outil ETL maison par brique, pour w.c.s. il se nomme wcs-olap et d'une brique de reporting/visualisation nommée bijoe.

La brique bijoe se configure toute seul grâce à des fichiers JSON en .model qui l'informe des schémas des cubes ROLAP (Relational OLAP) constitués. wcs-olap produit à la fois la base (dans un schéma séparé) et le fichier modèle.

wcs-olap¶

Exemple de fichier wcs-olap.init:

[wcs-olap]                                                                                                                                                                      
cubes_model_dirs = ./

[http://cam.local:3001/]
orig = connexion.montpellier3m.fr 
key = <SNIPPED>
pg_dsn = dbname=wcs-olap-cam
schema = cam

[http://wcs.soft:3001/]
orig = orig
key = x
pg_dsn = dbname=wcs-olap
schema = wcs_local

# slugs = recette-technique-ajout-d-un-enfant # pour ne synchroniser que certains formulaires

[loggers]
keys=root

[formatters]
keys=console

[formatter_console]
format=%(asctime)s %(levelname)s %(message)s

[handlers]
keys=console

[handler_console]
class=StreamHandler
level=NOTSET
args=(sys.stderr,)
formatter=console

[logger_root]
level=DEBUG
handlers=console

À lancer ainsi pour synchroniser toutes les cibles

wcs-olap --all wcs-olap.ini