Project

General

Profile

Datawarehouse

Le but est de concentrer et rationaliser (simplification des schémas) sur une machine unique, l'expérience est mené sur la vm "bi" de mesclun.

Tout ce qui concerne cubes a été supprimé car obsolète, la démarche adoptée maintenant est l'utilisation d'un outil ETL maison par brique, pour w.c.s. il se nomme wcs-olap et d'une brique de reporting/visualisation nommée bijoe.

La brique bijoe se configure toute seul grâce à des fichiers JSON en .model qui l'informe des schémas des cubes ROLAP (Relational OLAP) constitués. wcs-olap produit à la fois la base (dans un schéma séparé) et le fichier modèle.

wcs-olap

Exemple de fichier wcs-olap.init:

[wcs-olap]                                                                                                                                                                      
cubes_model_dirs = ./

[http://cam.local:3001/]
orig = connexion.montpellier3m.fr 
key = <SNIPPED>
pg_dsn = dbname=wcs-olap-cam
schema = cam

[http://wcs.soft:3001/]
orig = orig
key = x
pg_dsn = dbname=wcs-olap
schema = wcs_local

# slugs = recette-technique-ajout-d-un-enfant # pour ne synchroniser que certains formulaires

[loggers]
keys=root

[formatters]
keys=console

[formatter_console]
format=%(asctime)s %(levelname)s %(message)s

[handlers]
keys=console

[handler_console]
class=StreamHandler
level=NOTSET
args=(sys.stderr,)
formatter=console

[logger_root]
level=DEBUG
handlers=console

À lancer ainsi pour synchroniser toutes les cibles

wcs-olap --all wcs-olap.ini

Also available in: PDF HTML TXT