Dans le cadre de l'observation, nos unités de recherche sont amenées à déployer de nombreux instruments et capteurs dans l’environnement naturel parfois éloignés du laboratoire. Ces dispositifs peuvent produire de grandes quantités de données diverses, et passent par de nombreuses étapes, qu’il est important de pouvoir monitorer en temps réel afin de maintenir un haut niveau de qualité dans la chaîne d’acquisition et de traitement des données.

Les données passent dans des flux (“workflow”) et un enchaînement de tâches qu’il nous faut contrôler afin de vérifier qu’il n’y a pas eu de problème d’acheminement ou de traitement à chaque étape du “workflow”.

Cette ANF financée par le CNRS et organisée conjointement par les réseaux SIST de l'INSU et RTCE de la MITI  propose de faire le point sur les outils informatiques et les méthodes permettant de mettre en œuvre, contrôler et superviser (“monitorer") les différentes étapes du flux de données, afin de vérifier que toute la chaîne de traitement se déroule correctement sans erreur depuis une plateforme de centralisation des données de terrain vers un outil de visualisation voir un dépot vers des entrepots thématiques. Cette ANF couvre notamment les thématiques du GT4 et GT5 du réseau RTCE portant sur le controle/monitoring des capteurs et bancarisation des données environnementales.

Les objectifs de la formation seront de :

• Définir des bonnes pratiques en terme de supervision de flux de données ;
• Présenter une solution clé en main de mise en place d’un workflow de données, de sa supervision et de sa visualisation via une solution propriétaire “RTMC Pro” qui est un standard de fait sur les capteurs de marque “Campbell”, et a déjà fait ses preuves sur le terrain ;
• Présenter différentes technologies dans les logiciels libres permettant de mettre en place une chaîne complète d'acquisition, de bancarisation, et de visualisation des données de capteurs. 
  
  • Deux applications de workflow : Node-Red et Apache Airflow
    
  • un système de gestion de données : InfluxDB
    
  • un outil de visualisation : Grafana
    
  • une outil de monitoring : Telegraf
    

Cette formation s'adresse principalement aux gestionnaires de données et aux gestionnaires de capteurs environnementaux. Les prérequis minimum demandés sont des bases en linux (terminal, quelques commandes classiques comme ls, cd pour pouvoir se déplacer dans les répertoires, lister le contenu d'un repertoire et lancer des commandes).

La formation aura lieu du 25/11/2024 14h au 29/11/2024 12h au domaine de massacan à côté de Toulon, https://www.massacan.fr/. 

Une formation en distanciel obligatoire est associée à cette ANF et sera dispensée le lundi 18/11/2024 de 9h00 à 12h  afin de former les stagiaires aux bases de la conteneurisation sous docker. Ce dernier sera utilisé dans le déploiement et l'installation des solutions mentionnées ci-dessus.

La formation est réservée principalement aux agents CNRS ou agents non CNRS mais d'UMR CNRS. Pour ces derniers, la formation, l'hébergement et la pention complète sont pris en charge dans le cadre de l'ANF. Les frais de trasnport sont à la charge des agents (frais potentiellement pris en charge par les services formation des délégations régionales pour les agents CNRS). Quelques places sont néanmoins disponibles pour des agents extérieurs. Si la formation reste gratuite pour ces derniers, ils devront s'acquitter des frais d'hébergement en pension complète s'élevant à 443 euros.

Avec le soutien administratif de la Délégation Régionale Centre Est (DR6) du CNRS.