patgendre / hmvl Goto Github PK

récupérer les specs du SAGT et SIREDO comme références.
quelle durée d'agrégation : 6' uniquement?
calcule-t-on des vitesses classifiées? Si oui quelle classes de longueur?
cacule-t-on les vitesses et débits par voie? (je suppose que oui)

Le fichier CSV labocom a comme colonnes HORODATE,Milli,RGS,REQUETE,DELAI,REPONSE.
A défaut de spécifications, pour l'instant, on prend comme horodate de la mesure : la colonne horodate + le temps en centièmes de secondes dans la trame de n x 11 caractères de la REPONSE.
On n'utilise PAS la colonne Milli ni le DELAI.
Est-ce OK??

Dans les fichiers RD, il y a un status en début de chaque ligne (qui vaut 0 ou 2) puis un caractère "statut temps réel" en fin de trame (@,B, etc.).
Dans les fichiers Labocom il n'y a pas ce statut temps réel, donc on met une valeur arbitraire à la place : NULL ?

je n'ai pas retrouvé confirmation mais il me semble que quand il y a une '' dans une trame HMVL, c'est une reprise de connexion, donc on peut garder la trame, il suffit de supprimer ce '' pour retrouver les nx11 caractères habituels, c'est bien ça? Merci

en principe lors de la lecture des données RD pour un jour donné, les fichiers RD sont bien du jour demandé, mais apparemment pas à 100%, il faut donc ajouter un test sur la date du jour avant de lire et importer en base un fichier RD

On suppose que toutes les trames sans exception commencent par "T:"

je travaille à nouveau sur l'import des données (pour que ça fonctionne à nouveau) et à cette occasion je complète pour remplacer par le code en 4 chiffres des fichiers RD par son adresse RGS Mxx.
Mais je m'aperçois qu'il manque beaucoup de stations dans le ficher cdSt.csv que vous m'avez fourni, exemple 0039, 0106, 0047 etc. Est-ce normal?

@PatGendre comment sont nommés les fichiers RD s'il-vous-plait ? Chaque fichier correspond à une station ?

Et juste pour être sure, il ne faut pas prendre en compte les fichiers bad, RD_xxx_100/200 et RD_xxx ?

notamment vérifier les chemins des noms de fichier dans les scripts

Vérifier que dans la table hmvl il n'y a pas de DOUBLON : 2+ mesures à la même horodate pour la même station

Quelles règles sur les vitesses et longueurs aberrantes qu'on élimine avant de les agréger ou les analyser?

Les fichiers labocom sont dans les mêmes répertoires que les fichiers RD, donc dans un répertoire hh-mm (3 ou 4 par heure), mais leur contenu est le même quelle que soit l'heure. Est-ce valide?
Cela doit il être corrigé par le CIGT?

Dans les fichiers CSV Labocom, pour la colonne REQUETE : on ne traite pas tout ce qui n'est pas "MI 1", notamment on ne traite pas les DT qui donne l'heure ni les ACK.

Est-ce Ok??

il faudrait transférer ce projet de mon compte patgendre vers un compte dirmed

Le temps d'écriture en base semble long.
comparer écriture postgres et dans un fichier CSV, pour voir.

comment sont définies les voies ?
On trouve souvent un numéro de voie >3

dans la version actuelle de jourhmvl2csv, il y a un paramètre pwd (mot de passe de connexion à la base postrgres) qui sert uniquement à lire les codes des stations en base. Ce serait plus logique de remplacer par ce param par un param fic_codes contenant le nom du fichier csv des codes stations (par défaut "SttCodes.csv").

Pour afficher les données il serait utile de mettre en base le référentiel géographique.
On a un fichier referentiel-donnees-trafic.xlsx fourni par le CIGT; l'onglet Points de mesure décrit les PR de début et fin de chaque PM identifié par son adresse RGS (qu'on a déjà en base).
Idéalement il vaudrait mieux avoir le x,y des boucles que les PR de début / fin des tronçons, ou déjà avoir les PR géocodés en x,y serait bien.
En cherchant un peu sur le web sur http://trafic-routier.data.cerema.fr/ on ne trouve rien de directement utile mais sur la page https://www.ecologique-solidaire.gouv.fr/louverture-des-donnees-du-reseau-routier-national on trouve un lien vers les TMJA de 2018 du RRN, avec plusieurs points de la DIRMED, ils sont géocodés mais en coordonnées RGF93 sans doute, pas très pratique, et il n'y a pas apparemment d'id de station qui nous permette de faire le lien avec le référentiel marius.
Il faudrait donc demander à la DIRMED ou au CEREMA le géocodage des points de mesure, ce serait pratique.

1ers tests de calcul 6' des données pour 24,25,27 avril dans pandas.
A comparer avec données SAGT pour fin mai.

Dans les fichiers RD,
dans l'en-tête la 1ère ligne contient l'heure au méridien de Paris,
la 2ème ligne contient l'heure linux nb de ms depuis le 1/1/70,
on convertit cette heure en heure UTC donc décalée de 2h par rapport à Paris l'été (1h l'hiver)

Dans les fichiers Labocom, l'heure en colonne 1 est-elle bien l'heure de Paris aussi?
Merci de la confirmation.