gip-recia / esco-csv2xml Goto Github PK

le script génère des informations de classe sur des établissements qui ne sont pas listés dans les établissements configurés. Cela devrait être filtré.

Il serait nécessaire d'indiquer dans la documentation aux administrateurs les particularités découvertes à la rentrée 2015 sur certaines condition de remontées des comptes/groupes.

• Vérifier que la date d'entrée et de sortie des apprenants dans les groupes et l'établissement est une plage dont la date d'extraction est comprise.
• Dans le même principe vérifier la plage de validité des groupes associés aux apprenants.
• Aussi dans le même principe, mais plus particulièrement sur certaines disciplines, comme les langues, auxquels des groupes spécifiques sont créés que ceux-ci sont sur des plages valides dans le planning.
• Indiquer aussi de faire attention aux dates de sortie car cela provoque le passage en suppression des comptes. un palliatif est d'arrêter l'extracteur pour éviter ce problème.
• Indiquer que la version 0.7.9 permet d'influer sur la date d'extraction des données afin de pouvoir réaliser des extractions par anticipation à J-2 par exemple (en indiquant -2 dans le paramétrage). Aussi préciser de faire attention au moment de l’exécution de la tâche d'export par rapport à cette option.

Il faudrait voir les modifications à réaliser - s'il y a lieu d'en faire surtout - pour intégrer les données de plusieurs sites sous un seul et même site. Heureusement que c'est à faire sur les extractions d'un même YPAREO. (pour le CFA SMS)

les messages d'erreurs envoyés aux établissements ne limite pas le message à l'établissement concerné.
Le texte du message est concaténé au fil de la boucle. cf:

-------------------------------------------------------------
Ceci est un rapport d'erreur généré automatiquement
par le script traitant les extractions Ypareo des CFA.
Ce script réalise la récupération et la transformation des fichiers CSV.
-------------------------------------------------------------
Date de traitement: 06/05/2019 01:10:44
YPAREO de l'établissement A
-------------------------------------------------------------

Des erreurs ont été rencontrées durant le traitement:

Erreur durant le téléchargement de l'archive générée par YPAREO

Si cette erreur se produit plusieurs jours de suite merci d'intervenir.
S'il s'agit d'une erreur durant le traitement des fichiers l'équipe ENT est
informée des problèmes rencontrés. Dans les autres cas de figure merci de
corriger le problème sur votre serveur où se trouve l'extracteur Ypareo.

Vous avez à votre disposition la documentation de référence fournie par le
GIP RECIA :
....Doc_mise_en_place_extraction_YPareo.pdf

Dans le cas où vous auriez besoin d'un complément d'information sur le
problème vous pouvez répondre directement à ce message, dans ce cas merci de
conserver le message d'origine.

YPAREO de l'établissement B
-------------------------------------------------------------

Des erreurs ont été rencontrées durant le traitement:

Erreur durant le téléchargement de l'archive générée par YPAREO

Si cette erreur se produit plusieurs jours de suite merci d'intervenir.
S'il s'agit d'une erreur durant le traitement des fichiers l'équipe ENT est
informée des problèmes rencontrés. Dans les autres cas de figure merci de
corriger le problème sur votre serveur où se trouve l'extracteur Ypareo.

Vous avez à votre disposition la documentation de référence fournie par le
GIP RECIA :
....Doc_mise_en_place_extraction_YPareo.pdf

Dans le cas où vous auriez besoin d'un complément d'information sur le
problème vous pouvez répondre directement à ce message, dans ce cas merci de
conserver le message d'origine.

YPAREO de l'établissement C
-------------------------------------------------------------

Des erreurs ont été rencontrées durant le traitement:

Erreur durant le téléchargement de l'archive générée par YPAREO

Si cette erreur se produit plusieurs jours de suite merci d'intervenir.
S'il s'agit d'une erreur durant le traitement des fichiers l'équipe ENT est
informée des problèmes rencontrés. Dans les autres cas de figure merci de
corriger le problème sur votre serveur où se trouve l'extracteur Ypareo.

Vous avez à votre disposition la documentation de référence fournie par le
GIP RECIA :
....Doc_mise_en_place_extraction_YPareo.pdf

Dans le cas où vous auriez besoin d'un complément d'information sur le
problème vous pouvez répondre directement à ce message, dans ce cas merci de
conserver le message d'origine.

Dans certains cas particuliers nous recevons des formateurs associés à des "groupes" mais sans apprenant, de ce fait dans le xml le formateur se retrouve avec cette information, hors comme il n'y a pas d'apprenant la données ne peut âtre traitée, mais quand les apprenants remontent avec le groupe d'associé cela ne met pas à jour le formateur puisque considéré comme non modifié avec nos différentiels.

Sur le même principe il y a le lien apprenant - responsable légal, apprenant / tuteur, Formateur tuteur de stage/ apprenant, etc... mais aussi il faudrait vérifier le lien formateur / enseignement / groupe, apprenant/MEF etc... En fait tout ce qui dépend de l'ordre d'apparition des données dans le temps et l'ordre de traitement des données à un moment donné. Car un jour on peut avoir les liens sur une personne sans avoir la seconde personne ou objet en lien défini dans les autres fichiers

La solution serait d'intégrer dans le XML que les liens où l'information est bien présente dans les deux sens (oblige deux passes).

Actuellement le problème se résout en repassant régulièrement les complets des CFA

Les versions précédentes de l'extracteur attribuaient comme niveau de formation aux apprenants la valeur de la colonne SITUATION_DU_JEUNE, hors cette colonne est une donnée administrative contenant le niveau de formation actuelle de l'apprenant mais contenant aussi sa situation, apprenti, stagiaire, etc... Hors ce dernier élément n'est pas adapté.
Pour corriger cela la version 0.7.9 de l'extracteur extrait les champs ANNEE_NOM_JEUNE et ANNEE_NUM_JEUNE, qui devraient nous permettre d'indiquer l'année actuelle dans la préparation du diplôme du jeune. À l'un de ces champs il faudra donc concaténer ensuite le champs DIPLOME_PREPARE ce qui nous permettra d'obtenir le niveau de formation.

Une entreprise peut être extraites de plusieurs YPAREO des CFAs, mais toujours avec le même SIREN, ce qui permet de n'avoir au final qu'une seule entreprise, mais la liste des établissements en lien n'est pas maintenu tout le temps, on n'obtient parfois qu'un seul établissement alors qu'il y en a plusieurs.

Cas exemple : SIREN 31730611600029 sur 0280738A et 0410590U dans les fichiers csv des deux étabs (avec MA OK) et dans les fichiers xml générés de l'entreprise on n'a que 0410590U, alors que dans CFA_Complet_20170926_MaitreApp_0000.xml (faire un grep -1 sur 31730611600029) on a bien des MA sur les deux structures.

Il faudrait notifier les administrateurs YPAREO des dysfonctionnement lors de la récupération des archives des données YPAREO.
En gros il faudrait créer une liste de diffusion sur chacun des établissements basée sur un groupe d'administrateur YPAREO voir celui des admin locaux en plus (je verrai bien le groupe admin=>YmagLog être renommé en "administrateur YPAREO"). En ensuite il suffirait d'envoyer les mails sur la liste de l'établissement.

Dans le fichier de properties il est possible de définir pour une liste d'uai un nom surchargeant celui des csv pour tous les lycées agricoles. Cependant il aurait été mieux de pouvoir étendre cette possibilité à tous les établissement.
Attention quand même le tableau défini à l'origine permet de définir la liste des "CFA AGRICOLE" pour associer un type de structure spécifique. Donc il faudrait dissocier les deux tableaux.

Les clés de jointure (et donc aussi attribut id) dans le xml contiennent des espaces. Il faut procéder à un nettoyage de ces chaînes pour quelles ne contiennent pas d'espace.

Attention aux références où est utilisé le SIREN !
id, ENTStructureJointure, ENTAuxTuteurStageSociete, ENTAuxRespEntrpSociete, autres ?

Les fonctions fournies dans l'extracteur avant la version 0.7.9 étaient incomplètes, on ne pouvait pas distinguer un chef d'établissement d'un administratif. Normalement cette nouvelle version extrait une nouvelle colonne "FONCTION" qui devrait aider à compléter ce manque.