Optimisation import quotidien csv en masse dans Power BI

Accueil – Le CFO masqué Forums Power BI Optimisation import quotidien csv en masse dans Power BI

Mots-clés : 

  • Ce sujet contient 1 réponse, 2 participants et a été mis à jour pour la dernière fois par Stéphane Lorin, le il y a 2 années et 3 mois.
2 sujets de 1 à 2 (sur un total de 2)
  • Auteur
    Articles
  • #100536
    ragues.guillaume
    Participant

    Bonjour à tous,

    J’exporte tous les jours de SAP des tables en fichier .csv afin de pouvoir garder un historique et faire des courbes d’évolution et d’analyse dans Power BI.
    Une connexion directe ne me permettrait que d’avoir un état instantané, et la fonction n’est de toute façon pas encore disponible chez nous.

    Chaque export de chaque table est rangé dans un dossier particulier.

    J’utilise l’importation par dossier et ma problématique est que cela représente une centaine de fichiers csv de chaque type dans plusieurs dossiers

    Chaque jour PowerBI réimporte donc les mêmes fichiers + les nouveaux du jour, ce qui prend tous les jours de plus en plus de temps pour des taches inutiles.
    Je précise qu’une fois exporté, les csv ne sont que très rarement modifiés à posteriori.

    Auriez vous des idées afin d’optimiser tout ça ?

    N’y aurait il pas une méthode pour importer les csv dans une table, les archivés puis rajouté tous les jours uniquement les nouveaux fichiers ?
    Ou de n’importé dans le dossier que les nouveaux fichiers ou ceux qui auraient été modifié un peu comme dans un direct query ?

    A l’heure actuelle, ma seule idée serait de créer un fichier Excel avec une macro pour importer les csv, et déplacer les csv déjà importé dans un dossier d’archive, un onglet par type de csv, et de connecter PowerBI à ce fichier Excel… l’importation d’un fichier Excel étant bien plus rapide que l’importation de plusieurs centaines de csv à nombre de ligne équivalent…

    Nous disposons d’un sharepoint d’entreprise et de PowerBI prémium

    #100543
    Stéphane Lorin
    Participant

    Bonjour

    Kim Leblanc a écrit un billet sur l’actualisation incrémentielle, l’avez vous lu ?
    Cette technique doit pouvoir s’appliquer dans votre cas

    Power BI: Comment configurer l’actualisation incrémentielle (Incremental Refresh)

    Stéphane

2 sujets de 1 à 2 (sur un total de 2)
  • Vous devez être connecté pour répondre à ce sujet.