Historique des données recueillies avec web scraping

Accueil – Le CFO masqué Forums Power BI Historique des données recueillies avec web scraping

  • Ce sujet contient 3 réponses, 3 participants et a été mis à jour pour la dernière fois par Brice LE BLANC, le il y a 2 années et 6 mois.
4 sujets de 1 à 4 (sur un total de 4)
  • Auteur
    Articles
  • #57776
    stephanie_lamber
    Participant

    Bonjour,

    J’utilise le web scraping pour aller chercher des données sur un site web. J’aimerais pouvoir conserver l’historique d’extraction pour suivre les changements (ajouts, retraits et dates où l’info a été recueillie). J’ai ajouté une colonne avec la date d’extraction de mes données, mais j’ai besoin d’aide pour la suite. Comment puis-je créer une table qui compile toutes les extractions?

    Merci!

    #57777
    Sophie Marchand
    Participant

    Bonjour Stéphanie,

    Power BI est une solution en mode “Refresh All” par opposition à une base de données où on entrepose des données et on importe de nouvelles données.

    Power BI repart toujours de 0 et refait l’importation en date du jour. Il est possible d’utiliser le “Incremental Refresh” lorsqu’on a accès à Power BI Premium mais ça ne permet pas non plus de faire exactement ce dont il est question ici. Voici néanmoins un lien à ce sujet: https://docs.microsoft.com/en-us/power-bi/service-premium-incremental-refresh.

    Dans le cas présent, je crois qu’il n’y a pas d’autres solutions que de dupliquer la requête, à chaque fois que l’on souhaite actualiser les données. Ceci permet de conserver la requête précédente à une date x (il faut alors cliquer l’option de ne pas mettre à jour les données lors de l’actualisation) et la nouvelle requête à une date y.

    Ensuite,on peut utiliser la fonctionnalité de Ajout de requêtes pour ajouter les requêtes bout à bout.

    Ceci permettrait de suivre l’évolution des données d’une extraction à l’autre. Hélas, dans ce cas, il y a quand même une opération manuelle à faire.

    Sinon, on pourrait réfléchir à un scénario où les requêtes seraient plutôt effectuées à partir de Power Query dans Excel. Par exemple, en supposant qu’on veuille suivre une évolution mensuelle, on pourrait créer à l’avance 12 fichiers Excel avec 12 requêtes semblables. Il s’agirait à chaque mois de mettre la requête à jour dans le bon fichier Excel.

    On pourrait ensuite utiliser Power BI pour fusionner ces 12 fichiers bout à bout.

    Au plaisir,

    Sophie

    #57781
    stephanie_lamber
    Participant

    Merci Sophie pour cette réponse!

    Ça explique très bien pourquoi c’est aussi compliqué et ça me confirme qu’il n’y a pas de façon simple de faire ce que je veux.

    #95445
    Brice LE BLANC
    Participant

    Bonjour,

    J’ai trouvé une solution, que j’explique en vidéo ici :

    Le post est ancien, mais ça peut toujours servir 🙂

    • Cette réponse a été modifiée le il y a 2 années et 6 mois par Brice LE BLANC.
4 sujets de 1 à 4 (sur un total de 4)
  • Vous devez être connecté pour répondre à ce sujet.