Accueil – Le CFO masqué › Forums › Power BI › Historique des données recueillies avec web scraping
- This topic has 3 réponses, 3 participants, and was last updated il y a 3 years et 2 months by Brice LE BLANC.
-
AuteurArticles
-
4 septembre 2019 à 8 h 22 min #57776stephanie_lamberParticipant
Bonjour,
J’utilise le web scraping pour aller chercher des données sur un site web. J’aimerais pouvoir conserver l’historique d’extraction pour suivre les changements (ajouts, retraits et dates où l’info a été recueillie). J’ai ajouté une colonne avec la date d’extraction de mes données, mais j’ai besoin d’aide pour la suite. Comment puis-je créer une table qui compile toutes les extractions?
Merci!
4 septembre 2019 à 11 h 20 min #57777Sophie MarchandParticipantBonjour Stéphanie,
Power BI est une solution en mode “Refresh All” par opposition à une base de données où on entrepose des données et on importe de nouvelles données.
Power BI repart toujours de 0 et refait l’importation en date du jour. Il est possible d’utiliser le “Incremental Refresh” lorsqu’on a accès à Power BI Premium mais ça ne permet pas non plus de faire exactement ce dont il est question ici. Voici néanmoins un lien à ce sujet: https://docs.microsoft.com/en-us/power-bi/service-premium-incremental-refresh.
Dans le cas présent, je crois qu’il n’y a pas d’autres solutions que de dupliquer la requête, à chaque fois que l’on souhaite actualiser les données. Ceci permet de conserver la requête précédente à une date x (il faut alors cliquer l’option de ne pas mettre à jour les données lors de l’actualisation) et la nouvelle requête à une date y.
Ensuite,on peut utiliser la fonctionnalité de Ajout de requêtes pour ajouter les requêtes bout à bout.
Ceci permettrait de suivre l’évolution des données d’une extraction à l’autre. Hélas, dans ce cas, il y a quand même une opération manuelle à faire.
Sinon, on pourrait réfléchir à un scénario où les requêtes seraient plutôt effectuées à partir de Power Query dans Excel. Par exemple, en supposant qu’on veuille suivre une évolution mensuelle, on pourrait créer à l’avance 12 fichiers Excel avec 12 requêtes semblables. Il s’agirait à chaque mois de mettre la requête à jour dans le bon fichier Excel.
On pourrait ensuite utiliser Power BI pour fusionner ces 12 fichiers bout à bout.
Au plaisir,
Sophie
4 septembre 2019 à 12 h 54 min #57781stephanie_lamberParticipantMerci Sophie pour cette réponse!
Ça explique très bien pourquoi c’est aussi compliqué et ça me confirme qu’il n’y a pas de façon simple de faire ce que je veux.
20 septembre 2021 à 4 h 19 min #95445Brice LE BLANCParticipantBonjour,
J’ai trouvé une solution, que j’explique en vidéo ici :
Le post est ancien, mais ça peut toujours servir 🙂
-
AuteurArticles
- Vous devez être connecté pour répondre à ce sujet.