Power Query: Importer les données météo du site climate.weather.gc.ca

Publié le 20 octobre 2016
par Sophie Marchand M.Sc., CPA, CGA, MVP
Power Query Météo

Power Query: Importer les données météo du site climate.weather.gc.ca

Récemment, dans le cadre d’un mandat d’élaboration de rapport Power BI, j’ai dû trouver une façon d’aller récupérer les données météorologiques passées de plusieurs villes canadiennes. Pour ce faire, j’ai utilisé l’éditeur de requêtes de Power BI Desktop, soit la partie équivalente à Power Query dans Excel. L’article suivant explique comment j’ai réussi à aller récupérer les informations passées de météo à partir du site http://climate.weather.gc.ca/. À noter que la procédure est la même, que vous utilisez Power Query ou Power BI Desktop.

 

Site web http://climate.weather.gc.ca/

D’abord, mes recherches de données météo passées sur le web (pour des villes canadiennes) m’ont toutes menée au site web http://climate.weather.gc.ca/. Je n’ai donc pas eu d’autre choix que de m’arrêter sur ce site et de l’étudier pour savoir comment en tirer les informations de météo passées des villes canadiennes de mon analyse. Ce site possède une section intitulée « Historical Data ». Dans cette section, il est possible de faire des recherches par ville et par années.

Power Query Météo

 

J’ai d’abord fait une recherche pour la ville d’Edmonton, de 2014 à 2016 et j’ai obtenu les résultats ci-dessous. À travers les divers menus déroulants, j’ai pu comprendre que la station météo qui couvrait le mieux mon besoin était la station Edmonton International CS. Je pouvais obtenir les données météo par heure, par jour ou par mois. Comme le but de mon analyse était d’étudier la corrélation entre les ventes et la météo, j’ai retenu l’option quotidienne.

Power Query Météo

 

 

Ce faisant, j’ai obtenu le tableau suivant, pour le mois de janvier 2014. Après plusieurs essais, j’ai bien compris que c’était le mieux que je pouvais obtenir. Impossible d’obtenir une table complète de l’historique d’une seule station.

Power Query Météo

 

J’ai donc étudié l’url de la table de résultats (voir image ci-dessous). Power Query Météo

J’ai fait plusieurs tests et j’ai remarqué que je pouvais remplacer les dates par les dates de début et de fin de mon échantillon, dans ce cas du 01-01-2014 au 31-01-2014 et que je pouvais supprimer la portion faisant référence à la journée.Power Query météo

Forte de cette trouvaille, il ne me restait plus qu’à construire une requête me permettant d’aller chercher toutes les données météos pour les mois de janvier 2014 à aujourd’hui, par ville, et à les exploser par jour.

 

Création des tables de base

Dans un premier temps, j’ai récupéré une table comprenant tous les détails des stations météos publiées sur le site web. Vous pouvez télécharger cette table à partir du lien FTP suivant:  ftp://ftp.tor.ec.gc.ca/Pub/Get_More_Data_Plus_de_donnees/.

 

La table s’intitule « Répertoire des stations FR ».

Power Query Météo

Voici un extrait de cette table.

Power Query Météo

 

Je l’ai étudiée et j’ai identifié les stations météorologiques qui semblaient les plus complètes pour les villes dans mon analyse. Pour les fins de cet article, je n’ai retenu que 4 villes.

Power Query Météo

 

J’ai ensuite d’abord construit une table avec le nom de mes 4 villes (tel que définis dans mon modèle de données) et le nom des stations correspondantes.

Power Query Météo

 

J’ai également créé une table pour obtenir tous les mois et années sous analyse et j’ai ajouté une colonne « id », qui me sera très utile plus tard.

Power Query Météo

 

Création de ma fonction de transformation de données

Dans un premier temps, je n’ai fait qu’importer un mois de données en utilisant l’url présenté plus haut dans cet article.

Power Query Météo

 

Par la suite, j’ai nettoyé les données, pour ne retenir que les informations importantes.

Power Query Météo

 

Une fois la requête de transformation des données terminée, je l’ai enregistrée comme fonction, en ajoutant (UrlPath)=> dans l’éditeur de code et en remplaçant l’url par la mention UrlPath (tel qu’illustré ci-dessous).

Power Query Météo

 

Création de la table de données de météo historiques

J’ai d’abord importé la table de stations météo avec les données nécessaires et j’ai ajouté une colonne pour spécifier la ville de correspondance dans mes données de ventes (la colonne « city » ci-dessous).

Power Query Météo

 

J’ai ensuite fusionné les colonnes.

Power Query Météo

 

Puis j’ai transposé les colonnes et ajouté une colonne « id » avec le chiffre 0.

Power Query Météo

 

J’ai ensuite ajouté au bout de cette table, la table avec mes mois sous analyse (append queries). La fusion s’est faite avec le champ id, tel qu’illustré ci-dessous.

Power Query Météo

 

J’ai ensuite utilisé la fonctionnalité « Fill down » (Remplissage vers le bas), tel qu’illustré ci-dessous:

Power Query Météo

 

J’ai donc pu « dé-pivoter » mes colonnes et obtenir le tableau ci-dessous.

Power Query Météo

 

J’ai pu ensuite « dé-fusionner » mes colonnes, pour avoir la table complète de toutes les combinaisons de dates (mois et année) et de stations possibles.

Power Query Météo

 

Il m’a ensuite fallu m’assurer d’avoir toutes les informations nécessaires pour reconstruire tous les url me permettant d’aller chercher les données météos mensuelles de toutes ces combinaisons possibles. J’ai d’abord utilisé les fonctionnalités de dates pour me créer un « StartDate » et un « EndDate » par mois.

Power Query Météo

 

J’ai également ajouté une colonne pour préciser le code de la province, tel que requis dans l’url et j’ai créé les colonnes mois et années, nécessaires également pour recréer l’url.

Power Query Météo

 

J’ai ensuite ajouté une colonne personnalisée me permettant de reconstruire l’url pour chaque combinaison de ma table.

Power Query Météo

 

Voici comment doit se lire le tout (les données entre crochets font référence aux colonnes de ma table):

Power Query Météo

 

Ce faisant, j’ai pu extraire toutes les informations météorologiques quotidiennes passées pour toutes les combinaisons de ma table.

Power Query Météo

 

Je n’ai ensuite fait qu’un peu de ménage pour ne retenir que l’essentiel.

Power Query Météo

 

Le saviez-vous?

Il est désormais possible de définir un lien url par morceau lors de la définition d’une connexion dans Power BI. Toutefois, on ne peut pas (encore du moins) faire référence à des colonnes de la table de données. Je n’aurais donc pas pu utiliser cette fonctionnalité pour résoudre le cas présenté dans cet article.

Power BI Url

 


Fichier d’accompagnement VIP à télécharger

Pour télécharger le fichier utilisé dans ce tutoriel, devenez membre VIP du CFO masqué.
 
 

Envie de vous former à Power Query /  Power BI?

Le CFO masqué offre deux formations qui pourraient vous intéresser:
 
Formation suggérée #1 : Power BI – Niveau 1
 

Voici quelques commentaires d’apprenants ayant suivi la formation Power BI – Niveau 1 :

Claire Vézina
Écrit il y a 8 mois
C'est très clairement expliqué.

Simple à suivre. Et j'aime le format e-learning, car je peux suivre la formation à mon rythme, en arrêtant pour tester quand j'en sens le besoin.

varone varone
Écrit il y a 11 mois
Excellente formation

Structurée de manière a nous amener a progresser pas à pas

Jacques Bruneau
Écrit il y a 2 ans
Bravo ! et surtout merci !

La meilleure a ce jour en ligne. Le ton est vivant ! Aussi contrairement à d'autres formations excel suivies en ligne, le fait de pouvoir revenir sur les vidéos et exemples à volonté est un atout majeur contrairement aux autres formations.


 
Formation suggérée #2 : Excel – Introduction à Power Query et au langage M
 

Voici quelques commentaires d’apprenants ayant suivi la formation Excel – Introduction à Power Query et au langage M :

Bertrand Fortin
Écrit il y a 1 an
Simplement un gros WOW.

Je suis totalement satisfait de la formation. Je ne pouvais demandé mieux.

Stephanie Lambert
Écrit il y a 2 ans
Enfin du contenu que je ne connaissais presque pas

J'ai enfin pu avoir l'expérience d'un nouvel apprenant et comme je m'y attendais, elle fut très positive. Les notions sont bien expliquées et illustrées avec des exemples concrets. Il est très utile d'avoir les mêmes tables de données pour pouvoir reproduire les exemples. Les documents pdf fournis sont clairs et bien faits.

Daniel Harvey
Écrit il y a 2 ans
J'ai adoré.

Comme introduction a l'outil, pour avoir un aperçu de ce qu'il est possible de faire, je pense que la formation est vraiment géniale.

CFO-Masque_Formations-en-ligne_FB Le CFO masqué offre un vaste choix de formations en informatique décisionnelle avec Excel et Power BI, via un portail en ligne et à distance en temps réel, selon un calendrier. Si vous désirez organiser des formations privées, faites nous simplement parvenir un courriel à info@lecfomasque.com . Des certificats convenant aux normes de formation continue des divers ordres professionnels du Québec sont offerts pour l'ensemble des formations.  

Découvrez quelles formations vous conviennent

 

2 réflexions sur “Power Query: Importer les données météo du site climate.weather.gc.ca”

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Scroll to Top