Open Data France

DEV KINGS 2013 : Une très belle édition ! :)

2013-04-24T13:26:52Z

Microsoft et BeMyApp se sont associés pour la 2^ndeédition des DEV’ KINGS, un grand concours de développement ouvert à tous.

Cette année - nous avons eu déjà l’occasion d’en échanger dans un certain nombre de billets sur ce blog - les DEV’ KINGS 2013 spécial App'citoyenne ont portés sur le développement d’applications basées sur l’Open Data, avec une mission simple : Concevoir sous Windows 8 et Windows Phone 8 des applications citoyennes qui améliorent la vie des habitants de leur ville. Pour mémoire, le principe de ce concours consistait à réunir en équipe des développeurs Windows et HTML 5, des entrepreneurs et des graphistes pour qu’ils développent ensemble des applications Open Data sous Windows Phone 8 et Windows 8.

La finale

A l’issue de 2 mois de compétition intense, les meilleurs candidats se sont retrouvés pour la grande finale les 12 et 13 avril 2013 à Paris dans l'underground d'Epitech.

Au final, à l’issue de ce concours, se ne sont pas moins de 73 applications développées, avec à clé, 48 applications soumises sur le store.

Les gagnants

Place sans plus attendre aux gagnants avec 7 prix décernés ! non sans mal ; cela a été difficile de départager les équipes tant la qualité était au rendez-vous :)

Prix Microsoft

Décerné à Gone to Lyon, une application touristique qui indique en réalité augmentée les lieux touristiques, les bouchons lyonnais et les murs peints. Vous pouvez l’apprécier dès aujourd’hui sur Windows Phone 8 et Windows 8.

Prix Intel

Décerné à Open Paris. Chercher un cabinet dentaire, définir un itinéraire, croiser les données avec les Vélib’ à proximité, les transférer sur un mobile, etc. Tout cela est désormais à portée de main. Pour les parisiens, une application qui gouverne toutes les autres :)

Prix du Meilleur Design et Prix spécial du jury

Décernés à Makemyday. A ce stade développé pour les parisiens, Makemyday est un outil de création d'agenda culturel et sorties personnalisées en fonction de vos centres d'intérêts.

Prix Nokia

Décerné à FitWatcher, votre partenaire santé par excellence ! Saisissez diverses informations (âge, poids, habitudes alimentaires, etc.) et l'application trace tous vos mouvements, sait combien de kilomètres vous parcourez chaque jour et vous prodigue des conseils.

Prix HTML 5

Décerné à Speecheo. Pratique, l’application permet de récupérer les slides d’une conférence sur vos devices et vous évite ainsi de vous déplacer. (Participer, c’est bien aussi et rien n’empêche de faire les deux).

Prix Spécial Versailles Grand Prix

Décerné à Alerte Pollen, une application permettant de localiser les arbres libérant du pollen pour éviter certaines rues lorsque l’on est allergique. C’est complètement d’actualité !

Un grand BRAVO aux gagnants ci-dessus mais également aux finalistes et à l’ensemble des participants qui ont fait de ces DEV KINGS 2013 une très belle édition !

OGDI DataLab et l’extension Data Explorer pour Microsoft Excel 2013

2013-04-24T09:55:00Z

Disponible depuis peu, Microsoft « Data Explorer » Preview pour Excel est un nouvel outil qui propose une expérience transparente pour la découverte de données, la transformation de données et un enrichissement pour les personnes en charge de gérer de l'information, les professionnels de la BI (Business Intelligence), etc. Cet aperçu donne une première idée des fonctionnalités à venir en permettant aux utilisateurs de facilement découvrir, de combiner et d'affiner les données pour une meilleure analyse dans Excel. (Comme avec la plupart des pré-versions, ces caractéristiques sont susceptibles d’apparaître différemment dans la version finale).

Data Explorer se présente sous la forme d’une extension (add-in) pour Microsoft Excel 2013 qui permet :

D’identifier les données qui vous intéresse depuis vos sources préférées (flux OData, bases de données relationnelles, MS Excel, fichiers textes et XML, pages web, Hadoop HDFS, etc.).
De découvrir des données pertinentes en utilisant la capacité de recherche intégrée à Excel.
De combiner des données provenant de multiples sources (mashup) et les façonner afin de les préparer pour une analyse plus approfondie avec des outils comme Excel et PowerPivot pour la création de graphiques croisés dynamiques dont nous avons déjà eu l’occasion de parler dans ce blog.

Pour de plus amples informations sur Data Explorer, nous vous invitons à consulter le blog MSDN éponyme dédié : http://blogs.msdn.com/dataexplorer/.

Vous pouvez télécharger l’extension Data Explorer depuis le Centre de téléchargement Microsoft ici. Une fois installé, vous accédez aux fonctionnalités de Data Explorer au sein de Microsoft Excel 2013 depuis l’onglet DATA EXPLORER.

Les « présentations » étant ainsi faites, ce billet se propose de vous présenter un exemple d’utilisation de l’extension Data Explorer en combinant des données provenant d’un flux OData (via la plateforme de publication de données ouvertes OGDI DataLab) et des données complémentaires provenant directement d’Internet. Le thème de cet exemple sera « les communes françaises ». Nous allons donc rassembler et associer des informations sur les communes de France pour enfin produire des graphiques permettant l’analyse de ces données.

Etape 1 : Récupération des données sources depuis OGDI DataLab

Dans l’instance de test OGDI DataLab mise à disposition par Microsoft France, nous avons chargé les informations de toutes les communes françaises, il y en a plus de 36000 !

Une fois dans l’onglet DATA EXPLORER, cliquez sur From Other Sources puis sur From OData Feed.

Dans la fenêtre OData Feed qui s’ouvre, précisez l’URL de votre flux OData : http://ogdifrance.cloudapp.net:8080/v1/frOpenData/Communes.

Cliquez sur Apply. Une fenêtre s’ouvre et affiche une prévisualisation du résultat. C’est ici que vous allez pouvoir configurer le résultat souhaité en appliquant toute sorte de modification tel qu’insérer, masquer ou renommer des colonnes, filtrer ou grouper les résultats, appliquer des calculs, etc.

Vous allez masquer les colonnes qui ne contiennent pas d’informations utiles pour Cette illustration. Pour sélectionner plusieurs colonnes, commencez par sélectionner une colonne en cliquant sur son en-tête. Pour ajouter d’autres colonnes à la sélection, maintenez la touche CTRL puis cliquez sur les en-têtes des colonnes à ajouter.

Une fois les colonnes sélectionnées, masquez-les en faisant Clic droit > Hide Columns. Il se peut que l’opération soit longue car Excel va recharger tous les éléments.

Une fois que votre requête est prête, il vous reste plus qu’à cliquer sur le bouton Done pour charger les résultats dans Excel.

La fenêtre de prévisualisation se ferme et les données commencent à se charger dans Excel. Cette opération dure plusieurs minutes dans la mesure où il y a près de 70Mo de données à télécharger. Tout dépend du débit de votre connexion Internet. Vous pouvez suivre son avancement dans le panneau de droite. Il est important d’attendre la fin du téléchargement des données pour passer à la suite.

A l’issue de l’opération, vous devez avoir la liste de toutes les communes de France dans votre tableau Excel soit plus de 36000 lignes !

Etape 2 : Enrichissement des données avec une source différente

Dans l’état actuel des données rapatriées, vous disposez de la liste des communes française avec les codes INSEE associées mais vous n’avez aucune information sur le nom des départements.

Toujours dans l’onglet DATA EXPLORER, cliquez sur Online Search.

Un panneau s’ouvre à droite avec un champ de recherche. Nous recherchons « départements France » et parcourons les résultats pour choisir celui qui correspond le mieux à notre besoin. En passant sur les résultats, vous prévisualisez le contenu directement dans Excel.

Choisissez les données en provenance de Wikipédia qui contiennent à la fois le code INSEE - ce qui va vous permettre de réaliser la jointure avec vos données actuelles - et le nom du département, de la préfecture et de la région – ceci constitue la valeur ajoutée de nos données). Cliquez pour utiliser ces données.

Une nouvelle feuille de calcul s’ouvre et les données sont chargées.

Il convient maintenant de lier ces nouvelles données avec vos données initiales. Avant cela, un petit détail se doit d’être régler au niveau du format du code INSEE. Dans le résultat de votre requête OData, les départements de 1 à 9 ne contiennent pas de 0 alors que dans le résultat de la requête Web, le 0 est précisé. Il s’avère donc nécessaire de modifier la requête. Pour cela, fermez le panneau Online Search puis cliquez sur Filter & Shape dans le panneau de droite.

Il va vous falloir remplacer le code INSEE des neufs premiers départements à la main. Faites un clic droit sur la valeur puis cliquez sur Replace Values. Remplissez ensuite le champ Replace With avec la valeur du code INSEE sans le 0 puis enfin cliquez sur Apply.

Une fois les modifications ainsi effectuées, votre tableau doit ressembler à ceci :

Ces données doivent à présent être liées avec vos données initiales. Pour ce faire, cliquez sur le bouton Merge de l’onglet QUERY.

Une fenêtre Merge s’ouvre. C’est ici que vous allez spécifier la colonne de jointure, c’est-à-dire la colonne commune aux deux requêtes permettant d’associer chaque ligne. Sélectionnez votre requête OData comme primary table et votre requête Web sur les départements ensuite. La jointure va se réaliser sur le code INSEE du département ; il convient donc sélectionner la colonne dep de la requête OData et la colonne INSEE_code de la requête Web.

Une fois les deux colonnes choisies, Excel va évaluer votre sélection pour déterminer combien de lignes vont pouvoir être associées. Le but est d’avoir 100% de vos lignes associés.

L’évaluation prend un certain temps compte tenu du volume de données. Vous pouvez cliquer sur OK sans attendre la fin de l’évaluation.

Une fenêtre de prévisualisation s’ouvre. C’est ici que vous allez paramétrer votre requête finale. On retrouve bien tous les champs de votre requête OData ainsi qu’une nouvelle colonne NewColumn à droite. Cette colonne contient les données de la requête web sous forme de tableau.

Cliquez sur l’icône puis cochez Department, Prefecture et Region dans la fenêtre pop-up qui s’ouvre. Enfin cliquez sur OK.

Vous pouvez maintenant constater que pour chaque commune sont associés son département, sa préfecture et sa région. Vous pouvez changer l’ordre des colonnes (en glisser/déplacer) pour une meilleure organisation. Une fois votre requête prête, il ne vous reste plus qu’à cliquer sur Done.

Excel va recharger toutes les lignes. Un fois terminé, votre tableau contient la liste de toutes les communes françaises (récupéré sur l’instance de test de la plateforme de publication OGDI DataLab) enrichi avec des informations venant d’une page Web. C’est toute la puissance de Data Explorer !

Rien n’empêche de continuer à enrichir cet ensemble de données avec d’autres données venant de sources différentes comme par exemple un fichier (texte, XML, CSV, Excel, etc.), une base de données (SQL Server, SQL Azure, MySQL, Access, Oracle etc.), Facebook, Hadoop HDFS, Active Directory et beaucoup d’autres encore ! Vos besoins, votre imagination et l’existant constituent la limite.

Etape 3 : Analyse des données avec Power View

A présent que vos données sont fin prêtes, vous allez vous intéressez à leur analyse au travers de la capacité Power View de Microsoft Excel 2013. (Vous pouvez retrouver en détail les fonctionnalités de Microsoft Excel 2013 sur le billet de Jean-Pierre Riehl.)

Pour cela, cliquez sur Power View dans l’onglet INSERT.

Une fois sur la page Power View, commencez par supprimer le tableau présent par défaut en le sélectionnant puis en cliquant sur la touche Suppr de votre clavier. Pour sélectionner le tableau, cliquez sur la bordure de celui-ci.

Exemple 1 : Population des communes par département

Vous vous retrouvez avec une page vierge et un panneau à droite. Dans ce panneau de droite, cochez la case Department. Cliquez maintenant sur le bouton Tiles de l’onglet DESIGN.

Un nouvel élément s’affiche dans votre Power View, ajustez-le afin qu’il occupe toute la place disponible en laissant de la place pour un titre en haut. Votre titre sera « Population des communes par département ». Votre Power View doit maintenant ressembler à la capture suivante :

Sélectionnez le petit tableau du milieu puis, dans le panneau de droite, cochez nom et popu. Supprimez Department du champ FIELDS de sorte à avoir ceci :

Cliquez sur le bouton Bar Chart puis Stacked Bar de l’onglet DESIGN.

Ajustez votre tableau afin qu’il occupe tout l’espace disponible. Vous avez la possibilité de changer le paramètre de tri (nom ou popu) ainsi que l’ordre (croissant ou décroissant). Choisissez par exemple de trier par population décroissante. Vous disposez maintenant des communes, filtrées par département et triées par ordre de population décroissante. Vous pouvez ainsi parcourir les différents départements et découvrir qu’elles sont les communes les plus peuplées. A noter que l’unité de la population est en centaines d’habitants.

Exemple 2 : Carte des départements de France

Dans ce deuxième exemple, vous allez utiliser la fonction Map de Power View pour afficher les départements français sur une carte.

Retournez sur votre feuille de calcul contenant les données sources puis cliquez à nouveau sur Power View de l’onglet INSERT.

Si Excel vous le demande, choisissez de créer une nouvelle feuille Power View.

Une fois sur votre Power View, commencez par supprimer le tableau présent en le sélectionnant puis en cliquant sur la touche Suppr de votre clavier. Pour sélectionner le tableau, cliquez sur la bordure de celui-ci.

Cochez Department dans le panneau de droite puis cliquez sur Map dans l’onglet DESIGN.

Dans le panneau de droite, il faut mettre Department dans le champ LOCATIONS et le supprimer du champ COLOR. Vous remarquez que Power View géolocalise automatiquement les départements sur la carte de France.

Ajustez la carte à la taille de la page puis ajoutez un titre, par exemple « Carte des départements de France ». Vous devriez avoir ceci :

Vous allez encore améliorer cette carte. Pour ce faire, glissez le champ popu dans la case SIZE du panneau de droite. Ce champ doit être en mode Sum (en cliquant sur la petite flèche à droite), c’est-à-dire qu’il va calculer la somme de la population de chaque commune d’un département donné et ensuite ajuster la taille du point sur la carte en fonction du résultat.

On peut maintenant facilement déterminer quels sont les départements français les plus peuplés.

Encore une petite amélioration, glissez le champ Region dans la case COLOR. Les points se colorent selon leur région et une légende apparait à droite de la carte.

Profitez-en pour découvrir les multiples possibilités qu’offre Power View. Par exemple la fonction de filtrage, accessible en cliquant sur la petite icone en haut à droite de la carte, permet d’affiner vos analyses en vous concentrant sur certains départements ou sur une fourchette de population spécifique.

Power View permet la visualisation de données sous plusieurs formes telles que des cartes, des graphiques, des camemberts, des histogrammes etc. C’est un outil puissant qui vous sera utile pour toute analyse de données.

Ceci conclut ce billet à la découverte de Data Explorer. Nous vous joignons le fichier Excel correspondant si vous souhaitez directement visualiser le résultat.

OGDI DataLab évolue !

2013-04-22T20:08:51Z

La plateforme de publication de données ouvertes OGDI DataLab (disponible sur la forge GitHub comme solution communautaire sous licence libre Microsoft Public License (Ms-PL)) évolue comme l’indique le titre de ce billet.

Ainsi, vis-à-vis de la version 5 disponible jusqu'à présent, un ensemble de nouvelles fonctionnalités ont été introduites au niveau de la branche V6 sur la forge et sont désormais utilisables par tous dès aujourd’hui.

Au-delà d’un nouveau palier technique dans les versions des technologies utilisées, avec notamment :

Une solution au format Visual Studio 2012,
La prise en charge du Microsoft .NET Framework 4.5,
Celle également du Kit de développement logiciel (SDK) Windows Azure pour .NET – Octobre 2012,

L’objectif de ce billet, vous l’aurez compris, consiste à vous proposer une vue d’ensemble rapide de ces nouvelles fonctionnalités qui concernent plus particulièrement :

Le service de données (projet nommé DataService),
L’explorateur de données (projet nommé DataBrowser),
L’outil de chargement de données (projet nommé DataLoader).

Voyons à présent ce qu’il en est de ces nouvelles fonctionnalités. Toute la documentation sur la solution a elle aussi été mise à jour en conséquence pour les refléter. Vous pouvez donc vous reporter à cette dernière pour plus de détails sur ces évolutions.

Le service de données

Les principales nouveautés de cette évolution d’OGDI DataLab se concentrent au niveau du service de données (projet nommé DataService). Il s’agit pour mémoire d’un service de données RESTful conforme au protocole ouvert de donnée OData (Open Data Protocol) qui permet de consommer les différents catalogues de jeux de données publiés.

Ce service de données est complément réécrit dans cette version avec, à la clé, une nouvelle architecture (encore) plus performante. Il convient également de noter dans ce contexte la prise en charge de nouvelles fonctions dans l’URL de requête.

Nous tenons à ce propos à remercier très sincèrement les équipes en charge du portail opendata.bordeaux.fr de la Ville de Mairie de Bordeaux pour :

Les améliorations apportées au service de données en termes de prise en charge de mots-clés additionnels au niveau des opérations de requête d’un jeu de données pour offrir une couverture fonctionnelle améliorée de la spécification d’OData.
La volonté de partager ces améliorations avec le plus grand nombre et de contribuer ainsi à la solution communautaire OGDI DataLab dans un esprit de mutualisation des investissements que nous souhaitons ici saluer. C’est clairement le cercle vertueux que nous souhaitons encourager et soutenir pour la solution.

Cette contribution est désormais intégrée dans la branche v6.

Une nouvelle architecture

Le travail de refonte a porté essentiellement sur une factorisation du code pour éviter au maximum la redondance de code. Le diagramme ci-dessous présente l’organisation des classes de traitement des requêtes HTTP.

La classe abstraite AbstractHttpHandler regroupe le code commun à l’ensemble des requêtes, à savoir l’analyse de la chaîne de requête ainsi que la récupération des données dans les tables Azure.

Les classes qui héritent de la classe abstraite AbstractHttpHandler s’occupent de mettre en forme des réponses selon les types de requêtes. A ce titre, la classe MainHttpHandler est la classe qui gère les requêtes classiques sur les données ; toutes les autres classes gèrent les cas spécifiques tels que les métadonnées ou la liste des catalogues de jeux de données.

Les nouvelles fonctionnalités

Comme évoqué précédemment, le service de données RESTful gère à présent de nouveaux mots-clés OData qui peuvent être insérés dans l’URL de requête. Ces mots clés permettent de personnaliser les résultats retournés par le service de données. Ces nouvelles fonctionnalités ont été ajoutées dans le but à la fois d’offrir une meilleure flexibilité et de se rapprocher au maximum de la spécification OData en termes de couverture fonctionnelle.

Mot clé $top

Il est maintenant possible de spécifier la valeur « all » pour le paramètre $top ; ce qui a pour effet de retourner l’ensemble des résultats d’un jeu de données (dataset) sans limiter du nombre de résultat. Pour rappel, le service de données retourne par défaut les 1000 premiers résultats d’un jeu de données et le flux ainsi retourné contient à la fin des résultats de cette première requête http un élément de type link contenant l’URL pour obtenir les enregistrements suivants, et ainsi de suite jusqu’à ce que l’on ait parcouru tous les résultats. Pour ce faire, l’URL contient un jeton de continuation $skiptoken.

Le tableau ci-dessous présente quelques exemples d’utilisation du paramètre $top :

Requête	Description
Pas de $top http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset	Retourne un maximum de 1000 lignes
$top=2 http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$top=2	Retourne un maximum de 2 lignes
$top=2390 http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$top=2390	Retourne un maximum de 2390 lignes
$top=all http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$top=all	Retourne toutes les lignes

Le service de données se conforme à la spécification OData pour le paramètre $top et ce comme décrit ici.

Mot clé $skip

Le paramètre $skip permet d’omettre les X premières lignes du résultat d’une requête (X étant la valeur du paramètre $skip).

Le tableau ci-dessous présente quelques exemples d’utilisation du paramètre $skip :

Requête	Description
$skip=2 http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$skip=2	Les 2 premiers résultats seront omis
$skip=5&$top=10 http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$skip=5&$top=10	Retourne 10 résultats à partir du 5ème

Il convient de noter qu’il ne faut pas utiliser le mot clé $skip comme un moyen de pagination. Un lien prévu à cet effet est spécifié en bas de la réponse comme décrit précédemment.

Le service de données se conforme à la spécification OData pour le paramètre $skip et ce comme décrit ici.

Mot clé $orderby

Le paramètre $orderby permet de demander au service de données de trier les résultats avant de les retourner. Il est aussi possible de spécifier l’ordre de tri, à savoir asc pour l’ordre croissant et desc pour l’ordre décroissant. Si aucun ordre n’est spécifié, c’est l’ordre croissant qui est utilisé par défaut.

Le tableau ci-dessous présente quelques exemples d’utilisation du paramètre $orderby :

Requête	Description
$orderby=mairie http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$orderby=mairie	Trier par champs mairie croissant
$orderby=insee desc http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$orderby=insee desc	Trier par champs code insee décroissant

Le service de données se conforme à la spécification OData pour le paramètre $orderby et ce comme décrit ici.

Mot clé $filter

Le paramètre $filter était déjà disponible dans la version précédente d’OGDI DataLab. La nouveauté apportée réside dans la possibilité désormais offerte d’utiliser des fonctions de chaîne de caractères, des fonctions de date et des fonctions de nombre dans l’URL de la requête.

Le tableau ci-dessous détaille l’ensemble des nouvelles fonctions :

Fonctions de chaînes de caractères

Bool substringof(string base, string find)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=substringof(mairie, "EAU") eq true

Bool endswith(string base, string end)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=endswith(mairie, "ELLE") eq true

Bool startswith(string base, string start)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=startswith(mairie, "BEAU") eq true

Int length(string base)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=length(mairie) eq 5

Int indexof(string base, string find)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=indexof(mairie, 'Z') eq 4

String replace(string base, string find, string replace)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=replace(mairie, "ZELLE", "") eq "BEAU"

String substring(string base, int pos)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=substring(mairie, 4) eq "ZELLE"

String substring(string base, int pos, int length)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=substring(mairie, 1, 3) eq "EAU"

String tolower(string base)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=tolower(mairie) eq "beauzelle"

String toupper(string base)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=toupper(mairie) eq "BEAUZELLE"

String trim(string base)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=trim(mairie) eq "BEAUZELLE"

String concat(string str1, string str2)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=concat(mairie, " CITY") eq "BEAUZELLE CITY"

Fonctions de date

Int day(DateTime date)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=day(date_ajout) eq 28

Int hour(DateTime date)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=hour(date_ajout) eq 00

Int minute(DateTime date)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=minute(date_ajout) eq 01

Int month(DateTime date)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=month(date_ajout) eq 02

Int second(DateTime date)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=second(date_ajout) eq 09

Int year(DateTime date)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=year(date_ajout) eq 2012

Fonctions sur les nombres

Double round(double nb)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=round(nombre_test) eq 42

Double floor(double nb)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=floor(nombre_test) eq 42

Double ceiling(double nb)
http://ogdifrance.cloudapp.net:8080/v1/catalog/dataset?$filter=ceiling(nombre_test) eq 43

Le service de données se conforme à la spécification OData pour le paramètre $filter et ce comme décrit ici.

L’explorateur de données

Suite à la disponibilité de Windows Azure Caching, un précédent billet sur ce blog décrivait la mise en œuvre en pas à pas d’un cache partagé au sein de la plateforme OGDI DataLab pour le service de données et l’explorateur de données et ce, sur la base de la version v5 d’OGDI DataLab.

Cette gestion de cache a été optimisée et est désormais nativement intégrée dans la solution pour ces deux composantes. Dans la pratique, il est possible d’activer ou de désactiver l’utilisation du cache via le paramètre UseCache du projet Cloud DataBrowser.Cloud de l’explorateur de données.

Le chargeur de données

L’interface graphique de l’outil de chargement de données a enfin également été revue. Elle est maintenant plus claire et plus simple d’utilisation ; Enfin nous l’espérons ;) Le fonctionnement général n’a pas été modifié.

Une gestion intelligente du proxy a été ajoutée, c’est-à-dire que l’outil retrouve automatiquement les paramètres de proxy selon la configuration sauvegardée au niveau du système Windows, paramètres que l’on retrouve dans les options Internet d’Internet Explorer. Il est aussi possible de spécifier une adresse de proxy spécifique.

Enfin, la case Bind To Map de l’onglet Dataset Columns est désormais décochée par défaut ; celle-ci entrainait des erreurs lorsque l’utilisateur oubliait de configurer (correctement) les informations de localisation.

En guise de conclusion

Cette nouvelle version d’OGDI DataLab est actuellement en ligne sur l’instance de test OGDI DataLab mise à disposition par Microsoft France. Vous pouvez directement tester les nouvelles fonctionnalités du service de données via l’adresse http://ogdifrance.cloudapp.net:8080/v1/.

Pour rappel, l’ensemble du code disponible sous licence libre Microsoft Public License (Ms-PL) est disponible sur la forge GitHub au niveau de la branche V6 du projet openlab/DataLab. Bons tests :)

Webcasts des sessions Open Data des Microsoft TechDays 2013

2013-03-21T08:18:01Z

L’Open Data s’est invité lors de l’édition 2013 des Microsoft TechDays le 14 février 2013 dernier au Palais des Congrès de Paris.

Vous avez été nombreux à vous y intéresser et nous vous en remercions. Comme le titre de ce billet l’indique, les webcasts de ces sessions sont désormais disponibles en ligne.

Vous pouvez donc revivre ces moments d’échange ou en profiter pour suivre une session Open Data qui s’est trouvée concurrencée par un autre sujet d’intérêt compte tenu de l’agenda proposé lors de cet évènement :

Open Data, la qualité de la donnée avant la quantité (PPS103) : visionner ou télécharger la vidéo ;
1 heure chrono pour votre plateforme Open Data en ligne : pari tenu ! (INT201) : visionner ou télécharger la vidéo, voir la présentation.

Au-delà de ces deux sessions dédiées, retrouvez en ligne l’ensemble des sujets traités ou complétez votre « parcours » dans les 280 sessions sur 5 domaines principaux de l’éventail d’offre de Microsoft (Infrastructure, Développement, Information Worker, rendez-vous décideurs, Sécurité, etc.).

DEV KINGS 2013 : Exemple d’application du Windows Store

2013-02-27T17:25:00Z

Lors de l’annonce de la 2^ndeédition des DEV’ KINGS, un grand concours de développement ouvert à tous portant cette année sur le développement d’applications citoyennes basées sur l’Open Data, nous mentionnions comme exemple de trame de départ l’exemple d’application du Windows Store proposée il y a un peu plus de 9 mois sur ce blog au travers des billets :

Pour mémoire, cette application utilise un jeu de données contenant des cartes postales de collection mis à disposition par le CG71. Ce dernier comportent des liens pointant vers les images stockées dans des blobs du stockage Azure.

Ces billets s’appuient sur Windows Consumer Preview et les kits de développements associés avec Visual Studio 11.

Nous profitons du concours pour vous proposer ci-joint une version réactualisée pour Windows 8 et Visual Studio 2012 (comme la version gratuite Visual Studio Express 2012 pour Windows 8).

Ce code réactualisé selon les modalités de fonctionnement décrites dans les billets précédents suppose l’installation de Live SDK v5.2. L’application exemple permet en effet, au-delà de visualiser les cartes postales, de les envoyer par courriel ou encore de les stocker dans son espace de stockage personnel SkyDrive ; ce qui suppose un compte Microsoft Account.

Si vous téléchargez le Live SDK depuis la page Téléchargements destinés aux développeurs pour la programmation d'applications du Windows Store ou ajoutez une référence au paquet NuGet correspondant, vous allez par contre dans la pratique reposer sur la version 5.3.

Le code ne se compile alors plus :( En effet, le contrôle de connexion (SignInButton) Windows 8 utilisé dans l’exemple devient désormais obsolète à partir de cette version 5.3. Au lieu de cela, les applications du Windows Store doivent suivre les indications de mise en œuvre décrites dans l’article Recommandations relatives à l’expérience de connexion avec un compte Microsoft. Le code source correspondant est précisé dans cet article. Si vous souhaitez utiliser cette version 5.3, vous devez donc modifier la solution pour intégrer ces indications de mise en œuvre. A vous de voir.

Bon concours avec OGDI DataLab !

DEV KINGS 2013 : Accélérez vos développements avec le service de données OGDI DataLab

2013-02-20T12:50:05Z

La semaine dernière marquait le lancement de la 2^ndeédition des DEV’ KINGS, un grand concours de développement ouvert à tous.

Cette année, les DEV’ KINGS 2013 spécial App'citoyenne portent sur le développement d’applications basées sur l’Open Data, avec une mission simple : Concevoir sous Windows 8 et Windows Phone 8 des applications citoyennes qui améliorent la vie des habitants de leur ville.

Comme vous le savez, ce concours national propose différents fournisseurs qui mettent à disposition leurs données.

Un certain nombre de ces fournisseurs le font au travers de la plateforme communautaire de publication de données OGDI DataLab qui propose un service de données RESTful OData. OData est fondé sur un modèle d'entité et de relation qui vous permet d'accéder aux jeux de données dans le style des ressources REST.

Le point de terminaison du service de données associé décrit la forme des données et tout ce dont vous avez besoin est d’interagir avec les jeux de données. Vos (futures) applications Windows Store Apps et/ou Windows Phone Apps peuvent ainsi accéder à ces données et notamment les requêter grâce au protocole http.

Dans le cadre du concours, vous pouvez ainsi utiliser directement les services de données RESTful OGDI DataLab suivants pour accéder aux catalogues de (jeux de) données en ligne :

Fournisseur	Catalogue	Adresse
Ville de Bordeaux	Catalogue des données publiques de la ville de Bordeaux	http://odatabdx.cloudapp.net/v1/databordeaux
Communauté d'agglomération de Versailles Grand Parc et la ville de Versailles	Catalogue des données publiques de la ville de Versailles	http://opendata-versailles.cloudapp.net:8080/v1/OpendataVersailles
	Catalogue des données publiques de la communauté d'agglomération de Versailles Grand Parc	http://opendata-versailles.cloudapp.net:8080/v1/OpendataVGP
CG71	Catalogue des données brutes du CG71	http://opendata71.cloudapp.net/v1/data
	Catalogue des données de l’INSEE	http://opendata71.cloudapp.net/v1/dataINSEE
	Catalogue des données simplifiées du CG71	http://opendata71.cloudapp.net/v1/dataviz
Bouches-du-Rhône Tourisme	Catalogue des données ouvertes de Bouches-du-Rhône Tourisme	http://dataprovence.cloudapp.net:8080/v1/dataprovencetourisme

Si vous souhaitez utiliser dans votre application un jeu de données d’un fournisseur qui ne serait pas disponible via une instance du service de données OGDI DataLab, vous pouvez nous fournir le jeu de données en question au format .csv par exemple et nous pourrons le charger sur l’instance de test OGDI DataLab France. L’adresse du catalogue principal est http://ogdifrance.cloudapp.net:8080/v1/frOpenData.

De façon à bénéficier des avantages et des potentiels d’un service de données OGDI DataLab vis-à-vis de la création de votre application Windows 8 ou Windows Phone 8, vous devez installer préalablement les outils client OData pour Visual Studio 2012. Vous devez également disposer l’environnement Visual Studio comme les versions Visual Studio Express 2012 pour Windows 8 et Visual Studio Express 2012 pour Windows Phone 8 qui sont gratuites.

Pour cela, rendez-vous à l’adresse http://go.microsoft.com/fwlink/?LinkId=253653 et télécharger les outils correspondant à votre cible applicative.

OData Client Tools for Windows Store Apps (WcfDataServicesWindowsStore.exe) prolonge l'expérience de l'ajout d’une référence de Service avec la prise en charge du protocole OData côté client pour les applications Windows Store dans Visual Studio 2012. L'outillage va ajouter des références aux paquets NuGet capables de consommer des services OData comme le service de données conforme OGDI DataLab. Les mises à jour des assemblages seront mises à disposition via l’expérience de mise à jour classique de paquets NuGet. Ces outils ne sont pas intégrés dans le SDK Windows 8 et doivent être installés séparément.

OData Client Tools for Windows Phone Apps (WcfDataServicesWindowsPhone.exe) apporte les mêmes fonctionnalités mais pour la prise en charge du protocole OData côté client pour les applications Windows Phone 8 dans Visual Studio 2012. Ces outils ne sont pas intégrés dans le SDK Windows Phone 8 et doivent être installés séparément.

Vous devez fermer Visual Studio 2012 avant d’exécuter l’un des programmes d’installation ci-dessus.

Une fois les outils client OData appropriés téléchargés et installés, vous pouvez référencer le service de données OGDI DataLab de votre choix.

A titre d’illustration, créez une nouvelle application Windows Store de type Windows Store Grid App en C#/XAML.

Une fois votre projet créé, ajoutez une référence au service de données OGDI DataLab souhaité. Pour cela, dans Visual Studio 2012, depuis Solution Explorer, faites un clic-droit sur votre projet (App1 ici) et sélectionnez Add Service Reference… Un assistant vous guide dans le processus de création d’une référence de service.

L’information principale à fournir vis-à-vis d’une référence de service est l’url du service à référencer depuis l’application. Remplissez le champ Address avec l’url du service, cliquez sur Go, choisissez un espace nom pour votre service. La capture suivante montre un exemple d’ajout de référence sur le catalogue des données publiques de la ville de Bordeaux à l’adresse http://odatabdx.cloudapp.net/v1/databordeaux.

Validez en cliquant sur OK. Voilà, c’en est terminé pour la génération des classes proxy. Vous êtes prêts à consommer les données du service de données OGDI DataLab ciblé avec un modèle de données approprié et à les afficher dans votre interface. Vous pourrez bénéficier d’une mise à jour automatique à chaque nouveau contenu (jeu de données) publié.

Une telle approche est potentiellement beaucoup plus productive que, par exemple, de requêter le service de données au format JSON (via un objet HttpWebRequest, de parcourir ensuite le flux avec un composant comme Newtonsoft.Json, de le traiter, etc.

A ce stade, et vis-à-vis de notre illustration, vous pouvez modifier le contenu du fichier SampleDataSource.cs situé dans le dossier DataModel. Cette source de données fournit des données d'échantillon pour amorçer les applications Windows Store Apps ; vous devez donc les remplacer avec une source de données qui récupère les données réelles depuis le service de données OGDI DataLab ciblé.

Voilà pour le principe de consommation :)

Bon concours avec OGDI DataLab !

1 heure chrono pour votre plateforme Open Data en ligne : pari tenu ! – 3ième partie

2013-02-15T11:24:00Z

Ce billet s’intéresse à la mise en œuvre de votre environnement Open Data telle que décrite lors de la session TechDays 2013 1 heure chrono pour votre plateforme Open Data en ligne : pari tenu ! (INT201) dans le parcours Enjeux / Ouverture aux technologies non Microsoft.

Si vous avez suivi les première et seconde parties de ce billet, vous devez disposer à ce stade de votre instance :

De la plateforme de publication des données ouvertes OGDI (Open Government Data Initiative) DataLab avec un premier catalogue intégrant deux jeux de données ouvertes et un service de données RESTful OData pour la consommation des données.
Du portail Citoyen Open Data personnalisé aux “couleurs” des Microsoft TechDays 2013.

Ces instances ont été déployées dans votre abonnement Windows Azure avec la plateforme d’installation automatisée ODPI (Open Data Platform Installer), l’une des composantes de la solution Microsoft Open Data Clé en main.

Pour ce faire, et à l’instar des démonstrations de la session INT201, ce billet utilise les services de la plateforme de démonstration ODPI France à l’adresse http://odpifrance.cloudapp.net/. Cette troisième et dernière partie s’intéresse au déploiement du Framework ODAF OpenTurf, autre composante de la solution dont la version v2 est disponible sur la forge GitHub. Pour de plus amples informations sur ce socle, n’hésitez pas à consulter les nombreux billets de ce blog qui lui sont consacrés comme notamment le billet Une nouvelle rencontre…

Mise en œuvre du Framework ODAF OpenTurf

Le déploiement et la configuration de celui-ci suppose de configurer au préalable les éléments suivants :

Partition de stockage au niveau de la souscription Windows Azure. Nous utiliserons la même partition que celle créée précédemment pour la mise en œuvre du socle OGDI DataLab.
Service de Cloud Computing au niveau de la souscription Windows Azure
Base de données SQL Azure
Compte Bitly
Compte développeur Twitter

Nous allons donc commencer par créer et configurer ces éléments.

Création du service de Cloud Computing

Comme précédemment, depuis le portail d’administration Windows Azure, cliquez sur SERVICES DE CLOUD dans la partie supérieure du bandeau droit puis cliquez sur CREER UN SERVICE DE CLOUD COMPUTING.

Renseigner les champs suivants et validez la création du service :

Url : odaftd2013 (si cette Url n’est pas disponible, précisez une Url de votre choix)
Groupe de régions ou d’affinités : Europe de l’Ouest

Création de la base de données SQL Azure

Toujours depuis le portail d’administration Windows Azure, cliquez sur BASES DE DONNEES SQL dans la partie supérieure du bandeau droit.

Cliquez sur SERVEURS pour créer le serveur qui hébergera la base de données d’ODAF OpenTurf.

Cliquez sur CREER UN SERVEUR DE BASE DE DONNEES SQL. Le dialogue Paramètres du serveur de base de données SQL s’ouvre.

Renseigner les champs suivants et validez la création du serveur :

Nom de connexion : <le nom de connexion de votre choix pour SQL Azure>
Mot de passe de connexion : <le mot de passe choisi pour SQL Azure>
Confirmation de votre mot de passe de connexion : <le mot de passe choisi pour SQL Azure>
Région : Europe de l’Ouest

A l’issue de la création du serveur, vous obtenez l’écran suivant. Notez le nom du serveur qui vous a été attribué : <le nom de serveur SQL Azure attribué> dans la suite de ce billet. Vous en aurez par la suite, ne serait-ce que pour la création de la base.

Cliquez à présent sur BASES DE DONNEES.

Cliquez sur CREEZ UNE BASE DE DONNEES SQL. Le dialogue Paramètres de la base de données SQL s’ouvre.

Renseignez les champs suivants et validez la création de la base de données :

Nom : odaftd2013
Serveur : <le nom de serveur SQL Azure attribué> (Emplacement=Europe de l’Ouest)

L’écran suivant confirme la création de la base de données :

Création d’un compte Bitly et enregistrement du Framework ODAF OpenTurf

Le Framework ODAF OpenTurf utilise le service de raccourcissement d’URL offert par Bitly dès que les utilisateurs partagent leurs commentaires sur Twitter. Pour accéder à ce service, vous devez vous enregistrer auprès de Bitly pour obtenir un compte de connexion et une clé qui vous sont nécessaires pour vous connecter au service. L’inscription est totalement gratuite.

Naviguez vers https://bitly.com/a/sign_up et créez un compte pour vous enregistrer sur Bitly. Cliquez sur Sign Up pour valider.

Une fois votre compte créé, naviguez vers https://bitly.com/a/oauth_apps afin d’enregistrer le Framework ODAF. Cliquez sur Register an application.

Cliquez sur Get a Registration Code. Un courriel est envoyé à votre adresse mèl.

Le courriel est de la forme suivante :

Cliquez sur le second lien pour procéder à l’enregistrement du Framework ODAF.

Renseignez les champs suivants et cliquez sur Create You App :

Application Name : ODAF OpenTurf
Application Link : http://odaftd2013.cloudapp.net/
Brief description of your application : Solution Microsoft Open Data clé en main TechDays 2013.

Une fois votre application enregistrée, notez votre clé d’API Bit.ly attribuée. Vous en aurez besoin par la suite.

Création d’un compte développeur Twitter

Pour que le Framework ODAF OpenTurf puisse authentifier vos utilisateurs via leurs comptes Twitter et pour que ces derniers puissent twitter et ainsi partager des avis ou informations sur votre solution ODAF Openturf avec leur réseau social, vous devez disposer d’un compte développeur sur Twitter pour pouvoir vous connectez à l’API Twitter via une clé de consommateur, un secret de consommateur et une URL de rappel. L’inscription est totalement gratuite.

Connectez-vous sur le portail développeur de Twitter à l’adresse https://dev.twitter.com/ via Sign in et cliquez ensuite sur Create an app pour commencer la procédure de création de compte.

Connectez-vous avec les identifiants de votre compte Twitter.

Si vous n’avez pas de compte Twitter, la procédure de création est très simple et très rapide, il suffit de cliquer sur Sign up et de se laisser guider.

Une fois enregistré(e), naviguez vers https://dev.twitter.com/apps et cliquez sur le bouton Create a new application.

Au niveau du formulaire d’enregistrement d’application, renseignez les champs suivants :

Name : ODAF OpenTurf
Description : Solution Microsoft Open Data clé en main TechDays 2013
Website : http://odaftd2013.cloudapp.net
Callback URL : http://odaftd2013.cloudapp.net/User/AuthorizeReturn

Défilez la fenêtre vers le bas, cochez Yes, I agree, saisissez le Captcha et cliquez sur Create Your Twitter application.

Une fois votre application enregistrée, notez dans l’onglet Details votre clé de consommateur (Consumer Key) et votre secret de consommateur (Consumer Secret) attribués à votre application :

Consumer Key : <votre clé de consommateur Twitter>
Consumer Secret : <votre secret de consommateur Twitter>

Vous en aurez besoin par la suite. Par ailleurs, assurez-vous de bien renseigner Read, Write and Access direct messages dans le champ Application Type au niveau de l’onglet Settings.

Vous disposez à présent de tous les éléments nécessaires à l’installation d’ODAF OpenTurf.

Déploiement d’ODAF OpenTurf avec la plateforme d’installation automatisée ODPI

Comme précédemment, naviguez vers l’adresse http://odpifrance.cloudapp.net pour accéder à la version de démonstration de la plateforme d’installation. Dans la liste des composants à installer, sélectionnez simplement ODAF Openturf.

Cliquez sur Continuer >>. La page suivante vous demande de préciser un certain nombre d’informations relatives à votre souscription Windows Azure.

Comme précédemment, vous y êtes invité(e) dans un premier temps à télécharger le certificat de gestion relatif à cette session ODPI et à l’enregistrer ensuite au niveau du portail d’administration Windows Azure. Procédez à l’identique avec ce nouveau certificat.

Renseignez les Informations Azure avec les informations suivantes et cliquez sur Continuer >> :

ID d’abonnement : <votre identifiant d’abonnement Windows Azure>
Nom du compte de stockage : td2013
Clé d’accès primaire : <votre clé d’accès primaire>

Une page de Configuration ODAF Openturf s’affiche alors. Commençons par les Informations SQL Azure comme vous y êtes invité(e).

Renseignez les Information SQL Azure avec les informations suivantes :

Nom d’hôte de la base de données : <le nom de serveur SQL Azure attribué>.database.windows.net
Nom de la base de données : odaftd2013
Identifiant : <le nom de connexion de votre choix pour SQL Azure><le nom de serveur SQL Azure attribué>
Mot de passe : <le mot de passe choisi pour SQL Azure>

Renseignez les Paramètres de l’application avec les informations suivantes :

Nom de l’application : ODAF OpenTurf
Identifiant Bit.ly : <votre identifiant Bit.ly>
Clé d’API Bit.ly : <votre clé d’API Bit.ly>

Renseignez les Paramètres Twitter avec les informations suivantes :

Identifiant Twitter administrateur : <votre identifiant Twitter>
Consumer Key : <votre clé de consommateur Twitter>
Consumer Secret : <votre secret de consommateur Twitter>
Url de retour : http://odaftd2013.cloudapp.net/User/AuthorizeReturn
Url de l’application : http://odaftd2013.cloudapp.net

Renseignez les Information sur le stockage Blob avec les informations suivantes :

Nom du compte de stockage : td2013
Clé d’accès primaire : <votre clé d’accès primaire>

Cliquez sur Continuer >>. Dans la page Déploiements, sélectionnez le service de Cloud Computing que vous venez de créer pour ODAF OpenTurf, ici odaftd2013 pour l’illustration.

Cliquez sur Déployer. Le package ODAF OpenTurf se compile et se déploie avec les paramètres spécifiés.

A l’issue du déploiement avec la plateforme d’installation automatisée ODPI, le frontal Web riche d’ODAF Openturf est accessible depuis le lien proposé.

Cliquez sur le lien here. Un nouvel onglet s’ouvre sur le site Web riche du Framework ODAF OpenTurf à l’adresse http://odaftd2013.cloudapp.net dans notre illustration.

Cliquez sur le logo Twitter pour vous connecter. Une boîte de dialogue Twitter / Autoriser une application s’ouvre.

Précisez vos nom d’utilisateur et mot de passe et cliquez sur Autoriser l’application.

Cliquez sur Close Window. De retour dans l’application ODAF OpenTurf, naviguez vers http://odaftd2013.cloudapp.net/admin.

Cliquez sur Sources. Dans la vue correspondante, cliquez sur +. Une fenêtre Add Record s’ouvre.

Renseignez les champs de saisie comme suit et cliquez sur Submit ensuite :

Title : TechDays 2013
Description : Données de test Open Data clé en main
Author Name : <le nom de votre choix>
Author Email : <l’adresse mèl de votre choix >
Boundary Polygon : "latitude":48.0832344136664,"longitude":-1.61892019094906
Active : coché

Cliquez sur Feeds. Dans la vue correspondante, cliquez sur +. Une fenêtre Add Record s’ouvre.

Renseignez les champs de saisie comme suit et cliquez sur Submit ensuite :

Data Source: TechDays 2013
Title : RennesPAV2
Summary : Cet ensemble de données contient les coordonnées des Points d'Apports Volontaires de la ville de Rennes
KML Url : http://ogditd2013.cloudapp.net:8080/v1/ogditd2013/RennesPAV2/?$filter=&format=kml
Image URL : http://odaftd2013.cloudapp.net/images/ping.png
Region :
Active : coché

Naviguez vers http://odaftd2013.cloudapp.net/. Le jeu de données RennesPAV2 peut être sélectionné pour la source TechDays 2013.

Ceci clôt le déploiement des accélérateurs de la solution Microsoft Open Data Clé en main.

Nous espérons que ce billet vous a donné envie d’explorer à votre tour cette solution pour votre projet Open Data.

1 heure chrono pour votre plateforme Open Data en ligne : pari tenu ! – 2nde partie

2013-02-15T10:38:00Z

Si vous avez suivi la première partie de ce billet, vous devez disposer à présent de votre instance de la plateforme de publication des données ouvertes OGDI (Open Government Data Initiative) DataLab avec un premier catalogue intégrant deux jeux de données ouvertes et un service de données RESTful OData pour la consommation des données.

Cette instance a été déployée dans votre abonnement Windows Azure avec la plateforme d’installation automatisée ODPI (Open Data Platform Installer), l’une des composantes de la solution Microsoft Open Data Clé en main.

Mise en œuvre du Portail Citoyen Open Data

Le déploiement et la configuration du portail Citoyen Open Data suppose de configurer au préalable les éléments suivants :

Partition de stockage au niveau de la souscription Windows Azure. Nous utiliserons la même partition que celle créée précédemment pour la mise en œuvre du socle OGDI DataLab.
Service de Cloud Computing au niveau de la souscription Windows Azure

Nous allons donc commencer par créer et configurer le service de Cloud Computing du portail.

Création du service de Cloud Computing

Renseigner les champs suivants et validez la création du service :

Url : portailtd2013 (si cette Url n’est pas disponible, précisez une Url de votre choix)
Groupe de régions ou d’affinités : Europe de l’Ouest

Déploiement d’OGDI DataLab avec la plateforme d’installation automatisée ODPI

Cliquez sur Continuer >>. La page suivante vous demande de préciser un certain nombre d’informations relatives à votre souscription Windows Azure.

Renseignez les Informations Azure avec les informations suivantes et cliquez sur Continuer >> :

ID d’abonnement : <votre identifiant d’abonnement Windows Azure>
Nom du compte de stockage : td2013
Clé d’accès primaire : <votre clé d’accès primaire>

Une page de Configuration Portail Citoyen Open Data s’affiche alors.

Renseignez les Paramètres de l’application avec les informations suivantes :

Url du service de données : http://ogditd2013.cloudapp.net:8080/v1/
Titre du site : Open Data clé en main TechDays 2013
Url du logo du site : http://www.microsoft.com/france/mstechdays/images/2013/logo_mstechdays.png
Texte de bienvenue : “Vous êtes sur le portail de diffusion de données publiques de la solution Open Data clé en main”
Texte de descriptif du portail : copiez le contenu du fichier Description Portail Citoyens.txt ci-joint
Image d’accueil : http://www.microsoft.com/france/mstechdays/images/2013/image2.jpg

Cliquez sur Continuer >>. Dans la page Déploiements, sélectionnez le service de Cloud Computing que vous venez de créer pour OGDI DataLab, ici portailtd2013 pour l’illustration.

Cliquer sur Déployer. Le package Portail Citoyen Open Data se compile et se déploie avec les paramètres spécifiés.

A l’issue du déploiement avec la plateforme d’installation automatisée ODPI, le portail Citoyen Open Data adossé à la plateforme de publication de données ouvertes OGDI Datalab est accessible depuis le lien proposé.

Cliquez sur le lien here. Un nouvel onglet s’ouvre sur OGDI DataLab à l’adresse http://portailtd2013.cloudapp.net dans notre illustration.

La troisième partie de ce billet s’intéresse au déploiement du Framework ODAF OpenTurf dont la version v2 est disponible sur la forge GitHub. Pour de plus amples informations sur ce socle, n’hésitez pas à consulter les nombreux billets de ce blog qui lui sont consacrés comme notamment le billet Une nouvelle rencontre…

1 heure chrono pour votre plateforme Open Data en ligne : pari tenu ! – 1ère partie

2013-02-15T10:06:00Z

Cette mise en œuvre qui repose sur la solution Microsoft Open Data Clé en main suppose de disposer au préalable simplement d’une souscription Windows Azure. Si vous ne disposez pas d’ores et déjà d’une telle souscription, n’hésitez pas à visiter le site dédié Windows Azure et à demander le cas échéant une évaluation gratuite de 90 jours.

Comme illustré lors de la session INT201 lors des TechDays 2013, la mise en œuvre de votre environnement Open Data via la solution Microsoft Open Data Clé en main est grandement facilitée par l’utilisation de la plateforme d’installation automatisée ODPI (Open Data Platform Installer), l’une des composantes de la solution. Cette plateforme est décrite dans le billet ODPI, la facilité de mise en œuvre des solutions Open Data.

Dans la pratique, cette plateforme permet de déployer et de configurer une solution complète en marque blanche sous licence libre Microsoft Public License (Ms-PL), prête à l’usage, interopérable, ouverte, évolutive et déployée et mise en ligne "en quelques clics" dans Windows Azure pour bénéficier pleinement des apports du Cloud (puissance et élasticité, modèle économique), avec pas ou peu d’investissement initial et un « Time-to-Market ».

Au-delà du portail ODPI en tant que tel, la solution Open Data Clé en main intègre un ensemble d’accélérateurs Open Data :

La plateforme de publication des données ouvertes OGDI (Open Government Data Initiative) DataLab avec une gestion multi-catalogues de (jeux de) données ouvertes et un service de données RESTful OData pour la consommation des données. Cette solution communautaire disponible sur la forge GitHub s’adapte très facilement à la stratégie de l’acteur public notamment en termes de portail usager ;
Le portail Citoyen Open Data pour offrir une interface simple et intuitive aux usagers ;
Le Framework applicatif multiplateformes ODAF (Open Data Application Framework) OpenTurf centré sur l’Expérience Utilisateur pour mettre en valeur les (catalogues de) données géo-localisées d’OGDI DataLab avec des modèles pour le Web riche, les environnements mobiles (Android, iPhone/iPad et Windows Phone) intégrés avec les réseaux sociaux (Facebook et Twitter). Cette solution communautaire disponible sur la forge GitHub constitue une fondation pour l’acteur public pour contribuer à la création d’un écosystème applicatif Open Data et intégrer une dimension sociale et participative dans cet écosystème.
Le portail ODPI autorise le déploiement "en quelques clics" dans Windows Azure des accélérateurs précédents (et d’autres composantes personnaliées qui peuvent être déclarées de la même façon). Ce billet illustre ce déploiement de bout-en bout.

Pour ce faire, et à l’instar des démonstrations de la session, ce billet utilise les services de la plateforme de démonstration ODPI France à l’adresse http://odpifrance.cloudapp.net/.

Mise en œuvre de la plateforme de publication de données ouvertes OGDI DataLab

Intéressons-nous dans un premier temps au déploiement de la plateforme de publication de données ouvertes OGDI DataLab dont la version v5 est disponible sur la forge GitHub comme mentionné précédemment. Si vous êtes familier(e) de ce blog, vous savez que celle-ci correspond au cœur de la solution Open Data de Microsoft. Pour de plus amples informations sur ce socle, n’hésitez pas à consulter les nombreux billets de ce blog qui lui sont consacrés comme notamment le billet Quand OGDI rencontre DataLab…

Le déploiement et la configuration de ce socle OGDI DataLab suppose de configurer au préalable les éléments suivants :

Partition de stockage au niveau de la souscription Windows Azure
Service de Cloud Computing au niveau de la souscription Windows Azure
Jeu de clé ReCAPTCHA

Nous allons donc commencer par créer et configurer ces différents éléments.

Création de la partition de stockage

Pour créer la partition de stockage, rendez-vous sur le portail d’administration de Windows Azure à l’adresse https://manage.windowsazure.com. Une fois connecté(e) avec les identifiant Microsoft Account et mot de passe de votre souscription Windows Azure, cliquez sur STOCKAGE au milieu du bandeau droit.

Si vous ne disposez d’aucun compte de stockage, le volet STOCKAGE doit être similaire à la capture suivante :

Cliquez sur le lien CREER UN COMPTE DE STOCKAGE. Le panneau NOUVEAU s’ouvre dans le bas du portail d’administration Windows Azure.

Renseignez les champs comme suit et cliquez sur CREER UN COMPTE DE STOCKAGE :

Url : td2013 (si cette Url n’est pas disponible, précisez une Url de votre choix)
Groupe de régions ou d’affinités : Europe de l’Ouest

A l’issue de la création du compte, le statut suivant s’affiche.

Une fois le compte de stockage créé, cliquez sur GERER LES CLES dans le bas du portail.

Le dialogue GERER LES CLES D’ACCES s’ouvre.

Mémoriser les nom du compte de stockage et la clé d’accès primaire :

Nom du compte de stockage : td2013 (si cette Url n’était pas disponible, l’Url de votre choix)
Clé d’accès primaire : <votre clé d’accès primaire>

Vous en aurez besoin à de multiples reprises par la suite. Pour copier la clé d’accès primaire, vous pouvez cliquer simplement sur l’icône Copier. Un dialogue Internet Explorer s’ouvre.

Cliquez sur Autoriser l’accès. La clé d’accès primaire est à présent dans votre Presse-Papier.

Création du service de Cloud Computing

Toujours depuis le portail d’administration Windows Azure, cliquez sur SERVICES DE CLOUD dans la partie supérieure du bandeau droit.

Si vous ne disposez d’aucun compte de stockage, le volet SERVICES DE CLOUD doit être similaire à la capture suivante :

Cliquez sur le lien CREER UN SERVICE DE CLOUD COMPUTING. Le panneau NOUVEAU s’ouvre dans le bas du portail d’administration Windows Azure.

Renseignez les champs comme suit et cliquez sur CREER UN SERVICE DE CLOUD COMPUTING :

Url : ogditd2013 (si cette Url n’est pas disponible, précisez une Url de votre choix)
Groupe de régions ou d’affinités : Europe de l’Ouest

Création d‘un jeu de clé ReCAPTCHA

Passons à présent à la création d’un jeu de clé ReCAPTCHA. Pour cela, naviguez vers l’adresse http://www.google.com/recaptcha.

Cliquez sur USE reCAPTCHA on your site. Dans la page suivante, cliquez sur Sign up Now!. L’inscription est totalement gratuite.

Cliquez sur SIGN UP si vous ne disposez pas d’un compte Google et suivez les instructions. Si vous disposez déjà d’un compte, précisez votre adresse mèl et mot de passe du compte et cliquez sur Sign in.

Une fois authentifié(e), précisez l’Url cible de la plateforme, par exemple ogditd2013.cloudapp.net dans cette illustration et cliquez sur Create Key.

Mémorisez votre paire de clé :

Public key: <votre clé publique ReCAPTCHA>
Private key: <votre clé privée ReCAPTCHA>

Nous pouvons passer à présent au déploiement de plateforme OGDI DataLab.

Déploiement d’OGDI DataLab avec la plateforme d’installation automatisée ODPI

Naviguez vers l’adresse http://odpifrance.cloudapp.net pour accéder à la version de démonstration de la plateforme d’installation. Dans la liste des composants à installer, sélectionnez simplement OGDI DataLab comme nous souhaitons décomposer la mise en œuvre des composants de la solution Microsoft Open Data. Vous pouvez bien évidemment sélectionner l’ensemble des composants si vous souhaitez les déployer en une seule session ODPI.

Cliquez sur Continuer >>. La page suivante vous demande de préciser un certain nombre d’informations relatives à votre souscription Windows Azure.

Dans un premier temps, et comme vous y êtes invité(e), cliquez sur le lien Certificat Généré pour télécharger le certificat de gestion relatif à cette session ODPI.

Cliquez sur Enregistrer et ouvrez un nouvel onglet ou une nouvelle fenêtre de votre navigateur et rendez-vous sur le portail d’administration de Windows Azure à l’adresse https://manage.windowsazure.com. Une fois connecté(e) avec les identifiant Microsoft Account et mot de passe de votre souscription Windows Azure, cliquez sur PARAMETRES dans le bas du bandeau droit.

Cliquez sur TELECHARGER. Le dialogue Télécharger un certificat de gestion s’ouvre.

Précisez le chemin du certificat de gestion que vous venez de télécharger et validez. A l’issue de cette opération, vous obtenez l’écran suivant.

Depuis ce même écran, cliquez sur ADMINISTRATEURS.

Recopiez l’identificateur de l’abonnement. Vous en aurez besoin à de multiples reprises par la suite.

Fort de ces éléments, retournez dans la fenêtre de votre session ODPI.

Renseignez les Informations Azure avec les informations suivantes et cliquez sur Continuer >> :

ID d’abonnement : <votre identifiant d’abonnement Windows Azure>
Nom du Compte de Stockage : td2013
Clé d’accès primaire : <votre clé d’accès primaire>

Une page de Configuration OGDI DataLab s’affiche alors.

Renseignez les Information sur le stockage Blob avec les informations suivantes :

Nom du compte de stockage : td2013
Clé d’accès primaire : <votre clé d’accès primaire>

Un seul et même compte de stockage est utilisé pour l’ensemble du déploiement.

Renseignez les Paramètres de l’application avec les informations suivantes :

Service de données DNS : ogditd2013
Clé privée Recaptcha: <votre clé privée ReCAPTCHA>
Clé publique Recaptcha : <votre clé publique ReCAPTCHA>

Renseignez les Définition du catalogue de données avec les informations suivantes :

Alias : ogditd2013
Description : TechDays 2013
Disclaimer : Données de test Open Data clé en main

Cliquez sur Continuer >>. Dans la page Déploiements, sélectionnez le service de Cloud Computing que vous venez de créer pour OGDI DataLab, ici ogditd2013 pour l’illustration.

Cliquer sur Déployer. Le package OGDI DataLab se compile et se déploie avec les paramètres spécifiés.

A l’issue du déploiement avec ODPI, la plateforme de publication de données ouvertes OGDI Datalab est accessible depuis le lien proposé.

Cliquez sur le lien here. Un nouvel onglet s’ouvre sur OGDI DataLab à l’adresse http://ogditd2013.cloudapp.net dans notre illustration.

Le jeu de données ouvertes géo-localisées RennesPAV2 est créé par défaut afin d‘illustrer les possibilités de la plateforme OGDI DataLab. il s’agit des points d'apport volontaire (PAV) des déchets ménagers mis à disposition par le Service SIG Rennes Métropole. Ce jeu contient une liste de PAV, chacun ayant des propriétés telles que le code INSEE de la commune sur laquelle est situé le PAV, le type de PAV, le ou les flux de déchets pris en charge (verre, journaux-magazine, ordures ménagères ou multi-matériaux), si le PAV est implanté sur le domaine public ou pas, une longitude et une latitude en termes de coordonnées géo spatiales, etc.

Cliquez sur le lien RennesPAV2 puis cliquez par exemple sur l’onglet Vue carte pour visualiser les données.

La plateforme ODGI DataLab expose un service de données RESTful OData pour la consommation des données à l’adresse http://ogditd2013.cloudapp.net:8080/v1/ogditd2013/.

Mise à disposition d’un nouvel ensemble de données

Pour ajouter des jeux de données à cette instance OGDI DataLab, il suffit d’ajouter des fichiers aux formats csv, kml, etc. via l’utilitaire de chargement de données (DataLoader) qui est un composant de la solution communautaire OGDI DataLab présente sur la forge GitHub.

Vous pouvez compiler le code source de cet utilitaire à partir de ce référentiel ou utiliser directement la version compilée ci-jointe.

A des fins d’illustrations, nous allons charger le jeu de données également mis à disposition par le Service SIG Rennes Métropole. Quelle que soit l’option retenue, exécutez l’utilitaire DataLoaderUIMvvm.exe.

Sélectionnez l’onglet Settings et cliquez Connection. Le dialogue Endpoint Settings s’ouvre.

Renseignez les informations suivantes et cliquez sur Save :

Account Name : td2013
Account Key : <votre clé d’accès primaire>

Sélectionnez l’onglet Fichier et cliquer sur Open. Dans le dialogue Ouvrir, sélectionnez le fichier StationnementPersonnesHandicapees.csv (ci-joint) et cliquez sur Ouvrir.

Sélectionnez l’onglet Processing. L'application OGDI Metadata Designer s'ouvre.

Renseignez les informations suivantes :

Dataset Name (external) : Aires de stationnement
Dataset Source : Service SIG Rennes Métropole
Category : Transports,Accessibilité,Stationnement
Description : Places de stationnement réservées pour les personnes à mobilité réduite
Links/Reference : http://www.data.rennes-metropole.fr/les-donnees/catalogue/?tx_icsopendatastore_pi1%5Bkeywords%5D=&tx_icsopendatastore_pi1%5Bcategories%5D%5B0%5D=11&tx_icsopendatastore_pi1%5Buid%5D=175
Technical Documentation : Précision géométrique : 1 mètre, Système de référence original : RGF93 CC48 (IGNF : LAMBCC48 - EPSG : 3948)

Sélectionnez l’onglet Dataset Columns. Renseignez les informations suivantes et cliquez sur Save :

Longitude Column Name : long

De retour dans l’utilitaire, sélectionnez l’onglet Processing et cliquez sur Start.

A l’issue du chargement, retournez sur la plateforme ODGI DataLab à l’adresse http://ogditd2013.cloudapp.net dans notre illustration. Cliquez sur le nouveau jeu de données StationnementPersonnesHandicapees.

Le chargement de jeux de données étant à ce stade illustré, il convient de noter que le site Web proposé par défaut par la plateforme de publication de données ouvertes OGDI DataLab est orienté développeur. Il se veut avant tout un kit de développement interactif vis-à-vis du service de données RESTful de la plateforme.

Fondé sur une architecture de type MVC (Modèle-Vue-Contrôleur), il peut être facilement adapté pour offrir des vues plus orientées usager/citoyen.

Pour autant, la solution Microsoft Open Data propose dans le même temps directement un portail Citoyen Open Data également fondée sur une architecture de type MVC que la plateforme ODPI permet de déployer très simplement. Nous abordons ce point dans la seconde partie de ce billet.

Microsoft et BeMyApp donnent le coup d’envoi des DEV KINGS 2013

2013-02-07T17:11:16Z

Microsoft et BeMyApp lancent la 2^ndeédition des DEV’ KINGS, un grand concours de développement ouvert à tous.

Cette année, les DEV’ KINGS 2013 spécial App'citoyenne porteront sur le développement d’applications basées sur l’Open Data, avec à la clé, une mission simple : Concevoir sous Windows 8 et Windows Phone 8 des applications citoyennes qui améliorent la vie des habitants de leur ville.

A l’issue de 2 mois de compétition intense, les meilleurs candidats se retrouveront en avril pour la grande finale et se partageront 15 000 euros de gains.

Le principe de ce concours est de réunir en équipe des développeurs #Windows et #HTML5, des entrepreneurs et des graphistes pour qu’ils développent ensemble des applications Open Data sous Windows 8 et Windows Phone 8.

Suivies par les équipes de Microsoft, les équipes ont 2 mois pour développer leurs applications. Ces équipes se retrouveront ensuite pour les finaliser lors du week-end DEV’ KINGS 2013 à Paris dans l'underground d'EPITECH les 12, 13 et 14 avril 2013.

Ce concours est national avec différents fournisseurs qui mettent à disposition leurs données. Fidèles lectrices et lecteurs de ce blog, vous retrouvez la ville de Bordeaux, la communauté d'agglomération de Versailles Grand Parc et la ville de Versailles, le CG71, ou encore Bouches-du-Rhône Tourisme pour lesquels nous avons eu l’occasion de consacrer des billets à leur projet Open Data respectif et à la mise en œuvre dans ce cadre du service de données REST OData de la plateforme communautaire OGDI DataLab.

Compte tenu de la richesse des données ainsi accessibles, nous sommes certains que vous serez trouver l’inspiration.

Les sujets ne manquent pas : « Eviter les embouteillages aux heures de pointe, géo-localiser les places de stationnement près de son travail ou de son domicile, trouver au pied levé un service de garde pour ses enfants, connaître les spots les plus festifs pour regarder les évènements sportifs... » pour reprendre l’annonce du concours.

Pour passer à la pratique, les ressources de ce blog pourront vous donner des modèles et des trames de départ comme l’exemple d’application Windows Store. N’hésitez pas à consulter également :

Les ressources des Centres de développement MSDN Windows 8 et Windows Phone 8,
Le blog de David sur Windows 8, celui de Pierre sur Windows Phone 8,
Le livre numérique (eBook) gratuit Programming Windows 8 Apps with HTML, CSS, and JavaScript.
Etc.

Les inscriptions sont ouvertes jusqu’au 17 février 2013 ici. Lancez-vous !

Si vous souhaitez des informations complémentaires, écrivez à Alexandre ou rendez-vous sur le site dédié.

Dernières informations d’importance :)

La soirée de lancement des #DEVKINGS2013 se tiendra le 12 février, jour d’ouverture des Microsoft TechDays 2013, évènement IT majeur qui accueille chaque année des milliers de développeurs au Palais des Congrès de Paris.

Ouverte aux développeurs et designers mais également à toute personne ayant une idée d’application mais ne disposant pas des compétences techniques pour la réaliser, cette soirée organisée « Chez Régine » leur permettra de se rencontrer dans une ambiance festive et de créer leur équipe.

Plus tôt dans la journée, sera par ailleurs proposée une première présentation aux développeurs. Celle-ci sera organisée dans le cadre des Microsoft TechDays à 12h en salle 251. Pierre-Paul Pénillard du CG71 présentera les enjeux de l’Open Data pour les collectivités. Seront également présents Philippe Houplain de la Ville de Versailles et Sylvie Gil de Ville de Montpellier. Enfin, une animation/recrutement équipes aura lieu toute la journée du 12 février sur l’App’s Bar.

Venez nombreux !