Patrice Manac'h Web Log : SSIS

Export XML et SSIS

pmanach — Fri, 28 Oct 2005 23:51:00 GMT

De manière assez étrange, on trouve dans les data flows SSIS une entrée XML mais pas de sortie. Etrange car si on inègre d'un tiers des fichiers XML, on peut légitimement s'attendre à lui renvoyer du XML...

Après discussion interne, j'en ai retenu qu'il n'y avait pas vraiment de demande pour faire dans SSIS ce que l'on peut déjà faire avec OpenXML. Ou alors en tellement plus riche qu'on se retrouve avec un mapper Biztalk. Qui existe déjà.

Pour l'instant, je n'ai trouvé qu'une méthode pour le faire dans SSIS : récupérer les données depuis la base, les traiter dans un data flow et utiliser un script (transformation ou destination) pour utiliser un objet XmlWriter ou XmlDocument.Save (c'est surtout une question de volumétrie attendue). J'aurais aimé plus élégant, il est probablement possible d'étendre SSIS en ajoutant une destination de type fichier XML mais en attendant, cela permet d'avancer...

Utiliser un objet Ole Db Destination et des triggers

pmanach — Sun, 09 Oct 2005 15:12:00 GMT

Pour insérer des données dans une base SQL Server, pas de soucis, on utilise un objet SQL Server Destination. Et si on veut les triggers, on coche la case dans les propriétés de l'objet (sinon, pas de triggers). Jusqu'ici, pas de problèmes. Mais si on veux faire la même chose via un objet OLE DB Destination ?

Voyons voir : je pose un objet de ce type, je choisis une destination table ou view (au passage, je ne vois que les tables, je suppose que le support des views doit nécessiter une manipulation ou concerner d'autres types de serveur). Je choisis la table et je teste : les triggers ne s'exécutent pas. Grrr !!!

OK, pas de problèmes, je change de table à SQL Command. Je cherche rapidement dans l'aide et je trouve une référence indiquant qu'il fuat utiliser une syntaxe avec le préfixe '?'. Je tape ma commande EXEC blabla ?parametre. J'appuie sur OK et je me fais insulter à coup d'erreur SQL Client.

Zen. Je fouille un peu et j'en arrive à la conclusion suivante : la commande doit être de type SELECT (sur une table voir sur une view, je n'ai pas testé ce second cas). Je fais donc un select sur la table en question. Je valide, pas d'erreurs, je fais le mapping et le test. Et là, les triggers marchent.

J'aurais aimé trouver comment lancer une procédure stockée spécifique mais ce sera dans une autre aventure...

Utilisation d'un RecordSet avec une boucle ForEach

pmanach — Sat, 08 Oct 2005 18:04:00 GMT

Parcourir les fichiers d'un répertoire, c'est bien mais parfois, on veut pouvoir stocker des paramètres en base et boucler dessus.

De prime abord, rien de plus simple. Donc, je pose un objet "Execute SQL Task", je choisi la connection, la requête SQL. Dans l'onglet "Result Set", j'ajoute une entrée que je mappe sur une variable de type Objet. Enfin je lie cet objet à un objet Foreach. Je choisi une collection de type variable et je choisi la variable. Je mappe la variable de mon choix sur l'index supposé de la colonne qui m'intéresse. Je lance et paf, l'exception !

Bon reprenons, cela ne doit pas être loin :

Je pose un objet "Execute SQL Task", je choisi la connection, la requête SQL. Et je n'oublie pas de choisir "Full result set" comme ResultSet.
Dans l'onglet "Result Set", je créé une entrée qui doit s'appeler 0 (ne me demander pas parquoi, c'est ainsi). Et je la mappe bien à une variable de type Objet.
Dans l'objet ForEach, je choisit un énumérateur de type ADO (et pas variable). Je choisit l'objet contenant le RecordSet et je choisis l'option qui me convient (dans mon cas, l'utilisation de la première table).
Enfin, je mappe les colonnes avec les variables que je veux faire varier.
Je presse F5 et là, cela se passe quand même beaucoup mieux :)

Et voila :)

Utilisation manuelle d'un objet HTTP connection

pmanach — Thu, 06 Oct 2005 17:20:00 GMT

L'objet HTTP connection (disponible dans le Connection Manager) est normalement destiné à fournir des données à un objet Web Service Task. Mais pour l'utiliser pour récupérer des données HTML, XML ou autre, pas de Task disponible en standard :(

Reste alors la possibilité de prendre les choses en main. Mais la documentation en ligne est encore un peu légère à ce sujet. L'idée est de créer un objet Script Task et de le manipuler l'objet via ses méthodes.

Tout d'abord, il faut créer une variable de type Object. Elle va servir à stocker une référence à un objet COM via la méthode AcquireConnection. Cette méthode prend en paramètre un objet permettant de gérer une transaction. Dans ce cas précis, Nothing est un bon choix :)

Dim connection As Object = mgr.AcquireConnection(Nothing) ' mgr est de type ConnectionManager et a été récupéré via DTS.Connections

Ensuite, il faut ouvrir la connexion pour récupérer les données :

Dim httpConnection As HttpClientConnection = New HttpClientConnection(connection)

Dim data As Byte() = httpConnection.DownloadData()

Dim xmlDoc As String = System.Text.Encoding.UTF8.GetString(data)

Enfin, il faut libérer la connexion :

mgr.ReleaseConnection(connection)

La dernière étape consiste à placer les données récupérées dans une variable du package. S'il s'agit de données XML, elles seront disponibles dans un Data Flow via un objet Xml Source (option data from variable).