Einträge von Axel Holzmüller

Es war im Frühjahr 2005, vor etwas weniger als zwei Jahren. David arbeitete an der COM-Schnittstelle für APL2 und ich durfte sie hier und da testen. Parallel arbeitete ich an einem Vortrag für die kommende Tagung der GSE APL2-Arbeitsgruppe. Irgendwie schien es nahe liegend, in den Vortrag helfend die MS Agents einzubeziehen.

Die Idee war nicht neu: Im Mai 1999 hatte ich mir von Merlin und Konsorten einige Erklärungen zu dem damals neuen APL2-Runtime Feature (das es inzwischen so auch nicht mehr gibt) abnehmen lassen. Zur Programmierung der Agents bot sich damals VBA unter Powerpoint an, obwohl ich auch APL+Win hätte nehmen können - APL2 dagegen nicht.

Ich versuchte vor zwei Jahren also, die Szenarien, die ich 1999 in VBA entwickelt hatte, mit APL2 und der neuen COM-Funktion nachzubauen. Das klappte erwartungsgemäß auch ohne prinzipielle Probleme. Nur zwei Dinge konnte ich nicht wie gewünscht umsetzten:

"Bookmarks" waren nicht umsetzbar, "Housekeeping" erst nach Ende einer Szene nur händisch oder durch Setzen von ⎕DL. Der Grund für beides war die damals fehlende Unterstützung für COM-Events.

Und die gibt es inzwischen - seit Service Level 7 - und damit konnte ich mir nun beide Wünsche erfüllen.

Wieder mal muss ich erkennen, dass ich die MS Agents nicht ernst genommen habe. Aber wenn ich sie auch nur alle zwei Jahre benutze ...

Diesen Rechner habe ich vor ca. 1 Jahr konfiguriert und die notwendigste Software installiert. Bei dieser Tätigkeit sortieren sich Anwendungen, die ich nicht mehr oder nur wenig nutze von selbst aus. Die MS Agents sind stets darunter, um dann ein Jahr später festzustellen, dass ich sie doch zu Demozwecken brauche.

Ich habe ja noch zum Glück die ursprünglichen Installationsdateien. Und das sind auch weiterhin aktuell: Denn die unter "Microsoft Agent home" geführten Web-Seiten wurden irgendwann im April/Mai 2003 letztmalig geändert. Das war also noch vor meiner vorherigen Installation, an den runterladbaren Dateien hat sich seitdem auch nichts geändert. Die Technologie scheint "ausgereift".

Ich kann also meine alten Quellen hernehmen und wie gehabt installieren. Nur wie war das? Für den Fall, dass diese Frage in zwei Jahren wieder auftaucht, werde ich die Installation hier protokollieren:

Der DWE Data Miner war schon zu Zeiten des Intelligent Miners for Data ein Weltklasse Mining-Werkzeug. Allerdings gab es seit der Version 6.x des IM im Bezug auf Analyse-Funktionalität keine Neuigkeiten mehr. Statt dessen wurden die Mining-Methoden in DB2 als Intelligent Miner for Modelling und Scoring integriert.

In dieser Zeit - und die begann spätesten im Jahre 2000 - behaupteten andere Hersteller von Data-Mining-Software, dass IBM die Entwicklung eines eigenen Werkzeuges ausgegeben habe. Ich erinnere mich, dass in diesem Zusammenhang häufig SAS genannt wurde. Ich war zu der Zeit und bin auch noch der Ansicht, dass IBM dem hätte offensiver entgegentreten müssen. Denn die, wie sich herausstellen wird, haltlosen Behauptungen mancher Wettbewerber wie SAS, SPSS, Oracle und neuerdings Microsoft grenzten schon an wettbewerbsschädigendem Verhalten.

Doch die DWE 9.1 und vor allem das Refresh sprechen eine deutliche Sprache. Die Integration von Mining-Technologie in das Data Warehouse-Umfeld ist aus meiner Sicht mehr als gelungen. Ich vermisse den Intelligent Miner for Data fast überhaupt nicht mehr. Die Abbildung des gesamten Data Mining-Prozesses, angefangen bei der Datenakquisition bis hin zur Darstellung der Ergebnisse, ist im Design Studio wesentlich einfacher und transparenter zu gestalten, als es vor der Version 9.1 der Fall war.

Mit DWE Version 9.1 habe selbst ich eingesehen: Die Mining Work Bench a la Intelligent Miner for Data ist tot, es lebe die Integration von mathematischer Intelligenz ins Data Warehousing.

Der Refresh bringt nun drei neue Mining-Algorithmen. Das gab es schon seit langem nicht mehr, dass die Kernfunktionalität des Miners erweitert wurde. Dazu kommen noch mit den Miningblox eine Neuerung, die die Darstellung von Mining-Ergebnissen ins Reporting-Umfeld integriert.

Das ist doch nicht normal für einen Refresh.

Bevor ich zu den mit Spannung erwarteten neuen "Data mining features" komme, werden hier noch die letzten Neuerungen im "SQL Warehousing Tool" zitiert. Es handelt sich hierbei um acht neue Operatoren für Steuerungsflüsse.

"Stored procedure: This operator runs a specified DB2 stored procedure."

Klingt sinnvoll, das haben sicher einige 9.1-Anwender vermisst.

"Variable comparison: This operator performs compares an input variable with another value to determine conditional processing behavior in the flow."

Das erscheint geradezu selbstverständlich, wenn man schon in den Operatoren eines Steuerungsflusses mit Variablen arbeiten kann.

"Break, continue, and fail: These operators emulate Java programming semantics to perform conditional processing."

Das haben sich wohl viele DWE-Entwickler gewünscht.

"Reorg and runstats: These operators run the DB2 REORG and RUNSTATS commands on specified tables and indexes."

Was kann man neuerdings mit einem Reorg anstellen? Tabellen zeilenkomprimieren!

"Period row generator: This operator generates rows that contain specified datetime columns and appends them to a time dimension table"

Mal sehen, was man damit so alles anstellen kann.

Auf das Kapitel "What's new in DWE 9.1.1" folgt die Überschrift "Migrating Design Studio workspace projects from DWE 9.1 to DWE 9.1.1". Das klingt nach mehr "Post-Installation"-Arbeit.

Nun war ich allzu neugierig herauszufinden, was seit der Version 9.1 so alles hinzugekommen ist. Dazu habe ich natürlich im Design Studio das eine oder andere Projekt geöffnet. Das war wohl etwas voreilig. Denn gleich im ersten Satz unter besagtem Titel heißt es:

"Do not try to open a Version 9.1 workspace directly in Version 9.1.1 of the Design Studio."

Warum nicht? Was passiert, wenn doch? Ich wüsste doch gerne, welche Veränderungen die Ursache für diese Warnung sind.

Und es kommt noch schlimmer:

1. Export all of the projects from the Version 9.1 workspace, including referenced projects, before installing Version 9.1.1 of the Design Studio.

Tatsächlich habe ich meine Version 9.1 komplett nach 9.1.1 migriert ohne auch nur einen Worspace vorher zu exportieren.

Danach habe ich auch noch mindestens zwei Projekte geöffnet. In einem wurde anstatt des Diagramms zu einem Datenfluss das dazugehörige xml-Dokument auf der Arbeitsfläche angezeigt. Die Ursache hierfür hatte ich allerdings nicht auf die Migration zurückgeführt.

Hier die letzten beiden Punkte aus der Liste der "Data flow enhancements":

"Sampling data: For operators that provide table properties, you can view sample data directly from the data flow editor."

Auch dieses Feature ist dem Mining-Fluss-Editor entlehnt, und das zu recht. In einem Mining-Fluss findet man es in Kontext-Menü eines geeigneten Operators unter "Daten" und "Beispielinhalt ...". Im Datenfluss-Editor heißt der Eintrag "Stichprobe des Datenbanktabelleninhalts entnehmen".

"Background flow execution in the Design Studio: You can run data flows and control flows in the background, and you can cancel control flows between operators. The new Execute Status view displays execution results."

Dies ist neu für Datenflüsse, für Mining-Flüsse konnte und musste ich diese Option bereits nutzen, da Mining manchmal etwas länger braucht.

Bei letzten drei Erweiterungen für Datenflüsse wurden Funktionalitäten aus den Mining Flows übernommen. Das sollte aber nicht das Ende sein: Ich vermisse auf jeden Fall noch "Bis zu diesem Schritt ausführen ...".

Dies ist die Nummer 7 in der Liste der "Data flow enhancements":

"Creating suitable tables: Like the mining flow editor, the data flow editor now allows you to automatically create a suitable table for the data that is passing through operator output ports."

Das ist eine der Besonderheiten, die das Arbeiten mit Mining-Fluss-Editor so bequem machen. Nach rechtem Mausklick auf den Ausgabeport eines geeigneten Operators und Auswahl von "Geeignete Tabelle erstellen ..." erscheint der bekannte hilfreiche Assistent.

Auch wenn das Vorgehen für beide Flüsse auf den ersten Blick gleich aussieht, gibt es doch kleine, aber feine Unterschiede. Das geht gleich auf der ersten Seite des Dialogs los:

Aus einem Mining-Fluss aufgerufen findet man dort die Check-Box "Tabellenzieloperator automatisch erstellen und verbinden", in einem Datenfluss erscheint dort "Wählen Sie diese Option, um die Tabelle im Datenmodell und in der Ausführungsdatenbank zu erstellen. Nehmen Sie".

Ich wüsste gerne, was ich nehmen soll oder kann. Da hilft sicher ein Blick in die englische Version, die Online-Hilfe tut's nicht.

Und noch mehr "Data flow enhancements":

"Saving flows as images: You can save flow diagrams (data flows, control flows, and so on) as image files."

Einfach rechter Mausklick auf dem Panel (dem "Erstellungsbereich" des Daten- oder Steuerungsflusses), "Datei" und "Als Imagedatei speichern ..." auswählen, ausfüllen und los.

Ein hilfreiches Feature für Dokumentationswütige und Leute, die ihre Elaborate gerne publizieren. Im Ernst: wenn es diese Möglichkeit ab jetzt nicht geben würde, hätte ich sie sicher demnächst schmerzlich vermisst.

"Expanded variable support: In data flows and control flows, several new properties can be set as variables, and the SQL Expression Builder includes a Variables section."

In den Eigenschaften eines Datenflusses gilt dies für die zwei (evtl.) neuen Felder für "Tabellenbereiche" sowie für Felder einiger Operatoren. Im Steuerungfluss trifft das wohl auf den einen oder anderen Operator zu. Zu einer sicheren Aussage über solche Erweiterungen fehlt mir der Vergleich mit der Version 9.1. Die habe ich ja hier mit dem Refresh überbügelt.

Offensichtlich ist der erweiterte "variable support" im SQL Expression Builder. Dieser kommt als "SQL Code Builder", "SQL Condition Builder" oder anders überall dort zum Einsatz, wo SQL-Ausdrücke erstellt werden sollen. Hier gibt es jetzt auf der rechten Seite eine neue Box unter der Überschrift "Variablen".

Dies sind drei weitere Neuerungen aus dem Bereich "Data flow enhancements":

"Table source filtering: You can apply a WHERE clause condition to the data that is read in from a source table."

Einfach praktisch, das erspart einen gesonderten Operator auf der Arbeitsfläche. Im Tabellenquelle-Operator gibt es dazu in der Markmalsicht die neue Seite "Bedingung WHERE".

"Commit intervals: For SQL Insert operations, you can specify a commit interval in the table target operator."

Dahinter verbirgt sich das neue Eingabefeld "Commitintervall" auf der "allgemeinen" Eigenschaftenseite des Tabellenziel-Operators. Hier kann die Anzahl eingefügter Zeilen spezifiziert werden, nach denen ein Commit ausgeführt wird.

Da musste aber einiges an der Code-Generierung für das Insert geändert werden.

"Exploitation of the DB2 Database Partitioning Feature (DPF): To improve the performance of data flows and certain data flow operators (such as distinct and splitter operators), the SQL Warehousing Tool generates partition-aware code based on properties specified in the data flow."

Ich denke, dazu ist die Check-Box "DB2-Datenbankpartitionierungsfunktion (DPF) verwenden" vorgesehen.

Das gleiche gilt für die Merkmalsicht-Seite "Einstellungen für die Zwischenspeichertabelle" der Operatoren "Eindeutig" (Distinct), "Verteilerprozess" (Splitter) und "Schlüsselsuche" sowie die Seite "Partitionierungsoptionen" der Operators "Massenladeziel" und "Dateiimport" (wobei sich mir nicht erschließt, was genau unter dem Feldnamen "Partitionierungspartitionen" zu verstehen ist).

Dies wird die lange Antwort zu dieser kurzen Frage. Lang, da die Liste der Neuerungen und Änderungen recht umfangreich ist mit 34 Einträgen. Wie obiger Titel vermuten lässt, wird sich die Antwort wohl auf mehrere Blogeintäge verteilen.

Die meisten Änderungen findet man unter der Überschrift "SQL Warehousing Tool features" und dort zum Thema "Data flow enhancements". Und hier geht es gleich mit einer sehr sinnvollen und hilfreichen Erweiterung los:

"Flat file discovery: You can sample a file in the file import operator and automatically generate its schema, instead of manually defining columns and data types."

Konkret ist hier der neue Knopf "Dateiformat generieren" auf der Dateiformat-Seite des Dateiimport-Operators gemeint. Damit wird ein Dialog gestartet, in dessen Verlauf die Liste der zu importierenden Felder mit wenigen Eingaben komfortabel generiert werden kann.

Diese Erweiterung ist ohne Frage sehr hilfreich. Ich hatte einen solche Unterstützung bereits vermisst, da z.B. Access seit langem über einen solchen Assistenten zur Erstellung von csv-Dateien verfügt.

Hier die kurze Antwort auf die kurze Frage: Sehr viel für ein hundertstel Upgrade.

Wie bereits an anderer Stelle ausgeführt, ist der wichtigste Grund für den Refresh die Einbindung einiger neuen Features der DB2 9. Im DB2 Magazine heißt es dazu:

"A DWE 9.1.1 refresh available this quarter upgrades the DWE package to DB2 9 and addresses requests from early DWE 9.1 adopters. DB2 9 includes a number of critical enhancements in its role as the underlying engine for DWE, including self-tuning memory management, range partitioning, and row compression."

Laut "What's New in DWE 9.1.1" in den Release Notes (Seite 2-4) werden neben der DB2 9-Unterstützung Verbesserungen in folgenden Bereichen ausgeliefert:

• Installation and configuration features
• SQL Warehousing Tool features
• Administration Console features
• Data mining features

Hinter diesen Überschriften verstecken sich insgesamt 34 einzelne Neuerungen und Verbesserungen.

Das ist doch nicht normal für ein ein Refresh.

... der DWE auf die 9.1.1 bleibt neben den Post-Installationsaufgaben noch die Aktualisierung einiger Tabellen der SQW-Steuerdatenbank. Bei einer Neuinstallation der DWE 9.1.1 braucht dieser Migrationsschritt natürlich nicht durchgeführt werden.

Diese "erforderliche Migrationstask" besteht aus der Ausführung zweier SQL-Scripts: addConstraints.sql und upd_unitsum.sql.

Diese Dateien wurden von der Installationsroutine für die DWE-Verwaltungskonsole in das Verzeichnis DWE\DWEAdmin kopiert und sollten dort auch im DB2-Befehlsfenster ausgeführt werden.

Es ist eigentlich eine triviale Bemerkung, dass man sich vorher mit der betreffenden Datenbank verbinden muss (db2 connect to SQWCTRL). Es war auch keine Überraschung, dass ich danach erst mal folgenden freundlichen Hinweis bekam:

"SQL5035N Die Datenbank muss auf das aktuelle Release umgestellt werden.
SQLSTATE=55001"

Also doch! Zum Upgrade der DWE von Version 9.1 auf 9.1.1 sollte man auch die "Anwendungsserverkomponenten" einbeziehen. Als zu installierende Komponente braucht nur die "DWE-Verwaltungskonsole" ausgewählt werden. Die Zusammenfassung zeigt daraufhin, dass damit auch die neuen Miningblox installiert werden.

Während der folgenden Installation werden unterhalb des DWE-Verzeichnisses zwei neue Verzeichnisse angelegt: "Miningblox" und "config".

Die Miningblox sind damit allerdings noch nicht endgültig installiert. Gemäß Installation Guide bzw. der readme.txt im Verzeichnis "Miningblox" ist hier noch eine Post-Installations-Aufgabe zu erledigen.

Was das "config"-Verzeichnis angeht, steckt hinter seiner Existenz eine Verbesserung des Konfigurationstools:

"DWE configuration tool is installed: The configuration tool is now installed on the DWE application server so you can run it anytime to update the initial configuration." (s. "What's New in DWE 9.1.1" in readme911.pdf)

Mit der Version 9.1 musste der Konfigurationsdialog noch aus dwecd\config heraus gestartet werden. Aus der config.exe wurde nun eine config.bat, die während der Installation erstellt wird.

Der DWE Integrated Install erledigt fast die komplette Installation der Data Warehouse Edition seit Version 9.1. Aber eben nur fast:

Auf der Seite "DB2 Data Warehouse Edition 9.1.1, downloading Developer/Enterprise Ed. (Windows)" findet man zur "Part number" C95YUML folgenden sinnvollen Hinweis:

"DB2 Data Warehouse Edition V9.1 Quick Start. This image contains the Quick Start Guide, which provides a high-level overview of the installation process. This image also contains DWE books in PDF format. The integrated installation program does not install this image."

Also habe ich die Dateien manuell installiert. Dazu habe ich 16 Dateien aus 13 Verzeichnissen kopiert, soweit vorhanden die deutsche Version eines pdf. Eine Solche gibt es in den meisten Fällen, aber ausgerechnet bei den Dokumenten zum Mining fehlt eine deutsche Übersetzung - und nicht nur diese: Mining auf chinesisch lässt auch noch auf sich warten.

Der manuelle Aufwand lohnt sich: Das Image C95YUML enthält Handbücher zur Installation, zum Design Studio, zur Administrationskonsole, zum Mining sowie zu den neue Miningblox, das Tutorial und weitere Dokumentationen.

Das gab es auch schon für die DWE Version 9.1: die "Post-Installation tasks". Dazu gehört die Konfiguration diverser DWE-Komponenten: Intelligent Miner, Alphablox, Application Server und das Information Center (s.a. DWE Installation Guide, Chapter 7).

Ich habe mir bisher diese Tätigkeiten geschenkt, da ich sie bereits bei der Installation der Version 9.1 erledigt habe, und sich durch die neuen 9.1.1-Komponenten an der Konfiguration von Alphablox und dem WAS nichts verändert haben sollte. Die "Post-Installation Task" für den Miner besteht unter Windows sowieso nur im "Enabling" von Datenbanken für das Mining.

Zusätzlich zu diesen Aufgaben kommt noch für die 9.1.1 die Installation der Miningblox und das Upgrading der DWE Control Datenbank.

Als weitere "Post-Installation task" kann man auch die folgende Empfehlung aus dem Installation Guide (S.39) betrachten:

"To verify that the installation was successful, check the log files listed in Appendix B, “Log file locations,” on page 53. In the main installation log file dweinstall.log, check the lines that contain keywords such as err, Exception, wrn for errors and warnings."

Dem bin ich ausnahmsweise mal nachgekommen, da mein Upgrade nicht ganz perfekt war. Im logs-Verzeichnis meiner DWE-Installation war tatsächlich nur dweinstall.log mit einem aktualisierten Zeitstempel versehen. Die anderen Installationslogs waren - wie zu erwarten war - unverändert.