PyDEEN – Neue Python Bibliothek für Data Scientists mit SAP Support

Ich habe mich erst 2022 entschieden, noch mal eine neue Programmiersprache zu lernen. Rein zufällig startete dann auch der erste Python Kurs bei openSAP, mit dem ich einen sehr schnellen guten Einstieg in diese Sprache bekam. Vor allem durch unzählige gute Video im Internet – z.B. auf youtube konnte ich mir einige Dinge schnell selbst bei bringen, die ich aus anderen Bereichen kenne und wissen wollte.

Mein erster Versuch, vor allem meine Erfahrung aus dem SAP Bereich auch mit Python nutzen zu können, ist PyDEEN – Python Data Engineer Enterprise Notebook. Das ist kurz gesagt eine Python Bibliothek, die es einem Data Scientist im Enterprise Umfeld (zurzeit vor allem mit Funktionen für SAP Systeme) im Stile von Jupyter Notebooks den Umgang mit Daten vereinfachen soll. Ihr findet sie bereits auf PyPi.org.

Ich habe mal gelesen, dass Data Scientists > 70% Ihrer Zeit mit der Extraktion und dem “Vorbereiten” der Daten stecken, bevor sie mit der eigentlichen Analysearbeit beginnen können. Diese Information ist schon ein paar Jahre alt. Ich befürchte aber, dass sich hier nicht viel geändert hat.

Daher habe ich mich entschieden, dieses Problem zuerst zu lösen. Bereits sehr weit fortgeschritten ist deshalb eine Funktion, mit der man Daten in Echtzeit aus dem SAP extrahieren kann und sie bereits als Pandas Dataframe bekommt. Man kann also sofort mit den “normalen” Aktivitäten eines Data Scientist fortfahren.

Ein paar weitere konkrete Ideen sind in der Pipe. Ich mache das davon abhängig, wie weit das Feedback aus der Community ist. Das Ziel ist für mich eine gut gepflegte Open Source Bibliothek.

Also schaut mal wieder vorbei, gebt mit Feedback und Anregungen. Vielen Dank!

Advertisement

Das SAP ABAP Backend als “IoT Ding”: SAP Monitoring über MQTT

Die DSAG Technologietage 2019 Bonn sind gerade vorbei. Inspiriert durch viele gute Vorträge und eine gute Keynote vom neuen DSAG Technologievorstand Steffen Pietsch fühlte ich mich animiert, die Heimfahrt sinnvoll zu nutzen und mein abapGit Projekt MQBA für einen speziellen Anwendungsfall zu dokumentieren: „SAP Monitoring über MQTT“.

Da das Monitoring (im SAP Solution Manager) in einem speziellen Kundenprojekt noch nicht verfügbar war, kam ich in einer schwachen Minute auf die Idee, das SAP System im „Internet Of Things“ Sinne (kurz IoT) selbst als Ding zu sehen und die zahlreichen Performanceindikatoren als seine Sensorwerte. Herausgekommen ist dabei ein kleines Dashboard, was auf einem kleinen RaspberryPI mit Touchscreen lief (siehe Screenshot).

MQTT for the SAP ABAP Backend

Last week I opened my personal project to the public. The name is MQBA and means Message Queue Broker ABAP. You will find it on github.

Liebe SAP AG, so wird das nichts mit der Digitalisierung!

Die SAP hat soeben Ihre Vorstellungen von einem “modernen Preismodell” präsentiert (http://news.sap.com/sappire-now-modern-pricing-modern-times/). Leider ist das sehr enttäuschend und nur konsequent, dass die DSAG hier sofort reagiert (https://www.dsag.de/pressemitteilungen/dsag-halt-sap-vorgehen-bei-der-indirekten-nutzung-fur-unzureichend).

Leider scheint die SAP AG inzwischen noch weiter von Ihren Kunden entfernt zu sein, als bisher befürchtet.

Adele Version 0.37.0 available – Export data to desktop database

The newest version of the Adele tool for data analyzing comes with an export feature to save data in a desktop database. This can be useful to save the work in analyzing data into a reusable and fast file format – a desktop database like SQLite or MS Access (if the driver UCanaccess is found).

Tutorial: Reading the bitcoin exchange rates by an ABAP JSON REST Client using the json4sapnw project

In this tutorial the bitcoin exhange rates from http://blockchain.info will be read by a small SAP program and exported as SAP standard list output. To call the external JSON REST service the json4sapnw project was used. The target group for this blog are ABAP developers. Newbies are welcome.

ADELE tool now with import option for RSS feeds and Email postboxes

The current versions of the ADELE tool (see the project site) brings some new import options. Now RSS feeds and Emails can be imported to ADELE. See the new Video at Youtube to see how the RSS feed import can be used together with the wordcloud visualization.

New version of json4sapnw comes with a JSON REST Client for SAP ABAP

More than two years ago the last version of the json4sapnw library was published. Json4sapnw is a Addon for ABAP based SAP NetWeaver systems and it is free for the SAP community.

The new version includes an HTTP client implementation to execute RESTful JSON Webservices with only a few lines of code. Some other optimizations and bugfixes are included too.

OSBAR OpenSource Business Award 2016

Ich habe mich entschieden, ADELE beim OSBAR dem OpenSource Business Award anzumelden. Einer der Hauptgründe war, dass ich nach über zwei Jahren Entwicklungszeit für mich wissen möchte, ob der privat getragene Entwicklungsaufwand gerechtfertigt ist.

Außerdem war es Zeit, sich mal einer breiteren Öffentlichkeit zu stellen und Bestätigung oder auch Unverständnis zu bekommen. Die Jury klang vielversprechend. Der Heise Verlag stellt beispielsweise Jury Mitglieder.

Adele with graph and wordcloud visualization

The last versions comes with some useful visualization features. The graph engine was already included and used for the basket analysis. But now the graph universe can be displayed in a graphical way.