Thema: Architektur und KI
- Dienstag
22.10. - Mittwoch
23.10.
Die richtige Datenarchitektur und Plattform für Datenanalyse und AI unterscheidet sich für jedes Unternehmen. Welche unterschiedlichen Wege gibt es? Welche Rahmenbedingungen beeinflussen Weg und Lösung? Wollen alle die eine, magische Plattform oder gibt es auch sehr spitz zugeschnittene, spezifische Lösungen? Auch die Herausforderungen unterscheiden sich: Den einen fehlt Know-how und Kapazität, andere sind erschlagen von der Komplexität der eigenen IT-Landschaft, wieder andere müssen alles ohne Hilfe von Managed Services aufbauen.
Mit hohem Praxisbezug berichte ich von unterschiedlichen Projekten und Situationen – und zeige einen großen Teil der Bandbreite moderner Datenprojekte und der Herangehensweisen.
Matthias Niehoff unterstützt als Head of Data der codecentric Kunden bei Design und Umsetzung von Datenarchitekturen. Dabei liegt sein Fokus auf der notwendigen Infrastruktur & Organisation, um Daten & KI-Projekten zum Erfolg zu verhelfen. Seine frühere Erfahrung als Software Engineer und Architekt hilft ihm, Brücken zwischen den Welten zu schlagen.
Zugegeben, wir stehen noch ganz am Anfang in der Evaluierung der Möglichkeiten generativer KI. Es zeichnet sich aber bereits heute ab, dass die Anforderungen an den produktiven Einsatz etliche neue Herausforderungen mit sich bringen wird, für die es entsprechende Patterns und Architekturansätze zu entwickeln gilt.
An einem praktischen Beispiel werden wir Schritt für Schritt einen LLM-basierten AI-Service aufbauen, mit dessen Hilfe die eigenen Wissensbasis gezielt abgefragt werden kann (Retrieval-Augmented Generation aka RAG). In jedem dieser Schritte werden wir ein wenig professioneller und begegnen dabei neuen Herausforderungen, die es zu lösen gilt. Am Ende steht ein „production ready“ AI-Service, der in die eigene Landschaft eingebunden werden kann.
Lars Roewekamp, Gründer und Geschäftsführer bei der open knowledge GmbH in Oldenburg, beschäftigt sich als „CIO New Technologies“ mit der Analyse und Bewertung neuer Software- und Technologietrends.
Ein besonderer Schwerpunkt seiner Arbeit liegt derzeit auf Enterprise- und Cloud-Computing, Big Data und KI, wobei neben Design- und Architekturfragen insbesondere die Real-Life-Aspekte im Fokus seiner Betrachtung stehen.
Er ist Autor vieler Fachartikel und -bücher und beschäftigt sich seit der Geburtsstunde von Java mit dieser Programmiersprache.
usePAT ist Anbieter einer neuen Ultraschalltechnologie, die von einem multidisziplinären Team entwickelt wird. Die angebotenen IoT Systeme schließen Hard- und Softwarekomponenten ein, die Schnittstellen sind besonders komplex. Sie verbinden einerseits das Gerät mit der Steuerung eines industriellen Prozesses und andererseits die im Gerät erhobenen Daten mit den Menschen dahinter. Es werden auf Grund der Analysen sicherheitskritische Entscheidungen getroffen, die regulatorischen Anforderungen an diese Systeme sind dementsprechend anspruchsvoll.
Diese Komplexität gab den konkreten Ausschlag für die Evaluation einer neuen Methodik. usePAT hat sich dabei entschieden, die modellbasierte Systementwicklung als strategisches Entwicklungselement über das gesamte Unternehmen einzuführen, um diese Komplexität zu meistern.
Die Herangehensweise:
- ermöglicht durch Daten-, Infrastruktur- und Applikationsarchitekturen eine ganzheitliche Entwicklung von IoT Systemen,
- dokumentiert diese Systementwicklung über den gesamten Lebenszyklus,
- stellt das Wissensmanagement auch bei Fehlentwicklungen sicher.
Diese Evaluation und Einführung der modellbasierten Systemarchitektur erfolgt im Rahmen des EU Förderprojektes PENTA „ECOMAI“, Ecological Motor Control and Predictive Maintenance with Artificial Intelligence.
Salomé Wagner ist Certified Management Consultant mit mehr als 20 Jahren Erfahrung in der IT-Branche. Nach Expertenrollen im Bereich Service Development in internationalen Großkonzernen ist sie heute für Sparx Systems CE tätig. Ihr fachlicher Schwerpunkt liegt in der Weiterentwicklung modell-basierter Methoden und Frameworks. Dabei begleitet sie auch das internationale PENTA Forschungsprojekt «ECOMAI» (Ecological Motor Control and Predictive Maintenance with AI). Salomé Wagner ist Mitbegründerin von WomeninICT, eine Interessensgruppe des VÖSI, der österreichischen Organisation für Softwareinnovationen.
Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models (LLMs) zum produktiven Einsatz gewagt wird. Diese Prognose bewahrheitete sich und viele Unternehmen lagerten beispielsweise den Customer Support auf LLM-powered ChatBots aus. Dass dies nicht immer eine gute Entscheidung war, zeigten Fälle wie der des DPD-ChatBots, welcher anstelle nützlicher Antworten lieber Gedichte über den schlechten Service des eigenen Unternehmens verfasste. Auch die sogenannten Halluzinationen von LLMs führten immer wieder zu Versprechungen oder Preisnachlässen, welche es in dieser Form nie gab.
Eine Lösung, derartige Probleme zu mitigieren, bietet die RAG-Architektur (Retrieval Augmented Generation). Durch ein vorgeschaltetes Retrieval, um relevante Informationen aus einer eigenen dynamischen Datenbasis hinzuziehen, können fundierte Antworten geliefert werden. Halluzinationen können vermieden und toxische Sprache durch weitere Mechanismen abgefangen werden. Anhand eines konkreten Praxis-Beispiels möchte ich zeigen, wie ein RAG-System funktioniert und welche Vorteile es bietet. Zudem werde ich auch auf noch ungelöste Herausforderungen eingehen.
Tim Wüllner arbeitet als Machine Learning Engineer in Oldenburg. Nach mehreren Jahren in der Forschung im Bereich der autonomen Schifffahrt, führte ihn sein Verlangen nach praxis-orientierter Arbeit zur OPEN KNOWLEDGE GmbH. Hier wechselte der Fokus dann von zunächst "klassischer" Webentwicklung im Front- und Backend zu Machine Learning spezifischen Aufgaben, insbesondere der Computer Vision und der Anwendung von Large Language Models. In der Verknüpfung von Webentwicklung und Machine Learning steckt großes Potential, welches Tim in verschiedenen Kundenprojekten bestmöglich ausschöpfen möchte.