1. Einleitung

Der Begriff generative künstliche Intelligenz (GenKI) ist in aller Munde. Der einfache Zugriff auf und die schnelle Verbreitung von GenKI-Anwendungen wie zum Beispiel ChatGPT ist beeindruckend. Zumal die Innovationsgeschwindigkeit der GenKI sich nicht, wie üblich, auf den Endverbraucherbereich und das Entertainment beschränkt, sondern im softwarelastigen Geschäftsumfeld genauso schnell neue Ideen vorantreibt. Die Erwartung der Autoren ist, dass GenKI in viele weitere Produktbereiche Einzug halten wird, die heute schon Software-Komponenten beinhalten. Beispiele sind Kraftfahrzeuge, Fertigungsmaschinen und Fernseher. Aber auch signifikante Bestandteile von Dienstleistungen, wie beispielsweise Beratungsleistungen, werden in Zukunft von GenKI unterstützt und teilweise übernommen werden können.

1.1 Was ist generative künstliche Intelligenz und wofür kann sie in Unternehmen eingesetzt werden?

Blicken wir zunächst auf die betriebswirtschaftliche Anwendungsdomäne von künstlicher Intelligenz und GenKI. Ziel von betrieblichen Anwendungssystemen ist die (weitgehende) Automatisierung betrieblicher Aufgaben1. Für die Durchführung betrieblicher Aufgaben werden unterschiedliche Lösungsverfahren angewandt. In der Vergangenheit war (Voll-)Automatisierung im Wesentlichen für (einfache) Aufgaben möglich, deren Lösungsverfahren funktional beschreibbar und für die keine Entscheidungen durch Mitarbeiter nötig waren.

Mit künstlicher Intelligenz (KI) und GenKI hat sich dies geändert, da mit diesen Technologien auch komplexe Entscheidungsaufgaben und Abläufe automatisiert werden können. Beispiel: Das Verfassen und die sinnhafte Zusammenfassung eines Textes konnten in der Vergangenheit nur von Menschen durchgeführt werden. Heute ist dies durch Einsatz generativer künstlicher Intelligenz automatisierbar. Die Entscheidung, ob wir dies auch automatisieren wollen, liegt bei uns2.

Neben dem höheren Automatisierungsgrad streben GenKI-Nutzer eine Verbesserung der Konformität und Qualität der erzeugten Daten und Inhalte an, während gleichzeitig Kosten und Zeit gespart werden.

Insgesamt hat die Anwendung der GenKI für alle Entscheidungsaufgaben über alle Branchen, Abteilungen und Hierarchieebenen von Unternehmen hinweg erhebliches Automatisierungs-, Qualitätsverbesserungs- und Disruptionspotenzial und wird in Konsequenz die Arbeitswelt verändern.

Abb. 1 • Generativer KI-Nutzen für SAP-Kunden

Quelle: SAP SE

1.2 Customer Value von GenKI bei SAP

Die SAP SE investiert seit mehr als zehn Jahren in KI-Technologien und deren betriebswirtschaftliche Anwendungsfälle. Die Anwendungsfälle dienen dem effizienteren Durchführen von Planungs- und Entscheidungs-
aufgaben.

Fokus der KI-Anwendungen lag vor allem in der Automatisierung von Prozessschritten oder Standardaufgaben, wie zum Beispiel Empfehlungen zu Produkten oder das korrekte Befüllen von Formularen. Aber auch in bildbasierte KI zur Erkennung von Produktionsfehlern oder die Vorhersage von Gefahren in der IT-Sicherheit beim Analysieren von riesigen Logdateien wurde investiert.

Im Vergleich zu den bereits existierenden KI-Lösungen eröffnet die GenKI-Technologie ganz neue und vor allem semantisch höherwertige Szenarien. So ist es möglich, komplette Marketinginhalte inklusive Bildern, Texten, Videos und Story zu generieren und mit etwas Geschick und Ausprobieren beim Prompting überzeugende Qualität auf Agenturniveau zu erreichen. In anderen Bereichen werden facettenreiche Dokumente, Daten und Fakten ansprechend zusammengefasst und in dem Nutzerprofil entsprechenden Kontext und dessen sprachlicher Domäne aufbereitet.

Die durch GenKI erreichte sprachliche Interaktionsqualität führt dazu, dass viele Szenarien durch digitale Assistenten mit einem Mix aus natürlicher Sprache, Einbettung in die Anwendung und dem Prozess realisiert werden.

Der digitale Assistent Joule unterstützt bei der Durchführung komplexer Aufgaben, indem er Anfragen beantwortet, analytische Inhalte liefert und auf Anwendungsfunktionalität direkt verweisen und interagieren kann.

Dabei spart der Benutzer Zeit bei der Navigation der Anwendung und bekommt weitere entscheidungswichtige Daten augmentiert.

Ein Beispiel für die Anwendung von GenKI-Assistenten im betriebswirtschaftlichen Umfeld ist die automatische Generierung von Stellenausschreibungstexten. Dabei wird automatisch darauf geachtet, dass inhaltliche Jobprofilanforderungen in rechtskonforme und wohlformulierte Texte verfasst und gleichzeitig ethische Grundsätze beachtet werden.

Abb. 2 • SAP Business AI - KI für Unternehmen

Quelle: SAP SE

2. Herausforderungen der GenKI für Technologie- und Industrieunternehmen

2.1 Herausforderungen für Industrieunternehmen

Der Druck auf Firmen unterschiedlichster Branchen, eigene Kompetenzen im Bereich der GenKI aufzubauen, ist enorm. Gleichzeitig ist das Angebot qualifizierter Mitarbeiter eingeschränkt und der Markt für diese Mitarbeiter intransparent. Um diesen Herausforderungen zu begegnen, ziehen nicht nur Technologieunternehmen den Kauf von GenKI-Unternehmen oder die Investition in ein solches Unternehmen in Erwägung. Dies tun sie zum einen, um Zugriff auf die Lösungen zu erhalten, zum anderen, um an die KI-Experten dieser Unternehmen zu kommen.

Daraus ergibt sich die Notwendigkeit, GenKI-Technologien und -Lösungen in der Due Diligence beim Kauf solcher Unternehmen zu analysieren und zu bewerten.

2.2 Herausforderungen für GenKI-Unternehmen

Aber auch Unternehmen, die GenKI-Lösungen anbieten, stehen vor enormen Herausforderungen. Denn auch diese Unternehmen trifft die Knappheit an qualifizierten Arbeitskräften, welche die Gehälter nach oben treibt und das Risiko erhöht, dass täglich Abwerbungen von Mitarbeitern eintreten können.

Auch die Kostenstruktur und die Vorhersagbarkeit von Betriebskosten für GenKI-Lösungen unterscheidet sich erheblich von Nicht-GenKI-Lösungen. Insbesondere die Infrastrukturkosten und der Zeitaufwand für das Trainieren der KI-Modelle und das kontinuierliche Nachtrainieren von GenKI-Lösungen können erheblich sein. Aus diesem Grund hat sich ein breites kommerzielles Angebot an generischen GenKI-Modellen etabliert, die es erlauben, mit erheblich weniger Aufwand an kundenspezifische Szenarien angepasst zu werden. Als Beispiel können proprietäre Dokumente zu eigenen Produkten und Dienstleistungen mit Hilfe des generischen GenKI-Modells in maßgeschneiderte Frage & Antwortsysteme oder in Systeme zur Automatisierung der Bearbeitung von Supportanfragen integriert werden.

Abb. 3 • Herausforderungen für GenKI-Unternehmen (1/2)

Quelle: SAP SE

Weitere Probleme sind die Monetarisierung von GenKI-Lösungen und das Erreichen des Break-evens bei GenKI-Unternehmen. Die bereits erwähnte schnelle Verbreitung von GenKI-Lösungen ist im Wesentlichen der Kostenfreiheit von eingeschränkten Versionen dieser Lösungen zu verdanken. Aber wie wird es diesen Firmen gelingen, die Kunden von der kostenlosen Version auf eine Bezahlversion der Lösungen zu konvertieren, und wird die Monetarisierung auf Dauer ausreichen, um in naher Zukunft den Break-even zu erreichen? Für viele GenKI-Firmen sind diese Fragen noch nicht endgültig zu beantworten.

Eine weitere Herausforderung ist die Qualität der von GenKI erzeugten Ergebnisse. In der Öffentlichkeit ist eine Reihe von Qualitätsproblemen von GenKI-Lösungen bekannt geworden, die häufig zu einem Reputationsverlust der GenKI-Firmen und/oder deren Anwenderunternehmen geführt haben. Beispiele sind Chatbots, deren Antworten auf Fragen von Benutzern sich als beleidigend, rassistisch oder schlichtweg falsch herausstellten3.

Ein Beispiel ist ein Vorfall bei Air Canada, bei dem ein ChatBot einem Kunden eine Erstattung seines Flugtickets zugesagt hatte, obwohl die Voraussetzungen für eine Erstattung nicht zutrafen4. Die verwendeten Daten waren korrekt, aber die Algorithmen und die Anwendung haben diese falsch ausgewertet, was zu dem Vorfall führte. Dies zeigt, dass selbst bei einfachen Sachverhalten die Ergebnisse der GenKI falsch sein können und daraus Schaden entstehen kann. Das stellt wiederum die Qualitätssicherung von GenKI vor Herausforderungen, da mit ökonomisch vertretbaren Testaufwänden niemals alle möglichen, nicht-deterministischen Ergebnisse eines GenKI-Algorithmus getestet werden können.

Abb. 4 • Der Chatbot von Air Canada gab dem Kunden eine falsche Antwort bzgl. Rückerstattung eines Tickets

Quelle: SAP SE

In Erwartung der weiten Verbreitung von GenKI traten nationale, regionale und supranationale Regulierungsbehörden auf den Plan, um Aspekte wie Sicherheit, Zuverlässigkeit und Vertrauenswürdigkeit oder auch den Einsatz von KI im Gesundheitswesen zu regulieren. Ein Beispiel ist der EU AI Act, der Anwender schützen soll und Anbietern gewisse Regeln, abhängig von den damit verbundenen Risiken, vorschreibt. Dazu gehören Dokumentationspflichten und Transparenz der Datenverwendung sowie Merkmale der Algorithmen bis hin zu Aufsicht der KI durch menschliches Personal. Weltweit gibt es Bemühungen, zu den technischen Richtlinien auch ethische Richtlinien zu etablieren.

Gleichzeitig ist die Verwendung von Texten aus dem Internet zum Trainieren von GenKI-Lösungen aus urheberrechtlicher Sicht zumindest sehr fragwürdig. Eigentlich müssten GenKI-Unternehmen sicherstellen, dass sie, wie bei eingebauter Fremdsoftware, eine Lizenz zur Nutzung der Texte und Daten von den jeweiligen Webseiten besitzen.

Trotz der großen Verbreitung der (kostenlosen) Versionen weniger GenKI-Lösungen befindet sich die zugrundeliegende Technologie in einem schnellen Innovations- und Evolutionszyklus, was zu erheblichem Innovationsdruck bei den Anbieterfirmen führt und immer umfangreichere Modelle und höhere Aufwände zum Trainieren der Modelle sowie deren Qualitätssicherung erzwingt.

Abb. 5 • Herausforderungen für GenKI-Unternehmen (2/2)

Quelle: SAP SE

2.3 Elemente der technischen Due Diligence

Da es sich bei GenKI-Firmen im Kern um Software-Firmen handelt, kommen hier das Vorgehen und die Werkzeuge der technischen Software-Due-Diligence zum Einsatz. Diese werden durch zusätzliche Aufgaben und Werkzeuge für die Analyse und Bewertung der GenKI ergänzt. Ein Ausschnitt der Tätigkeiten während der technischen Due Diligence von GenKI und eventuelle Werkzeugunterstützung, nämlich die Evaluierung der GenKI-Technologie, sollen hier dargestellt werden.

Bei der Technologie-Due-Diligence von GenKI sind neben den verwendeten Technologien die Herkunft der verwendeten Daten und auch ethische Fragestellungen von Interesse.

Fragen zur GenKI-Technologie sind im Bereich geistigen Eigentums unter anderem:

•Welche GenKI-Plattformen kommen zum Einsatz, wem gehört das geistige Eigentum an den Ergebnissen und hat das nutzende Unternehmen die Nutzungs- und Verwertungsrechte?

•Welche GenKI-Modelle werden verwendet, wem gehört das geistige Eigentum daran und hat das analysierte Unternehmen die Nutzungs- und Verwertungsrechte?

•Woher stammen die verwendeten Daten und hat das Unternehmen entsprechende Nutzungs- und Verwertungsrechte?

Dies sind essenzielle Fragestellungen für das Unternehmen und alle seine Kundenunternehmen, da nicht nur im deutschen und europäischen Rechtsraum kein gutgläubiger Erwerb geistigen Eigentums möglich ist.

Abb. 6 • Software/Technologie Due Diligence (Auszug)

Quelle: SAP SE

2.4 Hindernisse bei Analyse und Bewertung von GenKI-Assets

So wie die Firmen und Lösungen im Bereich GenKI häufig jung sind, so gering ist die Reife der Analyse und Bewertung von GenKI-Lösungen in der Due Diligence. Im Folgenden sollen Hindernisse der Bewertung nach drei Themenbereichen aufgezeigt werden: Daten, Algorithmen und Anwendungen.

Abb. 7 • GenKI Due Diligence Hindernisse - Daten

Quelle: SAP SE

Quelle: SAP SE

2.4.1 Analyse und Bewertung von Daten

„Normale“ Anwendungssoftware enthält Algorithmen, die im Wesentlichen von Entwicklern verfasst werden. Bei GenKI-Algorithmen ist das anders. Es wird eine Reihe von Trainingsschritten (Modelle) festgelegt. Bei der Durchführung werden mit Hilfe umfangreicher Datensätze (Korpora) die Modelle trainiert. Als Ergebnis dieses Trainings stehen dann GenKI-Algorithmen zur Verfügung, die als vortrainiertes KI-Modell in
verschiedenartigen Szenarien eingesetzt werden können.

Bei der Verwendung von Daten für das Trainieren von GenKI-Modellen ist es bei einigen Anbietern oft unklar, welche Daten von einem GenKI-Anbieter verwendet wurden und ob die Anbieter von GenKI auch alle benötigten Rechte für die Verwendung dieser Daten besitzen.

Häufig werden dabei große Mengen der auf Webseiten im Internet verfügbaren Informationen verwendet. Da für all diese Texte und Daten Urheberechte und Nutzungsbedingungen beachtet werden müssen, führt die Intransparenz der Provenienz der Datenquellen zu großer Verunsicherung bezüglich der Compliance der Nutzung mit den Nutzungs- und Urheberechten. Bei diesen Fragestellungen ist es schon mehrfach zu Einigungen und Verträgen zwischen Urhebern und GenKI-Plattformen gekommen5. Das betrifft natürlich auch Szenarien, in denen der GenKI-Anbieter auf externe vortrainierte KI-Modelle zugreift und diese einbettet oder anpasst.

In den verwendeten Daten können auch schützenswerte personenbezogene Daten vorkommen. Damit müssen entsprechende gesetzliche Regelungen zum Datenschutz Anwendung finden.

Weiterhin werden in der Geschäftswelt vertrauliche Daten verarbeitet. Sollen diese Daten für das Training der GenKI-Modelle verwendet werden, ist auf die Anonymisierung solcher Daten sowie auf die Trennung der Datensätze einzelner Firmen zu achten. Ebenso können Regeln zur Auditierung von GenKI-Algorithmen und deren Ergebnissen Anwendung finden.

Auch sind die zum Training genutzten Daten vor Angriffen zu schützen. Ein Beispiel für einen Angriff ist das Einschleusen falscher Trainingsdaten (Data Poisoning), um die Ergebnisse der erzeugten GenKI-Algorithmen zu verfälschen. Hier muss das GenKI-Unternehmen zeigen, wie solche Angriffe entdeckt und verhindert werden könnten.

2.4.2 Analyse und Bewertung der Modelle, Algorithmen und deren Entwicklung

Für die Modelle und die Algorithmen sollte die Provenienz geklärt sein. In der Regel sind hier Stücklisten der einlizenzierten Komponenten und Web-Services (Software Bill of Materials) etabliert. Mit einer solchen Stückliste ist die Provenienz der Bestandteile einer Anwendungssoftware transparent und die zugehörigen Lizenzen, Nutzungs- und Verwertungsrechte können überprüft werden. Üblicherweise handelt es sich bei den Bestandteilen um Open-Source-Software, einlizenzierte kommerzielle Software, Freeware sowie Web-Services.

Bis auf die einlizenzierten Komponenten wird der in den Anwendungen enthaltene Source-Code in der Regel von Software-Entwicklern erstellt. Aber auch hier kann für die Erstellung von Source-Code GenKI genutzt werden, das heißt GenKI kann Source-Code generieren. Da hier, wie bei anderen Anwendungen von GenKI, die Provenienz und damit die Nutzungs- und Verwertungsrechte häufig nicht geklärt werden können, ist Vorsicht geboten. Auch wenn der Anteil des von GenKI generierten Source-Codes am gesamten Source-Code zu hoch wäre, könnte dies einen Deal Breaker darstellen. Hier leisten spezialisierte Werkzeuge Unterstützung bei der Identifikation von GenKI-generierten Programmbestandteilen.

Besonderes Augenmerk liegt auf der Qualitätssicherung, denn GenKI-Modelle generieren Inhalte, die neuartig sein können, faktisch falsch oder frei erfunden, beziehungsweise durch die hohe natürlichsprachliche Qualität als legitim vermutet und auf Expertenniveau fehlinterpretiert werden.

Abb. 8 • GenKI Due Diligence Hindernisse - Algorithmen „KI-Modelle“

Quelle: SAP SE

2.4.3 Analyse und Bewertung der Anwendungen

Wie bereits beschrieben, ist die Sicherung der Ergebnisqualität von GenKI-erzeugten Daten und die darauf basierenden Anwendungen oder Entscheidungen Teil der Produkt-Due-Diligence. Zumeist wird die Qualität manuell und subjektiv bewertet und die Anwendungen dementsprechend manuell getestet. Es gibt kaum automatisierte Referenzbenchmarks und wenn doch, sind diese recht schnell veraltet.

Wichtig zu beachten ist, dass sich der rechtliche Rahmen in weiten Teilen der Welt noch in der Anpassung an die GenKI befindet und somit heutige Vorschriften beim Lesen eventuell überholt worden sind. Ein Beispiel ist die Frage der Urheberschaft, welche bei der Erzeugung oder auch bei der unterstützten Erzeugung von Inhalten verstanden werden muss, um Urheberrechte oder die Patentierbarkeit von Inhalten einzuordnen.

Die Stabilität und Qualität der GenKI-Anwendung hängt davon ab, welche Freiheitsgrade der Nutzer bei der Interaktion mit der GenKI hat und ob die GenKI domänen-spezifisch trainiert wurde oder generisch basierend auf Internetinhalten. Umso stärker die GenKI kontrolliert werden kann, zum Beispiel die Eingabe-Prompts für den Nutzer nicht sichtbar oder zumindest nicht manipulierbar sind, umso eher kann das Risiko eines ungewollten und unkalkulierbaren Verhaltens eingeschränkt werden. Im umgekehrten Fall ist die Frage zu betrachten, wer die Verantwortung trägt, wenn die Ergebnisse eines GenKI-Service einfach in der Anwendung durchgereicht werden und dem Nutzer ein Schaden entsteht. Auch eine geeignete Transparenz zur Verwendung von GenKI dem Nutzer gegenüber ist zu bewerten. Weitergehende Fragestellungen betrachten die moralischen und ethischen Aspekte, welche oft durch Unternehmensrichtlinien vorgegeben werden. Diese individuellen Vorgaben haben Einfluss auf einen verantwortungsvollen Umgang mit GenKI innerhalb des Unternehmens und den Kunden gegenüber.

Zusammengefasst muss die Balance zwischen innovativem Nutzen (bis hin zu einem Wettbewerbsvorteil) und den Risiken analysiert werden. Die hohe Dynamik in der Entwicklung der zugrunde liegenden Technologie und der rechtlichen Rahmen erfordert ein ständiges Überwachen und Neubewerten.

Abb. 9 • GenKI Due Diligence Hindernisse - Anwendungen

Quelle: SAP SE

3. Zusammenfassung

Über die letzten Jahre ist die Verwendung von Software in industriellen Gütern sowie in Alltagsprodukten enorm gewachsen. Deswegen müssen wir davon ausgehen, dass auch GenKI in die gleichen Güter und Produkte einziehen kann und damit die beteiligten Unternehmen mit den hier dargestellten Problemstellungen konfrontiert werden. Somit sind die in der Software-Industrie bekannten GenKI-Technologien und die damit verbundenen Geschäftsmodelle für zahlreiche weitere Branchen relevant.

In der Software-Industrie sind GenKI-Lösungen schon heute im Lösungsangebot der meisten Software-Hersteller vorhanden, insofern ist die Analyse und Bewertung von GenKI-Aspekten auch hochrelevant bei der Due Diligence solcher Firmen. Wir haben einige wichtige Aspekte erläutert und sind auf deren Hindernisse und Schwierigkeiten sowie auch auf Werkzeugunterstützung bei der Analyse von GenKI eingegangen.

Dennoch haben das Vorgehen und die Werkzeugunterstützung bei der Analyse und Bewertung von GenKI noch geringe Reife, und wir können auf die nächsten Schritte der Weiterentwicklung der Vorgehensmodelle und der Werkzeuge gespannt sein.

1 Karl Michael Popp, , M&A Strategy Definition: Theory, Tasks and Automatability, BOD, Norderstedt, 2023.

2 Thorsten Feix, Karl Michael Popp, Die Digitalisierung von M&A-Prozessen: Ein Manifesto für ein digitales End-to-End-M&A-Prozessmodell. M&A REVIEW 9/2018.

3 Microsoft Probes Reports Bot Issued Bizarre, Harmful Responses, Bloomberg,
www.bloomberg.com/news/articles/2024-02-28/microsoft-probes-reports-bot-issued-
bizarre-harmful-responses

4 Air Canada ordered to pay customer who was misled by airline’s chatbot. The Guardian, www.theguardian.com/world/2024/feb/16/air-canada-chatbot-lawsuit

5 Pamela Samuelson: How to Think about Remedies in the Generative AI Copyright Cases. In: Commun. ACM, 67. Jg., Nr. 7, 2024, S. 27–30. https://doi.org/10.1145/3654699