Künstliche Intelligenz

Wie man verantwortungsvolle KI-Systeme entwickelt: Eine Einführung

Wie man verant-wortungsvolle KI-Systeme entwickelt: Einführung

Sebastian Fetz
9 Nov 2023
10 min Lesezeit

Für wen ist dieser Artikel?

Herzlich willkommen zum Start unserer Artikelserie, die sich der Förderung von Compliance und Qualitätsmanagement in der Entwicklung KI-basierter Produkte widmet. Wir beginnen mit einem fundierten Überblick über dieses essentielle Thema.

Diese Serie richtet sich an ein breites Spektrum von Fachleuten – nicht nur Entwickler, sondern auch Manager und Einkäufer, die in die KI-Branche involviert sind, werden wertvolle Einblicke gewinnen. Wir decken eine Vielzahl relevanter Themen ab, darunter regulatorische Aspekte, Normen sowie praktische Hinweise für das Testen und Dokumentieren von KI-Produkten.

Im ersten Teil der Serie beleuchten wir die zentrale Bedeutung des Themas. Der anschließende Teil bietet konkrete, anwendungsorientierte Beispiele. Diese Reihe bietet Ihnen die Gelegenheit, tief in die Facetten der verantwortungsbewussten KI-Entwicklung einzutauchen und Ihr Wissen praxisnah zu erweitern.


Teil 1: Die Bedeutung des Qualitätsmanagements in KI-Systemen

Sinnvolle Innovationen ermöglichen

Sinnvolle KI-Innovationen müssen echte Probleme lösen und einen klaren Mehrwert für Einzelne oder die Gesellschaft bieten. Sie sollten praxisnah, wartungsfreundlich und konform mit rechtlichen sowie gesellschaftlichen Standards sein. Missachtet ein KI-System diese Aspekte, kann es sein Problemlösungspotenzial nicht voll entfalten. Die Evolution von KI lässt sich in drei Entwicklungsphasen unterteilen.

In der ersten Phase lag der Fokus darauf, die Potenziale des maschinellen Lernens aufzuzeigen und die zugrundeliegenden Algorithmen sowie Trainingsmechanismen zu verfeinern. Die zweite Phase verschob den Schwerpunkt auf Herausforderungen bezüglich Inferenz und Anwendung im realen Umfeld. In dieser Zeit entstanden zahlreiche Unternehmen und Lösungen im Bereich MLOps, wobei die Industrie sich verstärkt auf operative Aspekte konzentrierte, um Kosten und Wartbarkeitsprobleme anzugehen – eine Herausforderung, die bis heute besteht (Big Tech kämpft darum, KI-Hype in Gewinne umzusetzen).

Die dritte und aktuelle Phase der KI-Entwicklung konzentriert sich auf das Thema Compliance. In einer Welt, in der KI-Anwendungen zunehmend in unseren Alltag eingreifen und immer mehr Lebensbereiche berühren, gewinnen Diskussionen über Regelwerke und Vorschriften an Bedeutung. Wichtige Meilensteine hierbei sind der EU AI Act, der AI Bill of Rights und eine Reihe weiterer legislativer Initiativen. Zu den neuesten Vorstößen zählen der  G7-KI-Verhaltenskodex und eine neue Exekutivanordnung des Weißen Hauses, die die Richtung für die verantwortungsvolle Nutzung und Regulierung von KI-Technologien weisen.

Die sorgfältige Umsetzung und Überwachung dieser Vorschriften ist ein zentraler Aspekt im Umgang mit Künstlicher Intelligenz. Ein umfangreiches Risikomanagementsystem, das alle Facetten der KI abdeckt, ist unerlässlich. Ebenso entscheidend ist die Existenz eines soliden Plans für das Testen und Dokumentieren der KI-Prozesse. Fragen wie "Wie stelle ich sicher, dass mein Kredit-Scoring-Algorithmus nicht diskriminiert?" oder "Wie implementiere ich ein effektives KI-Risikomanagementsystem?" sind dabei von größter Bedeutung.


Diese Herausforderungen erfordern durchdachte Lösungen, um die Integrität und Fairness von KI-Systemen zu gewährleisten. Das Ausbalancieren von Innovation und Compliance ist eine herausfordernde, aber essenzielle Aufgabe, die entscheidend für den Gesamterfolg ist. Ein Übermaß an Compliance kann schnelle Experimente und Tests unterbinden, während ein kompletter Verzicht auf Compliance zu technologischen Lösungen führen kann, die nie in der Realität umgesetzt werden und potenziell Unternehmen oder die Gesellschaft gefährden.

Bei Perelyn liegt der Fokus darauf, von Beginn an ein ausgewogenes Verhältnis zu schaffen und wichtige Stakeholder frühzeitig in den Entwicklungsprozess einzubinden. Dadurch wird nicht nur schnelles Prototyping in der Innovationsphase ermöglicht, sondern es entstehen auch zuverlässige, sichere und wartbare Anwendungen, die reale Probleme im Produktionsumfeld effektiv lösen können.

Um eine schnelle und kosteneffiziente Umsetzung zu gewährleisten, ist ein klares Verständnis aller Anforderungen von Beginn an entscheidend. Dazu gehört die umfassende Repräsentation relevanter Personengruppen und das Testen auf unbeabsichtigte Verzerrungen, ebenso wie die angemessene Dokumentation der Ergebnisse. Lassen Sie uns die verschiedenen Phasen des KI-Lebenszyklus genauer betrachten.


Teil 2: Compliance im Lebenszyklus von KI-Systemen


Die sorgfältige Sicherstellung von Compliance für KI-Systeme ist in jeder Phase des Lebenszyklus entscheidend. Die nachfolgenden Beispiele verdeutlichen einige der erforderlichen Schritte, um ein konformes und vertrauenswürdiges KI-System zu entwickeln. Diese Auflistung ist nicht erschöpfend, und bestimmte Schritte können je nach Risikostufe Ihres KI-Systems unnötig sein.

Systemdesign Phase: Eine solide Grundlage schaffen

Bevor mit der Programmier- und Testphase begonnen wird, ist es unerlässlich, die Anforderungen zu definieren und geeignete Metriken zur Messung dieser Anforderungen auszuwählen. Dieser Schritt ähnelt dem traditionellen Softwareentwicklungsprozess, birgt jedoch einige zusätzliche Komplexitäten.

Besonders wichtig ist es, die Grenzen zu bestimmen, innerhalb derer das System operieren soll, und wie seine normale Funktionsweise zu bewerten ist. Ein Beispiel ist das Konzept der Operational Design Domain (ODD), das bei automatisierten und autonomen Systeme, insbesondere selbstfahrende oder autonome Fahrzeuge, verwendet wid. Es spezifiziert die speziellen Bedingungen, unter denen das autonome System operieren soll. ODD umfasst unter anderem Faktoren wie Umwelt-, geografische, Tageszeit-, Verkehrs- und Wetterbedingungen.

Basierend auf dem spezifizierten ODD können sich die Systemanforderungen unterscheiden. Ein Empfehlungssystem kann beispielsweise andere Zuverlässigkeitsanforderungen haben als ein vollständig autonomes System. Zusätzlich können, abhängig vom Anwendungsbereich, Überlegungen zur Fairness und Erklärbarkeit eine größere Bedeutung haben. Systeme, die den Bewerbungsprozess automatisieren, sollten Fairness priorisieren, während Fairness in der Qualitätskontrolle in der Fertigung weniger wichtig sein kann.


Dokumentation: Die Grundlage für "Accountability"

Die Dokumentation jeder Phase des Entwicklungsprozesses ist entscheidend, um Accountability und Auditierbarkeit sicherzustellen. Sie ist ein unverzichtbares Instrument, um gesetzlichen und regulatorischen Vorgaben, neben Branchenstandards und anerkannten Best Practices, zu entsprechen. Sie ermöglicht es Entwicklern, Prüfern oder Anteilseignern, die Entwicklung des Systems nachzuvollziehen und die Begründung hinter Designentscheidungen zu verstehen.

In diesem Bereich existieren derzeit keine etablierten Standards. Es gibt jedoch mehrere nützliche Referenzen, die Orientierung bieten können. Beispielsweise können Modellkarten oder Datenkarten wertvolle Anregungen liefern. Es ist erwähnenswert, dass für viele Modelle auf Hugging Face bereits vorbefüllten Datenkarten vorliegen, die für spezifische Bedürfnisse nützlich sein können. Diese decken jedoch nur einen begrenzten Teil der Systemdokumentation ab. Weitere zu berücksichtigende Faktoren können potenzieller Missbrauch, anerkannte Einschränkungen, Schulungsbedarf für den Systembetrieb und andere relevante Aspekte umfassen. Der Umfang dieser Überlegungen hängt vom spezifischen Risikotyp und der Nutzung des Systems ab.


Risikomanagementsystem

Ein Risikomanagementsystem ist ein grundlegender Bestandteil der Compliance. Es handelt sich um einen systematischen Ansatz zur Identifizierung und Klassifizierung von Risiken sowie zur Entscheidung, welche Minderungsmaßnahmen priorisiert werden sollten. Eine allgemein akzeptierte Richtlinie ist die ISO 31000-Reihe. Ein Werkzeug für einen effektiven Risikoidentifizierungsprozess ist die Failure Modes and Effects Analysis (FMEA). Eine angepasste Version für ein KI-System könnte folgendermaßen aussehen:

1. Risikoidentifikation / Auswirkungsanalyse:
Ziel: Potenzielle Risiken für das Unternehmen und die Gesellschaft identifizieren.

2. Risikoanalyse:
Ziel: Bewerten der Art, Wahrscheinlichkeit und Schwere der identifizierten Risiken.

3. Risikopriorisierung:
Ziel: Risiken basierend auf den Ergebnissen der Risikoanalyse einstufen und priorisieren. Hilft dabei, Ressourcen effizient einzusetzen, um die wichtigsten Risiken zuerst anzugehen. Risikobewertungen werden oft als Produkt von Wahrscheinlichkeit und Auswirkung berechnet.

4. Risikominderung:
Ziel: Minderungsstrategie sowie Risikoreaktionspläne implementieren, um Risiken zu adressieren und zu reduzieren.

5. Risikoüberwachung und -überprüfung:
Ziel: Identifizierte Risiken und die Wirksamkeit von Reaktionsstrategien kontinuierlich überwachen und überprüfen.


Entwicklungs- / Trainingsphase: Wissen, worauf man sich konzentrieren muss

Um Compliance und Accountability in KI-Systemen zu gewährleisten, ist es wichtig, die Trainingsdaten und die Lizenzen der verwendeten Daten zu überwachen. Dies trägt zur Herstellung von Transparenz und Nachvollziehbarkeit im Entwicklungsprozess bei.

Zudem ist die Dokumentation der Eigenschaften des Testdatensatzes entscheidend. Dies bietet Einblicke in die für Tests verwendeten Daten und hilft, die Leistung des KI-Systems genau zu bewerten. Werkzeuge wie DVC können dabei helfen, das Tracking zu automatisieren. In Kombination mit MLOps-Tools, beispielsweise MLflow, können Trainingsdaten sowie Modellartefakte, Leistungsmetriken und weitere wichtige Metadaten überwacht werden.

Wichtig ist: nicht nur Leistungsmetriken sind entscheidend. Um Fairness zu gewährleisten und Diskriminierung zu vermeiden, ist es essentiell, eine dedizierte Strategie zu haben, die die Schritte und die erforderliche Dokumentation zur Behandlung dieser Bedenken umfasst. Dies beinhaltet die Durchführung von Fairnessanalysen, die sich insbesondere auf geschützte Gruppen, Vorurteile, Diskriminierung und Fairnesstests konzentrieren. Indem wir diese Faktoren messen und bewerten, können wir ein KI-System entwickeln, das diskriminierende Verzerrungen so weit wie möglich vermeidet. Unsere Erfahrung zeigt: das Messen von Fairness kann eine komplexe Aufgabe sein kann.


Monitoring: Der Schlüssel zur Sicherung Ihrer Innovationen

Die Überwachung ist ein entscheidender Aspekt, um den Erfolg Ihrer Innovation zu gewährleisten. Durch die Implementierung effizienter Überwachungspraktiken versuchen Sie, jegliche Veränderungen in den Daten oder Abweichungen vom Konzept effektiv zu erkennen, was Ihnen ermöglicht, diese umgehend anzugehen. Dies trägt dazu bei, die Genauigkeit und Zuverlässigkeit Ihres KI-Systems im Laufe der Zeit aufrechtzuerhalten.

Zusätzlich ermöglicht es ein robustes Beschwerdemanagementsystem, auf jegliche Probleme oder Bedenken, die von Nutzern oder anderen Stakeholdern geäußert werden, einzugehen, um deren Zufriedenheit und Vertrauen in Ihre Innovation sicherzustellen. Das Priorisieren und Investieren in Monitoring und Beschwerdemanagement kann einen signifikanten Beitrag zum langfristigen Erfolg und zur Nachhaltigkeit Ihrer KI-Lösungen leisten.

Fazit

Um erfolgreich sinnvolle KI-Innovationen zu schaffen, sind nicht nur Alogrithmen entscheidend. Es muss auch sichergestellt werden, dass diese Fortschritte mit rechtlichen und ethischen Anforderungen übereinstimmen. Indem diese Faktoren während des gesamten Entwicklungsprozesses, von den Anfangsstadien bis Monitoring nach dem Start, berücksichtigt werden, können Entwickler und Compliance-Experten zur Schaffung von KI-Lösungen beitragen, die nicht nur innovativ, sondern auch verantwortungsvoll und langlebig sind.

Für uns bei Perelyn ist verantwortungsvolle KI nicht nur ein Ideal; sie ist der Kern unserer Beratungspraxis. Wir leiten Unternehmen durch die Komplexitäten der KI-Entwicklung und gewährleisten ethische Compliance vom grundlegenden Systemdesign bis hin zum gründlichen Risikomanagement. Unsere Mission ist es, Organisationen mit transparenten, fairen und rechenschaftspflichtigen KI-Lösungen auszustatten, die innovative Fortschritte mit gesellschaftlichen und regulatorischen Erwartungen in Einklang bringen. Bei Perelyn erschaffen wir nicht nur KI – wir gestalten eine Zukunft, in der Technologie mit Integrität und Verantwortungsbewusstsein voranschreitet.

Andere Insights

How do we solve problems?

Helfen Sie uns unsere Webseite zu verbessern. Indem Sie “Cookies Akzeptieren” klicken, Stimmen sie zu, dass wir ein Cookie auf ihrme Gerät speichern um die Nutzung der Webseite zu Analysieren. Lesen Sie unsere Datenschutzerklärung für mehr Informationen.