Bericht über das öffentliche Konsultationsverfahren

1. Einleitung

In der Zeit vom 30. September bis zum 17. Dezember 2021 führte der BfDI ein öffentliches Konsultationsverfahren zum Einsatz von KI im Bereich der Strafverfolgung und der Gefahrenabwehr durch. Das Konsultationsverfahren bezog sich auf die konkrete Gefahrenabwehr und die Strafverfolgung. Gleichwohl sind die grundsätzlichen Aussagen auch für den Bereich der Nachrichtendienste zu diskutieren.

Dreizehn Stellungnahmen sind im Konsultationszeitraum beim BfDI eingegangen. Ein Großteil (acht) davon entfällt auf die Innenressorts des Bundes und der Länder sowie auf Polizeibehörden. Die Stellungnahmen werden auf der Website des BfDI veröffentlicht, soweit entsprechende Einwilligungen der Konsultationsteilnehmer dem BfDI vorliegen.

Der vorliegende Bericht dient der Auswertung und Analyse der eingegangenen Stellungnahmen im Hinblick auf die Verabschiedung eines Positionspapiers des BfDI. Nach einem groben Überblick über den Meinungsstand werden die einzelnen Thesen aus dem Konsultationspapier kursiv dargestellt, die hierzu bei der Konsultation eingegangenen Stellungnahmen zusammengefasst wiedergegeben und bewertet.

2. Grober Überblick über den Meinungsstand

Unter den Konsultationsteilnehmern herrschte weitestgehend Einigkeit darüber, dass der Einsatz von KI im Bereich der Strafverfolgung und der Gefahrenabwehr einer breiten öffentlichen Debatte bedarf.

Ein breiter Konsens war dahingehend festzustellen, dass eine generelle Skepsis oder Ablehnung gegenüber dem Einsatz von KI zu Zwecken der Strafverfolgung und der Gefahrenabwehr nicht angebracht ist. Das Potenzial der KI als notwendiges Hilfsmittel bei der Bewältigung zunehmend großer Datenmengen wurde oft als Argument hierfür angeführt. Einigen Stellungnahmen war die Sorge gemeinsam, dass der Einsatz von KI im Bereich der Strafverfolgung und der Gefahrenabwehr übermäßig reglementiert werden könnte.

Die Mehrheit der Konsultationsteilnehmer sprach sich für eine differenzierte Betrachtung von KI aus. Manche plädierten für eine klare Definition.

3. Im Einzelnen - Zu den Thesen des BfDI

These 1 

KI erfordert eine ausführliche empirische Bestandsaufnahme und eine umfassende gesellschaftspolitische Diskussion, um einerseits die Auswirkungen dieser Technologie auf die Freiheiten der Bürgerinnen und Bürger zu klären und andererseits die Erforderlichkeit ihres Einsatzes zu Strafverfolgungs- und Gefahrenabwehrzwecken festzustellen. Die Risiken sind dem Nutzen umfassend gegenüberzustellen, etwaige Diskriminierungen und überindividuelle Folgen sowohl für bestimmte Personengruppen als auch für demokratische und rechtsstaatliche Abläufe insgesamt sind wirksam auszuschließen. Der Gesetzgeber ist gehalten, alle derzeit existierenden Befugnisse der Strafverfolgungs- und Gefahrenabwehrbehörden in eine Gesamtrechnung einzubeziehen („Überwachungs-Gesamtrechnung“).

Notwendigkeit einer umfassenden Bestandsaufnahme

Die Ansicht des BfDI, dass der Einsatz von KI im Bereich der Strafverfolgung und der Gefahrenabwehr einer umfassenden gesellschaftlichen Diskussion und einer ausführlichen empirischen Bestandsaufnahme bedarf, wird von der absoluten Mehrheit der Konsultationsteilnehmer geteilt. Mitunter wird dies generell mit der hohen Komplexität der Materie sowie mit der gesellschaftlichen Relevanz begründet. Hintergrund ist insbesondere auch die Sorge, dass ein einmal entstandener falscher Verdacht große Auswirkungen auf den Einzelnen haben kann. Umfassende Information und Forschung werden im Hinblick auf den weiteren Diskurs als wichtiger denn je angesehen, um technische Entwicklungen aus ethischer, sozialer und rechtlicher Perspektive verstehen zu können. Die Erforderlichkeit eines Gesamtkonzepts innerhalb der Sicherheitsgesetzgebung wurde auch unter Hinweis auf die Rechtsprechung des Bundesverfassungsgerichts, die in den letzten Jahren dazu geführt habe, dass immer wieder Korrekturen erforderlich gewesen seien, bestätigt.

Teilweise legten Konsultationsteilnehmer nahe, dass bei der empirischen Bestandsaufnahme der praktische Bedarf der Sicherheitsbehörden an dem Einsatz von KI kritisch hinterfragt werden sollte. In welchem Bedrohungsszenario und mit welchen Mitteln KI im Bereich der Gefahrenabwehr konkreten Mehrwert erbringen kann, sei bislang nicht belegt und offenbar auch nicht konkret beschrieben. Sicherheitsgesetze sollten nach einer Meinung evidenzbasiert und zeitlich begrenzt beschlossen und regelmäßig auf ihre Wirksamkeit evaluiert werden. Bei der Bestandsaufnahme sollten vorhandene Regelungen zusätzlich auf ihre „KI-Tauglichkeit“ überprüft werden.

Auf der anderen Seite wurde auch die Meinung vertreten, dass eine abschließende Bestandsaufnahme und eine Bewertung des Einsatzes von KI durch Sicherheitsbehörden zum jetzigen Zeitpunkt noch verfrüht seien. Der Einsatz von KI durch Sicherheitsbehörden befinde sich in Deutschland noch in den Anfängen technologischer Entwicklungen. Es sei zum jetzigen Zeitpunkt nicht vollständig abzusehen, wo und in welchem Umfang in Zukunft Bedarfe und Möglichkeiten entstehen. Eine empirische Bestandsaufnahme ist nach einer im Konsultationsverfahren vertretenen Auffassung erst möglich, wenn KI in der Praxis Anwendung finde und tatsächlich feststehe, zu welchen Ergebnissen sie komme. Der Versuch zur Bestandsaufnahme verliere sich vorab in den theoretischen Möglichkeiten.

Bewertung:

Der Einwand, eine umfassende Bestandsaufnahme sei verfrüht, beruht auf der Annahme, dass diese abschließend und auf die Frage ausgerichtet sei, wo und in welchem Umfang in Zukunft Bedarfe und Möglichkeiten entstehen. Die Forderung des BfDI bezieht sich jedoch auf eine Bestandsaufnahme des rechtlichen und tatsächlichen Status quo. In rechtlicher Hinsicht ist zunächst eine nähere Konkretisierung der verfassungs- und datenschutzrechtlichen Vorgaben erforderlich. Dies schließt unter anderem die Analyse bereits vorhandener Rechtsinstrumente und Mechanismen ein. Auch die Reichweite der nationalen Regelungsbefugnisse ist genau abzustecken. Dies gilt insbesondere im Hinblick auf den Vorschlag der Europäischen Kommission für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz vom 21. April 2021 und das Verhältnis dieses Vorschlags zur Richtlinie (EU) 2016/680^[1].

In tatsächlicher Hinsicht ist der Gesetzgeber gehalten, sich ein Bild darüber zu verschaffen, welche KI im Bereich der Strafverfolgung und der Gefahrenabwehr in Deutschland bereits im Einsatz ist. Das Konsultationsverfahren hat ergeben, dass im Bereich der Strafverfolgung und der Gefahrenabwehr bereits heute Softwaretools eingesetzt werden, die unter den Begriff der KI zu subsumieren sind. Im Einsatz sind insbesondere Verfahren des maschinellen Lernens. Dabei werden auf der Grundlage großer Datenmengen neuronale Netzwerke trainiert. Ausweislich einer im Konsultationsverfahren abgegebenen Stellungnahme wurde der Gesamtdatenbestand der „Panama Papers“ unter Zuhilfenahme eines neuronalen Netzes ausgewertet. Das von Konsultationsteilnehmern mitgeteilte Spektrum möglicher Anwendungsfälle von KI im Bereich der Strafverfolgung und der Gefahrenabwehr ist sehr breit. Bei der durch den Gesetzgeber vorzunehmenden Bewertung der derzeit praktisch relevanten Anwendungsfälle ist eine differenzierte Betrachtung unter Berücksichtigung der mit dem jeweiligen Einsatzszenario verbundenen Nutzen- und Gefahrenpotenziale unabdingbar. Die Zweckmäßigkeit einer Legaldefinition von KI ist zu diskutieren.

Bestandsaufnahme über die Sicherheitsgesetzgebung hinaus

Im Hinblick auf die Forderung des BfDI, Alternativen oder mögliche Vollzugsdefizite stets im Blick zu behalten, wurde eine Klarstellung angeregt, dass „Alternative“ nicht als Alternative zur Sicherheitsgesetzgebung verstanden wird, sondern als Alternativen innerhalb der Sicherheitsgesetzgebung.

Bewertung:

Die Bestandsaufnahme sollte umfassend angelegt sein. Insbesondere darf sich ihr Fokus nicht auf die Sicherheitsgesetzgebung beschränken. Dies wurde an einer im Konsultationsverfahren abgegebenen Stellungnahme deutlich, in der der Bedarf an dem Einsatz von KI im Bereich der Strafverfolgung und der Gefahrenabwehr mit der Notwendigkeit begründet wurde, „ein stetig wachsendes Informationsaufkommen in gleichzeitig sehr vielen Deliktsfeldern mit nahezu gleichbleibenden Ressourcen der Polizei bewältigen zu müssen“. Diese Argumentation geht in dieser Pauschalität fehl. Es ist richtig, die Organisation der Behörden an den aktuellen Sicherheitsanforderungen auszurichten. Dazu kann etwa gehören, Organisationseinheiten zu vergrößern oder einzurichten, die sich mit bestimmten Phänomenbereichen beschäftigen. Die unzureichende Ausstattung der Polizei kann nicht durch die Erweiterung von Eingriffsbefugnissen kompensiert werden.

Potenziale von KI in der Sammlung und Auswertung von Informationen

Mit Blick auf die Begründung zu These 1 merkte ein Konsultationsteilnehmer an, die Zusammenführung von Daten aus verschiedenen Quellen finde bereits in fast allen IT-Systemen statt – unabhängig von der Verfügbarkeit und dem Einsatz von künstlicher Intelligenz. KI zeige ihre Stärken vor allem in der komplexen Datenauswertung. Ein anderer Konsultationsteilnehmer merkte hingegen an, bei KI gehe es darum, unterschiedliche Datenbestände unabhängig von ihrem Erhebungsgrund und ihrem Verarbeitungszweck zusammenzuführen, um hieraus Erkenntnisse zu Begehungsweisen und Vorhersagen zu künftigen Entwicklungen oder Verhaltensweisen zu generieren.

Bewertung:

Die Potenziale von KI erstrecken sich auf alle Ebenen der polizeilichen Datenverarbeitung – von der Erhebung über die Speicherung bis hin zur Analyse unterschiedlicher Datenbestände. Das besondere Potenzial von KI liegt in der Möglichkeit, neue Informationen zu erzeugen bzw. neue Zusammenhänge infolge einer komplexen Auswertung großer Mengen heterogener Daten aufzudecken. Allerdings ist auch das Potenzial von KI im Hinblick auf das Sammeln von Informationen in die Betrachtung einzubeziehen.

These 2

Der Einsatz von KI kann nicht auf polizeiliche Generalklauseln gestützt werden. Vielmehr erfordert der Einsatz von KI grundsätzlich eine spezifische gesetzliche Regelung.

Reichweite des Gesetzesvorbehalts

Von Seiten der Konsultationsteilnehmer wurde teilweise klargestellt, dass eine spezifische gesetzliche Regelung jedenfalls dann notwendig sei, wenn mittels KI eine automatisierte Entscheidungsfindung stattfindet oder neue Ermittlungserkenntnisse (Data-Mining) generiert werden. Nach einer Meinung gilt dies aufgrund der im Bereich der KI zu erwartenden Dimension der Massendatenauswertung im besonderen Maß bei einem Einsatz von KI zur Gefahrenabwehr.

Die These von der grundsätzlichen Notwendigkeit einer spezifischen gesetzlichen Regelung zum Einsatz von KI im Bereich der Strafverfolgung und der Gefahrenabwehr wurde von vielen Konsultationsteilnehmern dahingehend präzisiert, dass der Einsatz von KI nur dann einer spezifischen Regelung bedarf, wenn er mit Grundrechteingriffen, insbesondere in Form der Verarbeitung personenbezogener Daten, verbunden ist. Teilweise wurde auch die Ansicht vertreten, dass der Einsatz von KI auf die Generalklauseln gestützt werden könne, wenn der damit einhergehende Grundrechtseingriff geringfügig sei. Die Schwelle für Eingriffe, die sich auf eine Vorauswahl und Priorisierung bei der Auswertung rechtmäßig erlangter großer Datenmengen beschränken und keine darüber hinaus gehenden Eingriffe in das Recht auf informationelle Selbstbestimmung beinhalten, sollten nach einer im Konsultationsverfahren abgegebenen Stellungnahme mit Blick auf das öffentliche Interesse an einer effektiven Strafverfolgung nicht übersteigert werden. Vielfach wurde eine hohe Eingriffsintensität von KI im Hinblick auf die Einsatzszenarien in Zweifel gezogen, in denen die letztlich letztmaßgebliche Entscheidung von einem Menschen getroffen wird. Gegen eine erhöhte Eingriffsintensität wurde ferner vorgetragen, die meisten KI-Systeme und KI-Verfahren würden es nicht erforderlich machen, dass personenbezogene Merkmale gespeichert werden.

Bewertung:

Die automatisierte Entscheidungsfindung durch KI ist nach dem geltenden Recht nur in den engen Grenzen des Art. 11 Abs. 1 und Abs. 2 RL (EU) 2016/680 auf der Grundlage einer gesetzlichen Regelung möglich. Profiling, das zur Folge hat, dass natürliche Personen auf Grundlage von besonderen Datenkategorien diskriminiert werden, ist nach dem Unionsrecht gemäß Art. 11 Abs. 3 RL (EU) 2016/680 verboten.

Die Stellungnahmen, die für die Erforderlichkeit des gesetzgeberischen Tätigwerdens auf das Vorliegen eines Grundrechtseingriffs und die Überschreitung einer gewissen Geringfügigkeitsgrenze abstellen, können prinzipiell die ständige Rechtsprechung des Bundesverfassungsgerichts für sich reklamieren. Denn „‘Wesentlich‘ bedeutet danach zum einen ‚wesentlich für die Verwirklichung der Grundrechte‘.“[2] Dabei darf allerdings nicht übersehen werden, dass der Gesetzgeber nach dem Bundesverfassungsgericht „zum anderen zur Regelung der Fragen verpflichtet [ist], die für Staat und Gesellschaft von erheblicher Bedeutung sind“[3]. Bei der KI handelt es sich um eine in vielerlei Hinsicht zukunftsweisende Technologie, deren Einsatz allerdings mit der Gefahr einhergeht, sich nachhaltig auf die Freiheiten der Bürgerinnen und Bürger, Demokratie und Rechtsstaatlichkeit auszuwirken. Die Reichweite des Gesetzesvorbehalts ist im Einzelfall angesichts der konkreten Ausprägung der KI-Technologie zu beurteilen.

Eine Vielzahl von KI-Anwendungen, die im Bereich der Strafverfolgung und der Gefahrenabwehr in Betracht kommen oder bereits im Einsatz sind, ist mit der Verarbeitung personenbezogener Daten und damit mit Eingriffen in das Recht auf informationelle Selbstbestimmung gemäß Art. 2 Abs. 1 in Verbindung mit Art. 1 Abs. 1 GG verbunden. Ein Eingriff liegt auch dann vor, wenn das Ergebnis der Analyse zu einem „Nichttreffer“ führt und die Daten sogleich gelöscht werden[4]. In Anlehnung an die Rechtsprechung des Bundesverfassungsgerichts ist dabei festzuhalten, dass Grundrechtseingriffe, die sowohl durch Verdachtslosigkeit als auch durch eine große Streubreite gekennzeichnet sind – bei denen also zahlreiche Personen in den Wirkungsbereich einer Maßnahme einbezogen werden, die in keiner Beziehung zu einem konkreten Fehlverhalten stehen und den Eingriff durch ihr Verhalten nicht veranlasst haben –, grundsätzlich eine hohe Eingriffsintensität aufweisen[5]. Der Umstand, dass bestimmte KI-Methoden keine Speicherung personenbezogener Daten erfordern, ändert an der Intensität des mit der Analyse verbundenen Eingriffs grundsätzlich nichts, da es sich dabei um einen selbständigen Grundrechtseingriff handelt. Dass die letztmaßgebliche Entscheidung durch einen Menschen getroffen wird, grenzt den Vorgang von einer automatisierten Entscheidungsfindung ab, macht den Eingriff jedoch nicht zu einem geringfügigen.

Die Bildung von Fallgruppen bei der vom Gesetzgeber vorzunehmenden Bestandsaufnahme dürfte für eine Differenzierung zwischen Anwendungsszenarien, für die eine spezifische Rechtsgrundlage notwendig ist und solchen, die nicht unter den Gesetzesvorbehalt fallen, zielführend sein. Insofern sind die Ergebnisse der Bestandsaufnahme abzuwarten. Ein Anwendungsbeispiel, in dem der Einsatz von KI keiner spezifischen Rechtsgrundlage bedarf, dürften bestimmte Formen der maschinellen Textübersetzung sein.

These 3

Die Einhaltung der allgemeinen Datenschutzgrundsätze ist eine unabdingbare Voraussetzung für den datenschutzrechtlich zulässigen Einsatz von KI. Der Einsatz von KI darf ebenso eine effektive Ausübung der Betroffenenrechte nicht schmälern.

Öffnung der Datenschutzgrundsätze

Alle Konsultationsteilnehmer stimmten der These zumindest im Grundsatz zu. In manchen Stellungnahmen wurde hervorgehoben, dass die Grundsätze des Datenschutzes wie Transparenz, Zweckbindung und Datenminimierung der Strategie der KI – zumindest in manchen Aspekten – entgegenstehen. Nach einer im Konsultationsverfahren eingegangenen Stellungnahme bedürften die Datenschutzgrundsätze ggf. einer Überprüfung/Öffnung für dieses Zukunftsthema.

Bewertung:

Die allgemeinen Grundsätze für die Verarbeitung personenbezogener Daten gemäß § 47 BDSG sind europa- und verfassungsrechtlich fundiert. Eine „Öffnung“ der Datenschutzgrundsätze ist nur möglich, soweit dem Rechtsanwender Spielräume bei der Ausfüllung der Datenschutzgrundsätze eröffnet sind. Dies ist im Einzelfall im Hinblick auf die Grundsätze der Datenvermeidung, Datensparsamkeit und Transparenz denkbar.

Sachliche Richtigkeit im datenschutzrechtlichen Sinne

In einer Stellungnahme wurde ausgeführt, der Grundsatz der sachlichen Richtigkeit habe aus polizeifachlicher Sicht einen anderen Anknüpfungspunkt als aus datenschutzrechtlicher Sicht. Beispielsweise beziehe sich im Fall von Zeugenaussagen aus polizeifachlicher Sicht die sachliche Richtigkeit auf den Inhalt der Information. Aus datenschutzrechtlicher Sicht wäre eine sachliche Richtigkeit bereits dann erfüllt, wenn die Tatsache, z. B. dass oder wann eine Zeugenaussage erfolgte, sachlich richtig gekennzeichnet wurde. Der BfDI wurde vor diesem Hintergrund gebeten, „sachliche Richtigkeit“ im vorliegenden Kontext zu konkretisieren.

Bewertung:

Im Hinblick auf den datenschutzrechtlichen Grundsatz der sachlichen Richtigkeit nach § 47 Nummer 4 BDSG muss gemäß § 73 BDSG zwischen Tatsachen und persönlichen Einschätzungen unterschieden werden. Dies kann im Einzelfall bedeuten, dass Beurteilungen, die auf persönlichen Einschätzungen beruhen, als solche kenntlich gemacht werden müssen (vgl. § 73 Satz 2 BDSG). Konkretisiert durch § 72 BDSG gebietet der Grundsatz der sachlichen Richtigkeit ferner auch die Unterscheidung zwischen verschiedenen Kategorien betroffener Personen. Im Falle einer Aussage bezieht sich der Grundsatz der sachlichen Richtigkeit auf den Umstand, dass diese Aussage tatsächlich getätigt wurde[6].

These 4

KI muss erklärbar sein. Die Qualität der schon zu Trainingszwecken eingesetzten Daten­­­sätze ist sicherzustellen.

Reichweite der notwendigen Nachvollziehbarkeit

Die These, dass KI erklärbar sein muss, stieß grundsätzlich auf Zustimmung. Es wurde argumentiert, dass unzureichende Datengrundlagen und technische Konzeptionen zu einer verzerrten Datenbasis und falschen bzw. falsch gelernten Entscheidungen der KI führten. Die Trainingsphase des KI-Systems sei daher elementar und mit „hohen Hürden“ zu versehen. Dies sei notwendig, um die Sorgen der Replizierung menschlicher Fehler bei der Informationsverarbeitung weitestgehend auszuschließen. Denn hieraus könnten möglicherweise Probleme der Diskriminierung, notwendige Richtigkeitsgewähr, Überschätzung der Verlässlichkeit der Datenverarbeitung sowie fehlende Transparenz und Nachvollziehbarkeit der angewendeten Methoden erwachsen.

Klarstellungsbedürftig ist in diesem Zusammenhang, ob die Wirkungsweise des konkreten KI-Systems oder die durch KI im Einzelfall getroffene Entscheidung nachvollziehbar sein muss. Von Seiten der Konsultationsteilnehmer wurde teilweise vorgetragen, dass eine Entscheidung in neuronalen Netzen aus einer Mischung von Attributen und deren Gewichtung entstehe und nicht – jedenfalls nicht immer – nachvollziehbar sei. Bei der Bewertung der Ergebnisse sei deshalb auf eine manuelle sowie einzelfallbezogene Überprüfung bzw. Verifizierung als Maßnahme gegen Fehlschlüsse zu achten.

Bewertung:

Die Gewährleistung der Transparenz der Datenverarbeitung ist eine der größten Herausforderungen im Umgang mit KI. Insbesondere die neuronalen Netze werden aufgrund ihrer enormen Komplexität als eine „Black Box“ angesehen, deren Transparenz einer Quadratur des Kreises zu gleichen scheint^[7]. Die Gewährleistung von Transparenz im Kontext mit KI ist Gegenstand aktueller Forschung, deren Ergebnisse bei gesetzgeberischen Entscheidungen systematisch heranzuziehen sind.

Rechtsstaatlich unabdingbar sind die Nachvollziehbarkeit der Wirkungsweise des konkreten im Einsatz befindlichen KI-Systems und die Überprüfbarkeit der Validität der dadurch erzeugten Ergebnisse. Die Anforderungen an die Erklärbarkeit steigen mit der Intensität des mit dem Einsatz des konkreten KI-Systems verbundenen Grundrechtseingriffs. In bestimmten Fällen kann dies bedeuten, dass auch eine Entscheidung im Einzelfall vollumfänglich nachvollziehbar sein muss.

Richtigkeit der Ergebnisse

Die These des BfDI, personenbezogene Daten dürften nur dann mit KI verarbeitet werden, wenn dies zu brauchbaren und richtigen Ergebnissen führt, wurde von einem Konsultationsteilnehmer unter der Gesichtspunkt der Richtigkeit kritisch hinterfragt. Es sei schwierig, die Daten auf ihre unabdingbare Richtigkeit zu prüfen. Die KI biete hierbei Möglichkeiten, eine Wahrscheinlichkeit für die Richtigkeit der Ergebnisse anzugeben. Polizeiarbeit basiere oft auf Indizien – diese sind also „brauchbar“, aber nicht immer „richtig“.

Bewertung:

Die Kritik hinsichtlich der sachlichen Richtigkeit der durch oder mit Hilfe von KI erzielten Ergebnisse beruht auf einem Missverständnis von dem datenschutzrechtlichen Grundsatz der Richtigkeit gemäß § 47 Nummer 4 BDSG. Diesbezüglich sind bei jedem Einsatz von KI insbesondere die Vorgaben der §§ 72 f. BDSG zu beachten. Im Übrigen wird hier auf die obigen Ausführungen zu These 3 verwiesen.

Technische Anforderungen an KI

An der aktuellen Lage wurde bemängelt, dass es noch keine speziellen Standards oder detaillierten Anforderungen gebe, die ein KI-System erfüllen muss. Die Erkenntnisse in diesem Bereich zu mehren und Best-Practice-Beispiele zu entwickeln, sei eine wichtige Aufgabe der beteiligten Akteure. Andere Konsultationsteilnehmer wiesen auf Technologien hin, mit deren Hilfe KI-Modelle automatisch auf Vorurteile und Fairness überprüft und die Erklärbarkeit von Algorithmen verbessert werden könnten.

Bewertung:

Die Ausführungen der Konsultationsteilnehmer zu den technischen Anforderungen an KI-Systeme bestätigen die Notwendigkeit einer umfassenden Bestandsaufnahme (vgl. These 1). Der im Konsultationsverfahren geäußerten Meinung, wonach es eine wichtige Aufgabe der beteiligten Akteure sei, Erkenntnisse in diesem Bereich zu mehren und Best-Practice-Beispiele zu entwickeln, ist zuzustimmen. Anzustreben ist ein umfassender interdisziplinärer Dialog unter „Moderation“ des Gesetzgebers. Ein besonderes Augenmerk sollte auf Techniken gelegt werden, mit deren Hilfe KI und ihre Ergebnisse für Menschen interpretierbar und nachvollziehbar gemacht werden können.

These 5

Der Kernbereich privater Lebensgestaltung bzw. die Menschenwürdegarantie dürfen beim Einsatz von KI nicht tangiert werden.

„Durchleuchtung“ von Personen und Analyse von Emotionen 

Unter Bezugnahme auf die Rechtsprechung des Bundesverfassungsgerichts wurde in den Antworten darauf hingewiesen, dass KI-gestützte Ermittlungsmaßnahmen, die zu einer vollständigen „Durchleuchtung“ einer Person führen, mit der Verfassung unvereinbar sind. Es sei danach so weitgehend wie möglich sicherzustellen, dass durch die Überwachungsmaßnahme nicht in den höchstpersönlichen Privatbereich eingedrungen wird.

Ein Konsultationsteilnehmer hielt es für vorstellbar, dass es Fallbeispiele gibt, die eine Emotionsbeobachtung /-bewertung erforderlich machen könnten. Zumindest im Bereich der Gefahrenabwehr sei es gut vorstellbar, dass die KI-basierte Emotionsanalyse eines Täters (Gewalttäter, Geiselnehmer usw.) hilfreich für die Lagebeurteilung sei. Bereits jetzt sei das Ablesen von Emotionen durch Ermittler ein gängiges Ermittlungsinstrument.

Bewertung:

Emotionen haben höchstpersönlichen Charakter. Die Analyse von Emotionen mithilfe von KI kann die betroffene Person zum Objekt der Datenverarbeitung machen und das überkommene Schreckbild vom „gläsernen Menschen“ massiv verstärken. „Mit der Menschenwürde wäre es nicht zu vereinbaren, wenn der Staat das Recht für sich in Anspruch nehmen könnte, den Menschen zwangsweise in seiner ganzen Persönlichkeit zu registrieren und zu katalogisieren, sei es auch in der Anonymität einer statistischen Erhebung, und ihn damit wie eine Sache zu behandeln, die einer Bestandsaufnahme in jeder Beziehung zugänglich ist. Ein solches Eindringen in den Persönlichkeitsbereich durch eine umfassende Einsichtnahme in die persönlichen Verhältnisse seiner Bürger ist dem Staat auch deshalb versagt, weil dem Einzelnen um der freien und selbstverantwortlichen Entfaltung seiner Persönlichkeit willen ein "Innenraum" verbleiben muss, in dem er "sich selbst besitzt" und "in den er sich zurückziehen kann, zu dem die Umwelt keinen Zutritt hat, in dem man in Ruhe gelassen wird und ein Recht auf Einsamkeit genießt“[8]. Dementsprechend sind auch der Europäische Datenschutzausschuss und der Europäische Datenschutzbeauftragte im Hinblick auf den Vorschlag der Europäischen Kommission für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz der Ansicht, dass die Verwendung von KI zur Erkennung von Emotionen natürlicher Personen unter keinen Umständen wünschenswert ist und verboten werden sollte. In diesem Zusammenhang forderten sie außerdem ein allgemeines Verbot der Verwendung von KI zur automatischen Erkennung von personenbezogenen Merkmalen in öffentlich zugänglichen Räumen[9].

Rechtmäßigkeit der Datenerhebung als Mindestvoraussetzung

Zu lesen war ferner, dass der Einsatz von KI sich grundsätzlich nur im Rahmen dessen bewegen könne, was gesetzlich zur Datenerhebung erlaubt ist. KI könne demnach nur mit rechtmäßig erhobenen Daten „gefüttert“ werden.

Bewertung:

Die Verarbeitung personenbezogener Daten im Zusammenhang mit KI darf nur erfolgen, wenn die Daten rechtmäßig erhoben wurden. Die Rechtmäßigkeit der Datenerhebung ist jedoch als Mindestvoraussetzung anzusehen. Die Betroffenheit des Kernbereichs privater Lebensgestaltung bzw. der Menschenwürdegarantie kann sich auch aus einer komplexen Analyse einer Vielzahl an sich rechtmäßig erhobener Daten ergeben, die eine umfassende Einsichtnahme in die persönlichen Verhältnisse der betroffenen Person ermöglicht.

Unbeabsichtigtes Eindringen in den Kernbereich

Schließlich wurde in einer Stellungnahme das Bundesverfassungsgericht in Bezug genommen. Dieses erkenne an, dass aufgrund der Handlungs- und Prognoseunsicherheiten, unter denen Sicherheitsbehörden ihre gesetzlichen Aufgaben wahrnehmen, ein unbeabsichtigtes Eindringen in den Kernbereich privater Lebensgestaltung im Rahmen von Überwachungsmaßnahmen nicht für jeden Fall von vornherein ausgeschlossen werden kann, dem aber durch verfassungskonforme Ausgestaltung der Maßnahmen Rechnung zu tragen ist. Eine Telekommunikationsüberwachung könne auch so gestaltet werden, dass sowohl kernbereichsrelevante Inhalte als auch nicht relevante Inhalte von der KI erkannt werden. In solchen Fällen könnte die KI z. B. kernbereichsrelevante Inhalte für die Sichtung durch Ermittlerinnen und Ermittler sperren, sodass diese nur noch von Ermittlungsrichterinnen und -richtern eingesehen werden könnten.

Bewertung:

Die in Bezug genommene Rechtsprechung bezieht sich auf „unbeabsichtigtes Eindringen in den Kernbereich privater Lebensgestaltung“ und lässt ein solches nur unter strengen verfassungsrechtlichen Anforderungen zu[10]. Damit unvereinbar dürfte sein, wenn der Staat sehenden Auges die Verarbeitung kernbereichsrelevanter Daten zuließe. Denn das Erkennen kernbereichsrelevanter Informationen ist bei einer KI bereits ein automatisierter Vorgang, der unter den Begriff der Verarbeitung fällt. Jedenfalls gelten für Regelungen, die den Kernbereich privater Lebensgestaltung berühren können, strenge verfassungsrechtliche Anforderungen, insbesondere hinsichtlich der erforderlichen Eingriffsschwellen eines qualifizierten Rechtsgüterschutzes.

These 6

KI muss durch Datenschutzaufsichtsbehörden umfassend kontrolliert werden können.

Bedeutung effektiver Datenschutzaufsicht im Kontext KI

Schon in seinem „Volkszählungsurteil“ hat das Bundesverfassungsgericht die Bedeutung der effektiven Datenschutzaufsicht hervorgehoben: „Wegen der für den Bürger bestehenden Undurchsichtigkeit der Speicherung und Verwendung von Daten unter den Bedingungen der automatischen Datenverarbeitung und auch im Interesse eines vorgezogenen Rechtsschutzes durch rechtzeitige Vorkehrungen ist die Beteiligung unabhängiger Datenschutzbeauftragter von erheblicher Bedeutung für einen effektiven Schutz des Rechts auf informationelle Selbstbestimmung“[11]. Die „Undurchsichtigkeit“ der Datenverarbeitung ist im Zusammenhang mit KI besonders ausgeprägt, sodass der Wirksamkeit der Datenschutzaufsicht entsprechend hoher Stellenwert zukommt.

Zuständigkeit des BfDI bereits vor Verarbeitungsbeginn

Teilweise wurde von Seiten der Konsultationsteilnehmer eine Konkretisierung der These für erforderlich gehalten. Ein Konsultationsteilnehmer wies darauf hin, dass der Zuständigkeitsbereich der Datenschutzaufsichtsbehörden auf die Verarbeitung personenbezogener Daten begrenzt ist.

Bewertung:

Nach aktueller Rechtslage ist der BfDI vor der Inbetriebnahme von neu anzulegenden KI-unterstützten Dateisystemen anzuhören (§ 69 Abs. 1 BDSG)[12]. Auf Anforderung sind ihm über die in § 69 Abs. 1 S. 1 BDSG geregelten Mindestinformationen hinaus alle sonstigen Informationen zu übermitteln, die er benötigt, um die Rechtmäßigkeit der Verarbeitung sowie insbesondere die in Bezug auf den Schutz der personenbezogenen Daten der betroffenen Personen bestehenden Gefahren und die diesbezüglichen Garantien bewerten zu können.

Nachvollziehbarkeit als Voraussetzung effektiver Datenschutzaufsicht

Im Hinblick auf die Aussage im Konsultationspapier, dass für die Datenschutzkontrolle alle vorhandenen Mechanismen strikt nachvollziehbar sein müssen, verwies ein Konsultationsteilnehmer auf die Schwierigkeiten hinsichtlich der Nachvollziehbarkeit im Zusammenhang mit KI.

Bewertung:

Die Nachvollziehbarkeit der mithilfe von KI durchgeführten Datenverarbeitung[13] ist ein wichtiger Aspekt der Effektivität der Datenschutzaufsicht. Das Bundesverfassungsgericht fordert mit Blick auf eine wirksame Datenschutzaufsicht beispielsweise eine vollständige Protokollierung der Datenerhebung[14]. Die zur Überprüfung der Rechtmäßigkeit der Datenverarbeitung erforderlichen Informationen müssen der zuständigen Datenschutzaufsichtsbehörde in praktikabel auswertbarer Weise zur Verfügung stehen.[15]

Soweit Dritte einbezogen sind, darf die Einsicht in die Unterlagen durch die zuständige Aufsichtsbehörde nicht davon abhängig gemacht werden, dass die Aufsichtsbehörde beispielsweise eine gesonderte Geheimhaltungsvereinbarung oder dergleichen unterzeichnet oder Entgelte für fachliche Begleitung entrichtet.

Datenschutzaufsicht auch ohne Verarbeitung personenbezogener Daten?

Im Vorschlag der Europäischen Kommission für eine Verordnung des Europäischen Parla-ments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz vom 21. April 2021 wurde der Europäische Datenschutzbeauftragte (EDSB) als die zuständige Behörde und Marktüberwachungsbehörde für die Aufsicht über die Organe, Einrichtungen und sonstigen Stellen der Union benannt. Der Europäische Datenschutzausschuss und der EDSB begrüßten dies und sprachen sich für die Benennung der Datenschutzbehörden als nationale Aufsichtsbehörden aus, weil dies einen einheitlicheren Regulierungsansatz ermöglichen und dazu beitragen würde, dass die Mitgliedstaaten die Datenverarbeitungsvorschriften einheitlich auslegen und Widersprüche in deren Durchsetzung vermeiden[16]. Eine umfassende Zuständigkeit der Datenschutzaufsichtsbehörden in Deutschland für KI im Bereich der Strafverfolgung und Gefahrenabwehr sollte auch in Deutschland diskutiert werden. In den bei der Konsultation eingegangenen Stellungnahmen wurden zahlreiche Anwendungsszenarien genannt, die vordergründig nicht mit der Verarbeitung personenbezogener Daten verbunden sind. Angesichts der potenziell enormen Leistungsfähigkeit von KI kann sich der Personenbezug aus der Analyse einer Vielzahl von – anonymen oder anonym geglaubten – Daten ergeben. 

These 7

Dem Einsatz von KI muss eine umfassende Datenschutz-Folgenabschätzung vorangehen

Eine Änderung der bestehenden Rechtslage ist derzeit nicht angezeigt

Ein Konsultationsteilnehmer wies auf die Ungeeignetheit der aktuellen gesetzlichen Anforderungen an eine Datenschutz-Folgenabschätzung hin. Vielmehr würden KI und Maschinelles Lernen eine fortlaufende Begleitung erfordern.

Nach anderer im Konsultationsverfahren vertretener Meinung bedarf es keiner – im Verhältnis zu § 67 BDSG – speziellen Regelung für den Einsatz von KI. Weitere noch umfangreichere technische und organisatorische Anforderungen und Pflichten, so etwa die Einführung eines Risiko- oder Qualitätsmanagementsystems, Dokumentations-, Aufzeichnungs- und Transparenzverpflichtungen oder Konformitätsprüfungen, würden im Lichte des dynamischen Wandels zu einem Hemmnis der polizeilichen Handlungsfähigkeit führen, da der Verwaltungsaufwand nochmal deutlich erhöht würde.

Ein anderer Konsultationsteilnehmer hielt wiederum eine Konkretisierung der Anforderungen an eine Datenschutz-Folgenabschätzung für den gesamten Polizeibereich für notwendig.

Bewertung:

Vorbehaltlich anders lautender Ergebnisse einer umfassenden Bestandsaufnahme (vgl. These 1) ist eine Änderung der bestehenden Rechtslage derzeit nicht angezeigt. Generell können die Voraussetzungen zur Durchführung einer Datenschutz-Folgenabschätzung nur unvollkommen gesetzlich konkret ausgestaltet werden[17]. Vor diesem Hintergrund ist eine Evaluierung eigener KI-Anwendungen und Validierung der durch KI erzielten Ergebnisse eine fortwährende Aufgabe des Verantwortlichen, die der Kontrolle der Datenschutzaufsichtsbehörden unterliegt.

Eine Datenschutz-Folgenabschätzung ist immer durchzuführen

Nach einer bei der Konsultation geäußerten Meinung sollte dem Einsatz von KI in jedem Fall eine Datenschutz-Folgenabschätzung vorweggehen, um transparent die Einhaltung erforderlicher datenschutzrechtlicher Aspekte zu gewährleisten. Nach anderer Auffassung müssen Datenschutz-Folgenabschätzungen in konkreten Einzelfällen vorgenommen werden. Letzteres wurde mit § 67 BDSG begründet, der auf Art, Umfang, Umstände und Zwecke einer Verarbeitung Bezug nimmt und keine pauschale Bewertung neuer Technologien (wie KI) als Ganzes anstrebt. Schließlich wurde von Seiten der Konsultationsteilnehmer darauf hingewiesen, dass eine Datenschutz-Folgenabschätzung nicht durchführbar sei, sobald eine KI eigenständige Entscheidungen trifft.

Bewertung:

67 Abs. 1 BDSG nennt ausdrücklich die „Verwendung neuer Technologien“ als einen Grund für die Notwendigkeit der Durchführung einer Datenschutz-Folgenabschätzung. Damit hat der Gesetzgeber diese als besonders risikoreich eingestuft[18]. Nach aktuellem Stand der Technik und Forschung handelt es sich bei KI um eine neue Technologie im Sinne dieser Vorschrift[19]. Im Einzelfall kann für eine Datenschutz-Folgenabschätzung eine Schwellwert-Analyse[20] ausreichend sein.

Ist die Durchführung einer Datenschutz-Folgenabschätzung, z. B. infolge fehlender Nachvollziehbarkeit der eigenständig durch KI getroffenen Entscheidungen, nicht vollumfänglich möglich, darf diese KI nicht in Betrieb genommen werden. 

4. Fazit

Der Einsatz von KI findet faktisch sowohl im Bereich der Strafverfolgung als auch im Bereich der Gefahrenabwehr statt, ohne dass grundlegende Fragen beantwortet wären.

Soweit mit KI personenbezogene Daten verarbeitet werden, ist der Gesetzgeber in Bund und Ländern bereits aufgrund seiner grundrechtlichen Schutzpflichten aufgerufen, tätig zu werden. Auch wegen ihrer erheblichen Bedeutung für Staat und Gesellschaft muss KI dringend rechtlich „umhegt“ werden.

Das Konsultationsverfahren des BfDI versteht sich als ein Schritt in die Richtung einer umfassenden öffentlichen Debatte, die den Gesetzgeber in die Lage versetzt, zeitnah notwendige Entscheidungen zu treffen.

Verweise

[1] Vgl. dazu EDSA/EDSB, Gemeinsame Stellungnahme 5/2021 v. 18.6.2021.

[2] BVerfGE 150, 1 (97).

[3] BVerfGE 150, 1 (97).

[4] Vgl. BVerfGE 150, 244, 1. Leitsatz – Kennzeichenerfassung.

[5] BVerfGE 115, 320 (354) m. zahlr. w. Nachw.

[6] Braun, in: Gola/Heckmann, BDSG, 13. Aufl. 2019, § 47 Rn. 27; Hertfelder in BeckOK Datenschutzrecht, Wolff/Brink, 38. Edition (Stand: 1.8.2020), § 47 BDSG Rn. 22.

[7] Vgl. Schaaf, Neuronale Netze: Ein Blick in die Black Box, in: Informatik Aktuell, 14.1.2020, abrufbar unter: https://www.informatik-aktuell.de/betrieb/kuenstliche-intelligenz/neuronale-netze-ein-blick-in-die-black-box.html (zuletzt abgerufen am 21.02.2022).

[8] BVerfGE 27, 1 (6).

[9] EDSA/EDSB, Gemeinsame Stellungnahme 5/2021 v. 18.6.2021, S. 3.

[10] Vgl. BVerfGE 141, 220 (278).

[11] BVerfGE 65, 1 (46).

[12] Zur Erforderlichkeit einer Datenschutz-Folgenabschätzung vgl. These 7.

[13] Vgl. These 4.

[14] BVerfGE 141, 220 (284).

[15] Vgl. BVerfGE 133, 277 (370); 141, 220 (285).

[16] EDSA/EDSB, Gemeinsame Stellungnahme 5/2021 v. 18.6.2021, S. 3.

[17] BT-Drs. 18/11325, 117.

[18] Nolte/Werkmeister, in: Gola/Heckmann, BDSG, 13. Aufl. 2019, § 67 Rn. 7.

[19] Müller/Schwabenbauer, Lisken/Denninger, Handbuch des Polizeirechts, 7. Aufl. 2021, Rn. 1023.

[20] Vgl. Standard-Datenschutzmodell, Version 2.0b, S. 44 f.