Autonomous wide area surveillance weapons¶
Nicht einzig die DUAL-USE Problematik, die Untrennbarkeit von disruptiven zivilen-, den Sicherheits- und den Kriegstechnologien, sondern eben auch das Zusammenspiel unzähliger unterschiedlicher Technologien, gerade im Bereich des Machine Learning, stellen uns vor unsagbare Herausforderungen. Herausforderungen, im Versuch über diese zu sprechen und um gesetzliche Rahmenbedingungen zu schaffen.
So erging es beispielsweise Amnesty International bei ihrer Forderung eines generellen Verbots von tödlichen autonomen Waffen, vor einer UN-Konferenz in Genf im Mai letzten Jahres: die Regierungsexpert*innen führten eine Grundsatzdebatte, welche Geräte und Systeme überhaupt als autonome Waffensysteme gelten können.
Spätestens seid dem Wissen um die Nutzung der hochumstrittenen Spähsoftware Pegasus von deutschen Behörden, werden Überwachungssysteme dieser Art auch in den Mainstream-Medien offiziell als “Cyberwaffen” bezeichnet, so »Zeit Online«: „Die Affäre um die israelische Spähsoftware Pegasus weitet sich aus: Nicht nur das BKA, auch der BND arbeitet mit der Cyberwaffe – mit Wissen des Kanzleramtes.“.
Nun ist die Gattung dieser Waffentechnologien eine gänzlich andere als bei den “direkten” Waffen. Cyberwaffen töten auf Umwegen:
Wie wurde Ahmad Muaffaq Zaidan al_Quaida Mitglied?¶
Ich erwähnte bereits kurz einen Fall, der international Aufmerksamkeit erregte, nämlich die Errechnung des Al Jazeera-Journalisten Ahmad Muaffaq Zaidan als al-Quaida Mitglied.
Ahmad Muaffaq Zaidan wuchs in Syrien auf. Er spricht fließend Arabisch und traf im Zuge einer Reportage Osama bin Laden im November 2000 in Kabul. Einige Monate später wurde er zur Hochzeit von bin Ladens Sohn in Kandahar eingeladen, über die er auch für das Fernsehen berichtete. Nach dem Einmarsch der USA in Afghanistan 2001 wurde Zaidan einer der wenigen Empfänger von Al-Qaida-Videobändern, die in den darauf folgenden zehn Jahren veröffentlicht wurden.
Lebensmuster maschinell erlernen¶
Im Oktober 2016 berichteten zwei Journalisten, dass das Skynet-Programm der NSA “vielleicht tausende unschuldiger Menschen tötet”.
Christian Grothoff und Jens Porup untersuchten dieses Programm im Kontext von Drohnenangriffen in Pakistan zwischen 2005 - 2016, in denen mehr als 4000 Menschen uns Leben kamen.
SKYNET ist ein Programm zur Erkennung von Mustern in Millionen von Telefon-Metadaten.
Es sammelt diese und speichert es auf NSA Cloud Servern um daraufhin mit Hilfe von Machine Learning Techniken Hinweise auf zukünftige Terroranschläge zu errechnen. Zu den “Cloud Analytic Building Blocks”, der Datengrundlage zum “Lernen” des Algorithmus ist aus Dokumenten der Snowden Leaks folgendes herauszulesen:
Zu diesen Blocks gehören “Travel Patterns”, also angereiste Orte in einem bestimmten Zeitabschnitt, “Behavior-Based Analytics”, wie z.B. eingehende Anrufe auf Mobiltelefonen, und außernormative Verhaltensweisen, wie häufiges SIM-Card Wechseln in seinem Mobiltelefon, sowie “Other Enrichments”, sprich weitere Verhaltens- und Bewegungsmuster.
durch falsch-positive Mobilfunkdaten¶
Der SKYNET-Lern-Algorithmus wird auf Daten aus einer Personengruppe trainiert, die von NSA-Forschern als “known couriers” bezeichnet werden, so ein weiteres geleaktes Dokument: SKYNET: Courier Detection via Machine Learning). Es handelt sich bei diesen um Einzelpersonen in Pakistan, die als “courier” aus Geheimdienstberichten, und -datenbanken herausgefiltert wurden, also Personen aus Listen (z.B. JPEL), die in Verdacht stehen, Nachrichten für bereits bekannte Terrorgruppen wie z.B. al-Qaida zu übermitteln.
Der Lern-Algorithmus lernt also Attribute aus “indicative behaviours” von “couriers”, und lässt dann die Daten von 55 Millionen Handyaufzeichnungen aus der allgemeinen Bevölkerung Pakistans, durch dieses maschinelle Lern-Modell laufen, um dort kurierähnliche Reisemuster (“courier-like travel patterns”) zu entdecken. Die Mobilfunkdaten wiederum wurden über ein NSA-Sammelprogramm namens Demonspit gesammelt, wie dem Dokument zu entnehmen ist.
Laut den geleakten Präsentationsslides wurde SKYNET auf 100.000 dieser Datensätze trainiert. Aus dieser Gruppe von 100.000 heraus, wurden damals sieben Personen als vermeintliche Terroristen errechnet. Die Falsch-Positiv-Rate von SKYNET betrug 0,008 Prozent.
Einer dieser False Positives war Ahmad Muaffaq Zaidan.
im Schatten zufällig generierter Wälder¶
Nach der Logik des Random Decision Forest (der Skynet-Lernalgorithmus) ist die Errechnung von Zaidan als al-Qaida Mitglied keineswegs irrtümlich gewesen, im Gegenteil, der Algorithmus hat so funktioniert wie er konzipiert wurde. Er erzeugte einen rationalen Selektor auf Basis der Bewegungsmuster der “couriers”. Er lernte, Teile von Welt durch die Einwirkung von Zufälligkeit zu differenzieren und “klassifizierte” diese daraufhin.
Das Machine Learning Verfahren des Random Decision Forest, hatte sich nach der Jahrtausendwende beim US-Militär zum Algorithmus der Wahl für Systeme entwickelt, die Terrorziele für den Staat identifizieren sollen. Der Statistiker und Entwickler dieses Verfahrens Leo Breiman, hat seine Algorithmen so konzipiert, dass sie die “richtige Menge an Zufälligkeit” einbringen.
“Ein Algorithmus”, wie Louise Amoore in ihrem 2020 erschienen Buch »Cloud Ethics« schreibt, “mit Auswirkungen auf Leben und Tod, und er erzeugt diese Auswirkungen, indem er den Zwiespalt zwischen Vernunft und Wahnsinn neu formuliert”, bzw. formalisiert. Die Zufälligkeit (Random) dieses Algorithmus, so Amoore weiter, “ist eine Art geschützter Wahnsinn, der in der Logik des Algorithmus wohnt und der der Welt eine unerreichbare Vision von einer sicheren Zukunft verspricht”.
Für den Random Decision Forest Algorithmus wird der Zufall zum Mittel, um Ziele zu klassifizieren. Ein Klassifikator, der über Leben und Tod entscheidet, wenn er lernt zu unterscheiden, ob eine Person einen Anschlag versucht zu verüben und eine Sprengfalle (IDE) vergräbt oder einfach nur ein Loch gräbt.
Ein Wahnsinn also, nicht etwa aus einem Verlust an Rationalität oder aus der Übertragung von menschlichen Denkprozessen in einen maschinellen Handlungsprozess. “Ein Wahnsinn, einzig dem Versuch geschuldet, eine Berechnung durchzuführen unter den Bedingungen des Nichtwissens”: Prediction Codes.