{"id":19780,"date":"2022-06-21T06:00:00","date_gmt":"2022-06-21T04:00:00","guid":{"rendered":"https:\/\/difue.de\/?p=19780"},"modified":"2022-06-20T17:03:15","modified_gmt":"2022-06-20T15:03:15","slug":"algorithmen-interview-leonie-dorn","status":"publish","type":"post","link":"https:\/\/difue.de\/en\/news\/datenwelt\/algorithmen-interview-leonie-dorn\/","title":{"rendered":"Algorithmen: “Wir m\u00fcssen die Suppe ausl\u00f6ffeln”"},"content":{"rendered":"
\t\n

Algorithmen begegnen uns \u00fcberall im Alltag. Sie bestimmen unsere Google-Suchergebnisse, unsere Timeline in sozialen Netzwerken und die Film- und Musikempfehlungen in unseren Streaming-Apps. Aber Algorithmen haben auch Einfluss auf unsere Chancen auf dem Arbeitsmarkt und darauf, ob wir einen Kredit bekommen. Im DiF\u00fc-Podcast “D wie Digital”<\/a> spricht Leonie Dorn von AlgorithmWatch<\/a> dar\u00fcber, wie Algorithmen kochen, warum auch Computersysteme diskriminieren k\u00f6nnen und was es braucht, um mit Algorithmen die Welt zu verbessern. Hier ist das Interview zum Nachlesen.<\/em><\/p>\n<\/div><\/div><\/div>\n\n

\t\n

difue.de: Leonie Dorn, wir wollen heute \u00fcber Algorithmen sprechen. Den Begriff haben viele sicher schon einmal geh\u00f6rt, k\u00f6nnen aber vielleicht nicht unbedingt etwas damit anfangen. Deshalb sollten wir vielleicht erst einmal kl\u00e4ren: Was ist \u00fcberhaupt ein Algorithmus?<\/strong><\/p>\n<\/div><\/div><\/div>\n\n\n

\n\t
\n\t\t
\n\t\t\t
\n\n\t\t\t\t
\n\n\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Leonie Dorn ist Senior PR & Campaign Managerin bei AlgorithmWatch. Bild: Julia Bornkessel<\/p>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t\t

<\/p>\n

Leonie Dorn: Eigentlich kommt der Begriff Algorithmus aus der theoretischen Informatik und damit sind Handlungsanweisungen f\u00fcr ein Computerprogramm gemeint. Also eine ganz einfache Rechenanweisung ist schon ein Algorithmus, zum Beispiel: Nehme A, addiere B und daraus entsteht C.<\/p>\n

 <\/p>\n

Der beste Vergleich, den wir immer ziehen, ist das Rezept bei einem Kochbuch, nach diesem Schema: Gie\u00dfe Milch hinzu, r\u00fchre danach mit einem Schneebesen, f\u00fclle die Masse in einen Topf, stelle den Topf in den K\u00fchlschrank.<\/p>\n

 <\/p>\n

<\/p>\n

<\/p>\n

Wenn wir jetzt allerdings in den Medien, in Interviews oder in Reportagen \u00fcber Algorithmen lesen, dann ist damit etwas viel Umfassenderes gemeint.<\/p>\n

 <\/p>\n

Dann handelt es sich quasi schon um den gesamten Kochprozess, inklusive der Zutaten und mit dem Anlass, mit dem Verwendungskontext dieses Computersystems.<\/p>\n

<\/p>\n\n\t\t\t\t<\/div>\n\n\t\t\t<\/div>\n\t\t<\/div>\n\t<\/div>\n<\/section>\n\n\n

\t\n

Wo \u00fcberall begegnen uns denn diese Algorithmen, die Sie zuletzt genannt haben? Wo nehmen sie Einfluss auf unseren Alltag?<\/strong><\/p>\n<\/div><\/div><\/div>\n\n

\t\n

In der Interaktion im Internet ist es immer relativ offensichtlich. Wir interagieren mit Computern, da wissen wir eher automatisch, dass hier ein Maschinenwerk im Hintergrund aktiv ist. Das Online-Formular ist schon ein Algorithmus, aber auch der Chatbot, der mich durch eine Webseite durchf\u00fchrt. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Allerdings gibt es auch noch weitere Bereiche, in denen uns Algorithmen beeinflussen und die f\u00fcr viele Nutzer:innen nicht so offensichtlich sind. Gemeint sind die Interaktionen mit Beh\u00f6rden oder mit ganz anderen gesellschaftlich relevanten Institutionen wie Banken oder Versicherungen. Das hat viel st\u00e4rker zugenommen in den letzten Jahren, Jahrzehnten und jetzt auch durch die voranschreitende Digitalisierung w\u00e4hrend der Pandemie. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Diese Bereiche haben eine ganz wichtige Relevanz. Denn diese Interaktionen mit Banken auf dem Wohnungsmarkt, zum Beispiel Bonit\u00e4tspr\u00fcfungen (Credit Scoring Systeme), k\u00f6nnen wir nicht umgehen. Das Gleiche gilt f\u00fcr die digitale Terminvergabe beim B\u00fcrgeramt oder jetzt die Terminvergabe bei den Impfzentren. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Dabei geht es nicht nur darum, dass 100 Menschen automatisch auf 50 Termine verteilt werden. Vielmehr geht es darum, dass die Daten, die wir in dieses System entweder f\u00fcttern oder die die Versicherung schon \u00fcber uns wei\u00df, dass die relevanter werden f\u00fcr den Output der Entscheidungen dieses Systems.<\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Ja, da greifen Sie schon einen Punkt vorweg, den ich im sp\u00e4teren Gespr\u00e4chsverlauf nochmal ansprechen wollte. Aber bleiben wir zun\u00e4chst beim Bild mit dem Kochen. Wo sind wir Menschen denn in diesem Bild, welche Rolle \u00fcbernehmen wir? Sind wir die K\u00f6che, oder geben wir nur die Zutaten zu? Wer kocht?<\/strong><\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Der Koch ist sozusagen der Algorithmus, der Computer und die Zutaten kommen aus der Umwelt. Das sind die Daten, die wir liefern oder die das System \u00fcber uns hat. Das Gericht ist dann sozusagen die Auswirkung auf die Gesellschaft. Wir m\u00fcssen die Suppe sozusagen ausl\u00f6ffeln, wenn man das so plakativ sagen m\u00f6chte. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Das hei\u00dft, ein Koch kann nur so gut sein wie die Daten, die er verarbeitet. Und wir? Wir essen das Gericht. Aber im Endeffekt wissen wir nicht, was da alles drin ist. Weil wir nicht wirklich sehen, wie der Koch gekocht hat.<\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Obwohl wir dem Koch doch selbst die Zutaten zur Verf\u00fcgung stellen.<\/strong><\/p>\n<\/div><\/div><\/div>\n\n

\t\n

In gewisser Weise schon, aber wir wissen nicht, welche Zutaten es eigentlich sind. Also zum Beispiel ist es ja bei der Schufa so, dass die Bonit\u00e4tspr\u00fcfung Informationen \u00fcber uns hat. Wir wissen allerdings nicht genau, wie viele. Denn die Daten holt sie sich ja von verschiedenen Unternehmen und Handelspartnern, etwa die Informationen dar\u00fcber, wie oft wir schon umgezogen sind. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Und wir k\u00f6nnen das dann anfragen \u00fcber die Datenschutzgrundverordnung<\/a>. Aber wir wissen nicht, was genau die Schufa von uns wei\u00df und auch nicht, in welchem Verh\u00e4ltnis diese Zutaten zueinander stehen. Also wird da mehr, viel mehr Salz verwendet oder mehr Curry? Oder wird die Gem\u00fcsebr\u00fche vielleicht auch weggelassen? Die Relevanz von bestimmten Daten ist uns auch nicht klar. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Und das ist eben das, was auch den Algorithmus ausmacht, die Kategorisierung der Daten und die Bewertung der Daten, sprich: die Gewichtung. Ist es zum Beispiel relevanter, dass ich eine Frau bin? Oder ist es relevanter, dass ich Mitte 30 bin oder dass ich in Neuk\u00f6lln wohne? Denn vielleicht ist es, dass in Berlin, Neuk\u00f6lln, in dem bestimmten Bereich mit der Postleitzahl, die ich mit anderen Menschen teile, die Chance niedriger ist, dass Menschen ihren Kredit zur\u00fcckbezahlen. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Das sind einfach Sachen, auf die ich keinen Einfluss habe und was ich eben nicht sehe. Also die Bewertung und die Relevanz dieser Daten sind super wichtige Fragen, in die wir keinen Einblick haben.<\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Da sprechen Sie einen gro\u00dfen Kritikpunkt an, der zuletzt ja auch etwa im Zusammenhang mit Facebook ge\u00e4u\u00dfert wurde. Wir f\u00fcttern algorithmische Systeme mit Unmengen an Daten, aber niemand wei\u00df so richtig, was dann damit passiert. Gibt es \u00fcberhaupt einen Weg, das herauszufinden? Wie die kochen, sozusagen?<\/strong><\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Das ist sehr schwierig. Algorithmen sind schon grunds\u00e4tzlich Black Boxes – ein Begriff, den man in diesem Zusammenhang immer gern verwendet. Man kann da nicht richtig reinschauen in die Details, in den Maschinenraum. Selbst die Entwickler:innen, die die Software programmieren, haben keinen hundertprozentigen Einblick in die Algorithmen. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Es werden Zielvorgaben gemacht und Regelungen festgelegt. Und dann wird verarbeitet: Input zu Output. Und wir sehen dann auch wieder oder k\u00f6nnen theoretisch sehen, was der Output ist. Und die Social-Media-Plattformen<\/a> sehen das nat\u00fcrlich. Aber wir als \u00d6ffentlichkeit, als Forschende, als Zivilgesellschaft sehen das eben nicht. Und das ist eben ein gro\u00dfer Kritikpunkt. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Was wir von AlgorithmWatch auch fordern, ist die Transparenz von diesen Daten, damit die Auswirkungen und die Funktionsweisen dieser Plattform besser verstanden werden k\u00f6nnen und klar wird, was das \u00fcberhaupt f\u00fcr Risiken birgt. F\u00fcr die Gesellschaft, also bei Facebook oder bei sozialen Medien, ist das grunds\u00e4tzlich die \u00f6ffentliche Debatte, die ja ganz stark davon beeinflusst wird.<\/p>\n<\/div><\/div><\/div>\n\n\n

\n\t
\n\t\t
\n\t\t\t
\n\n\t\t\t\t
\n\n\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t
Algorithmen mit Datenspenden entschl\u00fcsseln<\/div>\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t

<\/p>\n

Weil wir keinen Zugriff auf die Produktivdaten haben, gehen wir mit unserem Projekt “DataSkope”<\/a> \u00fcber die Daten von Nutzer:innen, die uns freiwillig ihre Nutzungsdaten zur Verf\u00fcgung stellen, um Algorithmen besser zu verstehen.<\/p>\n

 <\/p>\n

<\/p>\n

Die personalisierten, einzelnen Perspektiven k\u00f6nnen wir dann bei Datenspenden von Tausenden von Nutzer:innen immer miteinander vergleichen und schlie\u00dflich Muster erkennen. Das gibt uns die M\u00f6glichkeit, Erkenntnisse \u00fcber die Regelungen hinter den Algorithmen zu gewinnen.<\/p>\n

 <\/p>\n

Aber warum ein bestimmter Algorithmus dann so entschieden hat, welche Logik dahintersteckt, das k\u00f6nnen wir immer noch nicht sagen. Wir k\u00f6nnen auch nicht sagen, warum ein Algorithmus bestimmte Sachen bevorzugt. Wir k\u00f6nnen nur sehen, dass bestimmte Inhalte bevorzugt werden.<\/p>\n

<\/p>\n\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t\t

<\/p>\n

Die Auswirkungen davon sehen wir ja auch im Alltag, bei Google, oder Spotify oder etwa Netflix. Wenn ich bei Google Dinge suche, dann werden mir andere Suchergebnisse angezeigt, als wenn Sie die gleichen Dinge suchen. Das basiert nat\u00fcrlich auf meinen Nutzungsgewohnheiten. Kann man sagen, dass jeder Mensch seinen eigenen Algorithmus hat? Ich und mein Algorithmus?<\/strong><\/p>\n

 <\/p>\n

<\/p>\n

So w\u00fcrde ich es nicht formulieren. Also wenn, dann ist es: “Ich und meine News-Timeline” oder “Ich und meine personalisierte Playlist”. Die Handlungsanweisungen der Software sind universal. Das steckt in diesem Begriff des Regelwerks. Was dann meinen Newsfeed zu meinem Newsfeed macht, sind nat\u00fcrlich die Daten, die ich da reingegeben habe durch mein Verhalten.<\/p>\n

 <\/p>\n

<\/p>\n

In der Theorie werden wir eigentlich gleich behandelt vom Algorithmus. Den Nachteil davon sieht man, wenn im Falle von Content-Moderation auf Plattformen ein satirischer Witz nicht verstanden wird und dann als Hate Speech eingestuft wird. Und dann wird man gesperrt.<\/p>\n

 <\/p>\n

<\/p>\n

Das hei\u00dft, eigentlich haben wir die gleichen Regeln, aber weil wir uns unterschiedlich verhalten oder dieses Regelwerk uns auch manchmal falsch versteht, kommt es eben auch zu Fehlern oder Problemen.<\/p>\n

<\/p>\n\n\t\t\t\t<\/div>\n\n\t\t\t<\/div>\n\t\t<\/div>\n\t<\/div>\n<\/section>\n\n\n

\t\n

Nun ist vor kurzem das europ\u00e4ische Gesetz zu digitalen Diensten in Kraft getreten, der Digital Service Act<\/a>. Das sieht ja auch vor, dass gro\u00dfe Social-Media-Plattformen die Funktionsweisen ihrer Algorithmen offenlegen sollen. Was versprechen Sie sich von dieser Regelung?<\/strong><\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Ja, wir haben uns im Kontext des Digital Services Acts lange und intensiv daf\u00fcr eingesetzt, dass zum Beispiel Forschende und auch zivilgesellschaftliche Organisationen Zugang bekommen zu diesen Produktivdaten, um damit Forschung betreiben k\u00f6nnen zu den Auswirkungen von algorithmischen Regeln. <\/p>\n<\/div><\/div><\/div>\n\n\n

\n\t
\n\t\t
\n\t\t\t
\n\n\t\t\t\t
\n\n\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t
Was ist der Digital Service Act?<\/div>\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t

Der Digital Service Act (kurz: DSA) ist ein EU-Gesetz, das umfassende Vorschriften f\u00fcr Internetkonzerne vorsieht, um Verbraucher:innen besser zu sch\u00fctzen. Unter anderem sollen Facebook und Co. k\u00fcnftig schneller illegale Inhalte l\u00f6schen m\u00fcssen und auch f\u00fcr mehr Transparenz bei ihren Algorithmen sorgen.<\/p>\n\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t\t

Das ist allerdings jetzt gerade noch ein weiterer Kampf, der sich in der Umsetzung dieses Gesetzes weiterf\u00fchrt. Denn einerseits haben Forscher:innen und zivilgesellschaftliche Organisationen jetzt Zugang oder m\u00fcssen Zugang bekommen von den Plattformen. Andererseits gibt es aber auch noch eine Regel, die besagt, dass Gesch\u00e4ftsgeheimnisse nicht freigegeben werden k\u00f6nnen.<\/p>\n

 <\/p>\n

Und jetzt wird sich wahrscheinlich in der Umsetzung zeigen: Was bedeutet “Gesch\u00e4ftsgeheimnisse”? Z\u00e4hlen Algorithmen als Gesch\u00e4ftsgeheimnisse dieser Plattformen und k\u00f6nnen sie sich dadurch dann wieder wehren und sich sozusagen der Rechenschaft und der Transparenzpflicht entziehen? Das ist noch nicht gekl\u00e4rt und das hei\u00dft, dass wir da noch weiter stark und hartn\u00e4ckig bleiben m\u00fcssen.<\/p>\n\n\t\t\t\t<\/div>\n\n\t\t\t<\/div>\n\t\t<\/div>\n\t<\/div>\n<\/section>\n\n\n

\t\n

Bezieht sich das dann auch auf die Berechnungen im Hintergrund, die bei Versicherungen, Kredit, Scoring, Schufa, Beh\u00f6rden, Banken etc. passieren? Oder ist das noch mal ein anderer Bereich?<\/strong><\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Das ist ein etwas anderer Bereich. Bei der Schufa gab es auch schon ein Gerichtsurteil, das offiziell den Schufa-Algorithmus als Gesch\u00e4ftsgeheimnis eingestuft hat. Also bestimmte K\u00e4mpfe haben wir auch schon verloren. Beim Digital Services Act geht es gr\u00f6\u00dftenteils um Plattformen. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Es gibt aber auch noch ein weiteres Gesetz, das auf der EU-Ebene in der Mache ist. Das ist die KI-Verordnung bzw. der EU AI Act. Und da geht es grunds\u00e4tzlich um die Regulierung von algorithmischen Systemen und wie diese angewendet werden. Da geht es dann auch wieder um Transparenz, Pflichten, um Offenlegung der Systeme in Datenbanken. Und da geht es dann auch viel konzentrierter nochmal auch um \u00f6ffentliche und staatliche Beh\u00f6rden, die bestimmte Systeme anwenden.<\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Sie haben es gesagt, etwa bei staatlichen Beh\u00f6rden oder bei Kreditvergabe-Systemen, wo dann etwa meine Postleitzahl, mein Alter oder mein Geschlecht ausreicht, um mich auszuschlie\u00dfen. Haben Sie noch weitere Beispiele, wo solche automatisierten Entscheidungen im Hintergrund etwa diskriminierende Folgen haben k\u00f6nnen?<\/strong><\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Ja, auf jeden Fall. Eines der bekanntesten Beispiele kommt in dem Kontext aus \u00d6sterreich. Es ging um den AMS-Algorithmus, das System, das Arbeitsmarktchancen von Arbeitssuchenden berechnet hat.<\/p>\n<\/div><\/div><\/div>\n\n\n

\n\t
\n\t\t
\n\t\t\t
\n\n\t\t\t\t
\n\n\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t
Debatte um AMS-Algorithmus<\/div>\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t

Der Einsatz des \u201eArbeitsmarktchancen-Assistenzsystems\u201d des \u00f6sterreichischen Arbeitsamts wurde 2020 von der Datenschutzbeh\u00f6rde (DSB) per Bescheid untersagt.<\/p>\n

 <\/p>\n

Kritiker:innen bem\u00e4ngeln, dass der Algorithmus bestimmte Personengruppen diskriminieren w\u00fcrde. Der Verwaltungsgerichtshof pr\u00fcft den Einsatz derzeit.<\/p>\n\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t\t

<\/p>\n

Und da stellte sich heraus, dass Frauen strukturell benachteiligt wurden. Ihnen wurden strukturell schlechtere Chancen auf dem Arbeitsmarkt berechnet, weil die Datenmenge gezeigt hat, dass Frauen tendenziell mehr Betreuungs-Pflichten haben und sich das nat\u00fcrlich darauf auswirkt, wie gut sie einen neuen Job finden oder dass sie dann in Teilzeit arbeiten.<\/p>\n

 <\/p>\n

<\/p>\n

<\/p>\n

Das bedeutet dann in dem Kontext von einem Algorithmus, der ganz viele Daten verarbeitet, ganz viele Muster erkennen soll, dass Menschen, die Sorgearbeit leisten, am Arbeitsmarkt benachteiligt werden.<\/p>\n

<\/p>\n\n\t\t\t\t<\/div>\n\n\t\t\t<\/div>\n\t\t<\/div>\n\t<\/div>\n<\/section>\n\n\n

\t\n

Was dann eine Verfestigung des Klischees ist, oder der schon sowieso bestehenden strukturellen Ungleichbehandlung.<\/strong><\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Richtig. Wenn man es ganz grunds\u00e4tzlich sagt, sind auf Daten basierte Algorithmen immer konservativ. Sie zementieren immer tendenziell bestehende Strukturen, weil sie die Realit\u00e4t betrachten, die nat\u00fcrlich ganz viel strukturelle Diskriminierung enth\u00e4lt und davon lernt und darauf aufbaut. Es ist also immer auch eine Frage der Zielsetzung der Software bzw. der Entwickler:innen. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Bei einem Arbeitsamt k\u00f6nnen Sie sich nat\u00fcrlich fragen: Wie hoch sind die Chancen von Person XY am Arbeitsmarkt? Sie k\u00f6nnten aber auch die Frage stellen: Was brauchen Bewerber:innen, um bessere Chancen am Arbeitsmarkt zu bekommen? Jedes algorithmische System, jede Handlungsanweisung ist immer mit einem Ziel verbunden. Wof\u00fcr ist diese App eigentlich gut? Was soll die eigentlich leisten? Was ist ein gew\u00fcnschter Output von diesen Daten? Und entsprechend dieser Ziele werden dann nat\u00fcrlich auch die Inputs, also die Daten, die wir geben, gewichtet. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Also zur\u00fcck zu diesem Rezept- oder Koch-Beispiel: Wer sagt da beispielsweise: “Okay, nimm mehr Salz, lass die Gem\u00fcsebr\u00fche weg, denn die ist nicht wichtig”? Es steht also immer die Frage nach dem Ziel, nach dem Ziel des Gerichtes.<\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Haben Sie denn das Gef\u00fchl, dass wir da auf Augenh\u00f6he sind? Also laufen wir den technischen M\u00f6glichkeiten eigentlich hinterher oder beherrschen wir sie?<\/strong><\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Es kommt so ein bisschen darauf an, was wir mit \u201ewir\u201c meinen. Wenn es nat\u00fcrlich jetzt um Gesetzgebungsverfahren geht und Regulierung, hinken wir nat\u00fcrlich total hinterher. Der Bereich ist noch total neu und da liegt die Latte echt am Boden. Deswegen beginnen wir ja auch damit, erstmal Transparenz zu fordern, um besser forschen zu k\u00f6nnen, um dann halt auch Plattformen zum Wohle der Gesellschaft besser zu regulieren. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Daf\u00fcr m\u00fcssen wir eigentlich erstmal verstehen, welche Bedrohung sie darstellen. Deswegen ist wirklich wichtig, von ganz unten anzufangen, um dann zu gucken, wie sieht \u00fcberhaupt eine sinnvolle Regulierung aus in diesem Bereich? Und gerade weil der Bereich so unreguliert ist, wird auch vieles auch erstmal angewendet. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Es gibt kaum Verpflichtungen, Impact Assessments zu machen, das hei\u00dft, die Auswirkungen der Systeme \u00fcberhaupt erstmal zu \u00fcberpr\u00fcfen und einzusch\u00e4tzen. Welche Sch\u00e4den k\u00f6nnten denn entstehen f\u00fcr die Anwender:innen oder f\u00fcr die Gesellschaft oder f\u00fcr die Betroffenen?<\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Haben Sie denn das Gef\u00fchl, dass sich diejenigen, die Algorithmen einsetzen, dar\u00fcber Gedanken machen? Oder geht es vor allem um Effizienz und Arbeitsreduzierung?<\/strong><\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Das kommt nat\u00fcrlich sehr auf die tats\u00e4chlich Einsetzenden an und es ist immer eine Frage der Ziele oder nat\u00fcrlich auch der Gesch\u00e4ftsmodelle der jeweiligen Unternehmen. Wenn man jetzt grunds\u00e4tzlich das kapitalistische Wirtschaftssystem kritisiert und automatische Entscheidungs-Systeme in diesem System eingebettet sind oder grunds\u00e4tzlich in dieser Gesellschaft mit struktureller Diskriminierung, dann k\u00f6nnen wir diese Technik davon nat\u00fcrlich nicht frei denken, weil es immer soziotechnische Systeme sind. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Wichtig ist, dabei zu bedenken, dass wir uns Ziele setzen, um Partizipation und Interaktion zu f\u00f6rdern. Es gibt ja zum Beispiel ganz viele M\u00f6glichkeiten, Technologie zu nutzen, um Menschen mit Behinderungen zu helfen oder bessere Teilhabe an der Gesellschaft zu erm\u00f6glichen. Es ist immer die Frage, welche Ziele wir uns setzen und ob die Personen, die die Software entwickeln, sich Feedback von Betroffenen holen, die die Software dann nutzen oder die der Software ausgesetzt ist, zum Beispiel bei der Kalkulation von Sozialhilfebeitr\u00e4gen. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Es w\u00e4re nat\u00fcrlich w\u00fcnschenswert, wenn Betroffene, also die Empf\u00e4nger:innen von Sozialhilfebeitr\u00e4gen auch konsultiert werden w\u00fcrden und die Mitarbeiter:innen in den \u00c4mtern, die das dann umsetzen. Haben die Menschen, die die Software programmiert haben, \u00fcberhaupt Erfahrungen mit Diskriminierungen? K\u00f6nnen die sich \u00fcberhaupt darauf einlassen, bestehende Risiken vielleicht auch wahrzunehmen? <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Das liegt ja auch in der Natur der Sache, dass Menschen gar nicht so viel einsch\u00e4tzen und bewerten und hinterfragen sollen, sondern dass eben diese ganzen Prozesse von einer Software \u00fcbernommen werden sollen. Deshalb werden solche Prozesse ja automatisiert.<\/strong><\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Genau. Es ist in gewisser Weise ein Abgeben von Entscheidungen und damit geht auch immer ein bisschen Kontrollverlust einher. Ziel sollte sein, dass das nicht in das eine oder das andere Extrem abschweift, also dass wir die komplette Kontrolle abgeben und in gar keine Prozesse Einblick haben oder alles selber machen. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Es ist nur gerade so, dass wir gar keine Transparenz haben und gar keine demokratische Kontrolle. Man kann trotzdem algorithmische Systeme zum Wohle der Gemeinschaft verwenden. Wir m\u00fcssen nur Einsicht darin haben, um sie eben auch immer wieder zu verbessern, um Risiken besser einsch\u00e4tzen zu k\u00f6nnen und um nachsteuern zu k\u00f6nnen.<\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Der Ausblick auf potenziell diskriminierungsfreie algorithmische Systeme ist ja auch wirklich sehr vielversprechend.<\/strong><\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Genau das ist das theoretische Potenzial. Da ist aber oft auch ein Missverst\u00e4ndnis, dass Computer objektivere oder neutralere Entscheidungen treffen. Die sind nat\u00fcrlich nicht unbedingt so pers\u00f6nlich vorurteilsbehaftet wie eine Person hinter einem Schalter mit einem Stempel. Aber wir haben trotzdem ja auch immer wieder Kontrollmechanismen in Beh\u00f6rden und mit Mitarbeiter:innen. Und so weiter. Und die haben wir eben bei einem Algorithmus aktuell nicht. Da liegt der Unterschied. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Und au\u00dferdem wollen wir immer davor warnen, dass ein Computer eben nicht komplett wertfrei und neutral ist. Wie schon angesprochen: Welche Daten flie\u00dfen da rein? Die sind leider nicht wertfrei. Die Programmier:innen haben bestimmte blinde Flecken zu den Kontexten, in denen die App dann tats\u00e4chlich wirkt und kulturelle, unbewusste Werte. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Weltanschauungen flie\u00dfen immer in Technologie ein. Das hei\u00dft, wir k\u00f6nnen nicht dar\u00fcber reden, dass Technik komplett neutral oder wertfrei ist, sondern wir m\u00fcssen eben gucken, wie k\u00f6nnen wir diese Entscheidungen, die da getroffen werden, besser verstehen, besser kontrollieren? Welche Machtpositionen geben wir im Endeffekt diesen Systemen und k\u00f6nnen wir uns zur Wehr setzen, wenn wir benachteiligt wurden? <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Gibt es M\u00f6glichkeiten, bei solchen F\u00e4llen von automatisierter Diskriminierung vor Gericht zu ziehen? K\u00f6nnen wir uns \u00fcber das Allgemeine Gleichbehandlungsgesetz zur Wehr setzen und da Beschwerde an bestimmten Stellen einreichen? Das sind auch alles ganz wichtige Fragen, die wir noch bearbeiten m\u00fcssen, weil die noch nicht gekl\u00e4rt sind.<\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Wir haben jetzt schon viele wichtige Punkte angesprochen. An dieser Stelle m\u00f6chte ich Sie bitten, nochmal Revue passieren zu lassen. Was ist aus Ihrer Sicht das wichtigste, was unserer H\u00f6rer:innen aus unserem Gespr\u00e4ch mitnehmen k\u00f6nnen?<\/strong><\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Ich denke, es ist unm\u00f6glich, algorithmische Systeme jenseits von Gesellschaft, von Kultur, von Politik oder auch von Profitinteressen zu denken. Es sind Werkzeuge, die zu bestimmten Zielen entwickelt wurden. Und es ist viel, viel wichtiger, diese Ziele auch zu hinterfragen und ebenso die Ziele der Akteure, die sie einsetzen, um die Auswirkungen zu verstehen. <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Und diese Objektivit\u00e4t, diese mechanische Objektivit\u00e4t, die wir automatisierten Entscheidungssystemen zuschreiben, dieses Bild, das m\u00fcssen wir St\u00fcck f\u00fcr St\u00fcck abbauen und immer hinterfragen. Woher kommen die Daten, also die Zutaten, mit denen der Koch kocht? Woher kommt der pers\u00f6nliche Geschmack, den er hat? Welche Aspekte des Arbeitsmarktes, der \u00f6ffentlichen Debatte oder der Sozialhilfe werden von dem System wichtiger erachtet als andere? <\/p>\n<\/div><\/div><\/div>\n\n

\t\n

Die Zielsetzung von Technologie kann durchaus sein, die Gesellschaft zu verbessern. Aber dann m\u00fcssen diese Ziele auch so explizit formuliert werden, und dann muss die Gewichtung von Daten entsprechend herrschen. Und dann haben wir auch das Potenzial, mit algorithmischen Systemen die Welt zu verbessern. Aber wir m\u00fcssen das explizit wollen und sie nicht einfach auf die Welt loslassen.<\/p>\n<\/div><\/div><\/div>

\t\n\n