Das Hagener Manifest zu New Learning - Diskussion und Unterzeichnung

[Markus Jung]

Gerade im Scoring sehe ich viele Risiken, dass der Einzelne in eine Schublade gesteckt wird, aus der er nicht mehr raus kommt. Weil versucht wird alles in Zahlen, Statistiken und Algorithmen zu packen, ohne die menschliche und individuelle Seite dabei zu berücksichtigen.

 

Einfaches Beispiel: Aus Gründen, die nur begrenzt durch mich zu vertreten sind (unter anderem eine Kündigung wegen Eigenbedarf), werde ich im nächsten Jahr das dritte Mal innerhalb von vier Jahren umziehen. Schon der zweite Umzug hat mein Scoring bei Creditreform (jetzt Boniversum) verschlechtert. Aber ist das wirklich ein Zeichen, dass ich ein Mieter bin, bei dem ein Risiko besteht, dass es zu Mietausfällen oder Mietnomadentum kommt? - Die Vermieter, die mich kennen und mir zum Teil ein Vermieterzeugnis ausgestellt haben, sehen das ganz anders, schätzen meine Zuverlässigkeit und den angenehmen Kontakt zu mir und würden jederzeit wieder an mich vermieten...

[Splash]

Scoring in Verbindung mit Vermietung ist sicherlich ein interessantes Beispiel. Im Falle einer Vermietung kommen Bonitätsauskunft zumeist ja dann zu Einsatz, wenn der Vermieter sich absichern möchte. Aufgrund der Kosten und benötigten Einwilligung des Mietinteressenten kenne ich es als letzten Schritt vor einem Vertragsabschluss, Inhalt der Auskunft ist ob Zahlungsausfälle drohen und wie viele Negativmerkmale (Titel) vorliegen. Die Schritte davor sind ja Ersttelefonat und Besichtigung - genügend Möglichkeiten, für erste Screenings. Für mich ist das auch ein Prozess mit genügend menschlicher Interaktion und auch dadurch genügend Möglichkeiten schon durchs Raster zu fallen, egal ob verursacht durch den potentiellen Mieter oder durch Voreingenommenheit (bias) des potentiellen Vermieters.

 

Interessant ist dann die Variante Bankdarlehen zum Kauf eines Autos oder einer Immobilie. Teilweise sind das durchautomatisierte Prozesse, bei denen kein menschlicher Kontakt bis zur ersten Entscheidung besteht. Hier bestehen Risiken durch bias in Daten. Risiken durch bias bestehen aber auch bei Bearbeitung der Vorgänge durch Menschen - zumindest durfte ich diese Erfahrung durchaus schon machen.

[Markus Jung]

Zugegebenermaßen habe ich keine Absagen erhalten aufgrund einer Bonitätsauskunft, es war nur für mich erschreckend und interessant, als ich mir diese Selbstauskunft habe zusenden lassen und fühle mich dem ausgeliefert. 

 

Anders als was die subjektive Beeinflussung beim Besichtigungstermin oder vergleichbar Bewerbungsgespräch oder Kreditgespräch angeht. Hier bin ich ja handlungsfähig und kann zeigen, dass ich zuverlässig etc. bin. Klar, auch dadurch kann mal ein falscher Eindruck entstehen, wenn jemand gut blenden kann.

 

Wichtig finde ich, dass der KI in solchen und vergleichbaren Situationen nicht die alleinige Entscheidung überlassen wird, sondern dass das nur ein Faktor ist, und das wird, gerade im Massengeschäft weniger, möglicherweise künftig auch im Bildungsbereich. Da wünsche ich mir dann zumindest eine Vetomöglichkeit, die zu einer menschlichen Nachprüfung führt. Genau wie es die jetzt durch die Klausureinsicht nach der menschlichen Bewertung, die ebenfalls daneben liegen kann, auch schon gibt.

[KanzlerCoaching]

Es gibt gerade im Technischen ganz bestimmt eine große Möglichkeit, in der KI sinnvoll und erfolgreich angewendet werden kann. Wo aber ihre Grenzen sind und noch lange sein werden, das ist überall dort, wo es um echte und halbwegs differenzierte Interaktion geht. Ein schönes Beispiel ist die Spracherkennung. Chatbots "verstehen" zuverlässig Kommunikation mit einem Sprachniveau, das knapp über "Ich Tarzan. Du Jane." liegt.

 

Das macht eine Unterhaltung mit einem Chatbot entweder amüsant oder zur Hölle - je nachdem, was man gerade will. Im Bildungsbereich stelle ich mir so etwas ausgesprochen interessant vor, wenn es um Bewertungen geht.

[Ronald Deckert]

Wir sehen, wir haben hier eine sehr spannende und vor allem auch komplexe Diskussion vor uns, ... und die gilt es, meiner Meinung nach, zum Wohle des Menschen handhabbar auf Wesentliches zu fokussieren. Hierbei können die Big Five einer wünschenwerten Entwicklung zu KI beitragen, die wir entwickelt haben, und sicherlich auch viele weitere Gedanken und Modelle. Auch wenn Lösungen für komplexe Probleme sicherlich oftmals auch eine gewisse Komplexität zulassen sollten, dürfen diese Lösungen m. E. auch nicht zu komplex sein; um am Ende handhabbar zu sein...

[Markus Jung]

Ein sehr schönes Beispiel, was passiert, wenn der KI ungeprüft Aufgaben übertragen werden, habe ich gerade in einem anderen Thread gefunden. Passt hier wunderbar rein:

 

[Splash]

vor 3 Minuten hat Markus Jung geschrieben:

Ein sehr schönes Beispiel, was passiert, wenn der KI ungeprüft Aufgaben übertragen werden, habe ich gerade in einem anderen Thread gefunden. Passt hier wunderbar rein:

 

Aha. Was ist deine Schlussfolgerung?

[Markus Jung]

Meine Schlussfolgerung ist, dass automatisierte Systeme zur Unterstützung eingesetzt werden können, aber eine menschliche Qualitätssicherung wichtig ist - je wichtiger, je größer die Konsequenzen der Entscheidungen und Ergebnisse sind. 

 

Und wenn ich einen Studiengang in englischer Sprache studiere, dann würde ich erwarten, dass ich Materialien erhalten, die nicht nur maschinell übersetzt worden sind, um sicher zu sein, dass Vokabular und Inhalte auch fachlich passen.

[Splash]

Da ist durchaus etwas dran - Fehlerraten sollten möglichst minimiert werden. Ich erinnere mich aber auch durchaus an technische Dokumente, die von Menschen schlecht übersetzt wurden, da bei Übersetzern das Fachwissen fehlte. Andersrum gibt es bereits oben erwähnte Beispiele, bei denen die Fehlerrate von Menschen gegenüber AI-basierten Systemen höher ist (falsch-negative Erkennung von Melanomen).

 

Für mich ist sowas auch ein Beispiel ausgelassener Variablen. Speed-to-Market ist ein wirklich wichtiger Faktor, bei dem Fehler passieren (unabhängig davon, ob von Mensch oder Maschine). Die Sorgfalt, die angewandt werden sollte, da stimme ich die zu @Markus Jung, ist höher, je höher die Konsequenzen des Handelns sind. Ob ein Übersetzungsfehler dramatisch ist, weiss ich nicht - eine falsche Krebsdiagnose (egal ob falsch-positiv oder falsch-negativ) kann durchaus dramatischere Folgen haben ...

 

Ein anderes Beispiel in dem Zusammenhang sei das oft zitierte Netflix. Am Anfang belächelt hatte Netflix nicht das bessere Angebot an Filmen, sondern eher b-Movies, die weniger bekannt waren. Netflix wurde groß durch einen Algorithmus, der auf Basis der Vorlieben der Nutzer Empfehlungen aussprach. Je besser die Empfehlungen waren, desto mehr trug dies zur Kundenbindung bei. Long Story short: am Ende gingen große Videothekenketten pleite, da der Mensch bequem ist und selbst einen Vorteil daraus hatte. Dass Netflix einen noch größeren Vorteil daraus zog (und Daten Gold sind), interessiert von den Kunden kaum jemanden. Man kann sicherlich viel kaputt reden, doch am Ende entscheidet der Konsument, ob er einen Vorteil für sich sieht... ;)

[polli_on_the_go]

vor 25 Minuten hat Markus Jung geschrieben:

Und wenn ich einen Studiengang in englischer Sprache studiere, dann würde ich erwarten, dass ich Materialien erhalten, die nicht nur maschinell übersetzt worden sind, um sicher zu sein, dass Vokabular und Inhalte auch fachlich passen.

Naja, aber es muss doch gar nicht mit KI übersetzt werden. Ich muss manchmal auch doppelt hinsehen. Wenn man mit einem Begriff nicht komplett vertraut ist kann es auch schlichtweg (wenn bei so einem einfachen Begriff zwar peinlich), die falsche Auswahl aus einem Dictionary sein. Denn das gibt ja alle Bedeutungen an.

 

Ich würde deswegen nicht sofort die KI verurteilen. Wo man aber viel deutlicher das sieht, wie beeinflussbar die KI ist zeigt sich an einer Story aus dem letzten Jahr, die Wikipedia und damit auch die google Übersetzungssoftware beeinfluss, denn die zieht sich manches auch von Wikipedia. Und zwar hatte ein junger Amerikaner Wikipediamaterial auf  Schottisch erstellt. Naja so schien es. Denn er hat zwar etwas gutes beabsichtigt, aber keine Ahnung gehabt, was er getan hat. 

 

Scots Wikipedia taken over by American teenager who wrote thousands of 'very odd' articles without learning language (inews.co.uk)

 

US teenager left ‘devastated’ after Scots Wikipedia translation (digit.fyi)

 

Und da zeigt sich dann, KI ist nur so gut, wie die Quelle, wo sie ihre Informationen her bekommt.