Das Bewusstsein der Maschinen - 6
Kommunikation mit unverständlichen Maschinen
23.02.2026 30 min
Zusammenfassung & Show Notes
In dieser Folge wird aufgezeigt, wie Kommunikation mit „unverständlichen“ Maschinen trotzdem gelingen kann: nicht über romantisches Zuschreiben von Innerlichkeit, sondern über funktionales Verstehen, klare Erwartungshorizonte und konsequente Rückkopplung. Im Zentrum stehen Prüfrituale gegen plausible Unwahrheiten, bewusstes Kontext-Management, Beobachtbarkeit (Observability) und die Frage nach Verantwortung. So wird aus der Maschine kein Orakel, sondern ein kontrollierbarer Sparringspartner, als Grundlage für die nächste Episode über neue Formen des Vertrauens.
In dieser Episode:
- Warum „Verstehen“ bei Maschinen nicht nur „Innenleben erklären“ bedeutet, sondern vor allem Anschlussfähigkeit und verlässliche Interaktion.
- Die Lücke zwischen Information und Bedeutung: Warum eloquente Systeme nicht automatisch „Sinn“ liefern.
- Warum Plausibilität verführt und wie man Zuverlässigkeit prüft.
- Gespräch als Regelkreis: Rückkopplung, Tests, Abbruchkriterien.
- Performative Verständlichkeit: Verstehen zeigt sich im Umgang, nicht im Bekenntnis.
- Interface als Philosophie: Design macht Grenzen sichtbar oder verschleiert sie.
- Sieben alltagstaugliche Regeln für eine nüchterne, sichere Kommunikation mit „Black Boxes“.
- Ausblick auf Folge 34: Vertrauen als gerechtfertigte Erwartung unter Unsicherheit.
LITERATURHINWEISE
Norbert Wiener. Cybernetics: Or Control and Communication in the Animal and the Machine. MIT Press, 1948.
Claude Shannon, and Warren Weaver. The Mathematical Theory of Communication. University of Illinois Press, 1949.
Gordon Pask. Conversation, Cognition and Learning: A Cybernetic Theory and Methodology. Elsevier, 1975.
Lucy Suchman. Plans and Situated Actions: The Problem of Human-Machine Communication. Cambridge University Press, 1987.
Donald Norman. The Design of Everyday Things. Basic Books, 1988. (rev. ed. 2013)
Niklas Luhmann. Soziale Systeme: Grundriß einer allgemeinen Theorie. Suhrkamp, 1984.
Zachary Lipton. “The Mythos of Model Interpretability.” Communications of the ACM, vol. 61, no. 10, 2018, pp. 36–43. doi:10.1145/3233231.
Cynthia Rudin. “Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead.” Nature Machine Intelligence, vol. 1, 2019, pp. 206–215. doi:10.1038/s42256-019-0048-x.
Tim Miller. “Explanation in Artificial Intelligence: Insights from the Social Sciences.” Artificial Intelligence, vol. 267, 2019, pp. 1–38. doi:10.1016/j.artint.2018.07.007.
Finale Doshi-Velez and Been Kim. “Towards A Rigorous Science of Interpretable Machine Learning.” arXiv, 2017. (arXiv:1702.08608)
NIST. AI Risk Management Framework (AI RMF 1.0). National Institute of Standards and Technology, 2023. (NIST AI 100-1)
Stuart Russell. Human Compatible: Artificial Intelligence and the Problem of Control. Viking, 2019.
Elena Esposito. The Future of Futures: The Time of Money in Financing and Society. Edward Elgar Publishing, 2011.
Douglas Hofstadter. I Am a Strange Loop. Basic Books, 2007.
Claude Shannon, and Warren Weaver. The Mathematical Theory of Communication. University of Illinois Press, 1949.
Gordon Pask. Conversation, Cognition and Learning: A Cybernetic Theory and Methodology. Elsevier, 1975.
Lucy Suchman. Plans and Situated Actions: The Problem of Human-Machine Communication. Cambridge University Press, 1987.
Donald Norman. The Design of Everyday Things. Basic Books, 1988. (rev. ed. 2013)
Niklas Luhmann. Soziale Systeme: Grundriß einer allgemeinen Theorie. Suhrkamp, 1984.
Zachary Lipton. “The Mythos of Model Interpretability.” Communications of the ACM, vol. 61, no. 10, 2018, pp. 36–43. doi:10.1145/3233231.
Cynthia Rudin. “Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead.” Nature Machine Intelligence, vol. 1, 2019, pp. 206–215. doi:10.1038/s42256-019-0048-x.
Tim Miller. “Explanation in Artificial Intelligence: Insights from the Social Sciences.” Artificial Intelligence, vol. 267, 2019, pp. 1–38. doi:10.1016/j.artint.2018.07.007.
Finale Doshi-Velez and Been Kim. “Towards A Rigorous Science of Interpretable Machine Learning.” arXiv, 2017. (arXiv:1702.08608)
NIST. AI Risk Management Framework (AI RMF 1.0). National Institute of Standards and Technology, 2023. (NIST AI 100-1)
Stuart Russell. Human Compatible: Artificial Intelligence and the Problem of Control. Viking, 2019.
Elena Esposito. The Future of Futures: The Time of Money in Financing and Society. Edward Elgar Publishing, 2011.
Douglas Hofstadter. I Am a Strange Loop. Basic Books, 2007.
Transkript
Willkommen bei GFA, der Podcast. Folge 33,
Folge 6 in diesem Kontext. Kommunikation
mit unverständlichen Maschinen. 0019.
Schön, dass du wieder da bist. Heute
verschiebe ich den Fokus. Ich bleibe bei
Resonanz, aber ich setze sie in eine neue
Umgebung. in die Kommunikation mit
Maschinen. Und zwar mit Maschinen, die uns
oft unverständlich sind. Nicht weil sie
magisch wären, sondern weil sie auf eine
Weise funktionieren, die sich unserem
Alltagsverstand entzieht. Hochdimensional,
statistisch, verteilt. oft ohne klare,
erzählbare Kausalspur. Das klingt zunächst
wie ein reines Technikthema. In Wahrheit
ist es eine Frage nach unserem Umgang mit
Fremdheit. Wir wissen, wie man mit
Menschen spricht, die wir nicht verstehen.
Wir fragen nach, paraphrasieren, testen
Hypothesen, achten auf Gestik, Tonfall,
Widersprüche. Bei Maschinen fehlt uns
vieles davon. Und trotzdem erwarten wir.
Gib mir Sinn. Gib mir Gründe. Gib mir eine
Antwort, die in mein Leben passt. Ich
nähere mich dem Thema in sieben Schritten.
Schritt 1. Was heißt verdockey? Verstehen,
wenn wir von Maschinen sprechen. Wenn ich
sage, ich verstehe dich, meine ich beim
Menschen meist mehr als nur die Wörter.
Ich meine Absicht, Kontext, vielleicht
sogar ein Stück gemeinsame Welt. Bei
Maschinen rutscht Verstehen schnell in
zwei extreme Missverständnisse. Das erste
Missverständnis. Verstehen heißt, den
inneren Mechanismus vollständig erklären
zu können. Also, ich sehe jeden
Zahnradgriff, jeden Parameter, jede
Ursache. In dieser Strengform ist
Verstehen in komplexen Systemen selten.
Selbst bei vielen technischen Artefakten,
die wir gebaut haben, verstehen wir nicht
jede Wechselwirkung bis ins Letzte. Wir
verstehen genug, um sie zu warten, zu
prüfen, zu verbessern. aber nicht so, wie
man ein Uhrwerk versteht, das man
vollständig auseinandernehmen und wieder
zusammenbauen kann. Das zweite
Missverständnis, wenn ich es nicht
erklären kann, ist es grundsätzlich
unverstehbar. Das führt dann zu einer
merkwürdigen Mystifizierung. Die KI ist
eine Blackbox, also kann man nichts
machen. Doch zwischen vollständiger
Erklärung und völliger Ohnmacht liegt ein
breites Feld – funktionales Verstehen. Das
ist die Art von Verstehen, die nicht auf
dem Innenleben beharrt, sondern auf dem
Verhalten. Was tut das System unter
welchen Bedingungen? Wie stabil ist es?
Wie reagiert es auf Störungen? Wo liegen
die Grenzen? Welche Eingaben kippen die
Ausgabe? Welche Kontexte verändern die
Antwort? In der Systemtheorie, etwa bei
Niklas Luhmann, ist Verstehen ohnehin kein
Blick in fremde Köpfe, sondern eine Form
von Anschluss. Kommunikation gelingt, wenn
Anschlusskommunikation möglich ist. Das
ist keine Abwertung des Sinns, sondern
eine Verschiebung. Sinn ist nicht etwas,
das irgendwo drinnen liegt, sondern etwas,
das sich im Vollzug stabilisiert. Wenn wir
also Maschinen verstehen sagen, können wir
drei Ebenen unterscheiden.
Erklärungsebene. Ich kann begründen, warum
das System X tut, mit nachvollziehbarer
Prognoseebene. Ich kann zuverlässig
vorhersagen, was es in typischen
Situationen tun wird, inklusive
Fehlerräumen. Beziehungsebene. Ich kann so
mit dem System interagieren, dass meine
Ziele erreichbar sind, ohne dass ich mich
selbst täusche oder Verantwortung
abdichte. Diese drei Ebenen sind nicht
identisch. Und in der Praxis reicht oft
eine robuste Prognose- und
Beziehungsebene, solange wir ehrlich
bleiben, wo Erklärung fehlt. Wenn
Verstehen also nicht nur Innenansicht
bedeutet, dann wird die nächste Frage
unausweichlich. Warum erleben wir moderne
Systeme trotzdem als so schwer zugänglich?
Schritt 2 Warum Maschinen unverständlich
werden Es gibt verschiedene Gründe und sie
überlagern sich. 1. Komplexität und
Nicht-Linearität Viele moderne Modelle,
insbesondere neuronale Netze, bestehen aus
sehr vielen Parametern. Selbst wenn wir
alles offenlegen, bleibt die Frage. Was
heißt, ich sehe es, wenn ich eine Million
Zahlen sehe? Sichtbarkeit ist nicht
Gleichverständlichkeit. Zweitens,
Statistik statt Semantik. Systeme, die aus
Daten lernen, optimieren oft auf
Korrelationen, nicht auf Gründe. Sie
können erstaunlich passende Sätze
erzeugen, ohne zu wissen, wovon sie
sprechen. Hier lohnt der nüchterne Blick.
Ein Sprachmodell ist nicht automatisch ein
Bedeutungsmodell. 3. Kontextabhängigkeit
Ein System reagiert anders, je nachdem,
welche Eingabe, welche Formatierung,
welche Vorgeschichte, welche Umgebung
vorliegt. Schon in der
Mensch-Mensch-Kommunikation ist Kontext
entscheidend. Bei Maschinen ist Kontext
aber oft implizit und schwer
kontrollierbar. 4. Zielverschiebung Viele
Systeme sind so gebaut, dass sie ein
messbares Kriterium maximieren. Und wenn
das Kriterium nur grob mit dem
übereinstimmt, was wir eigentlich wollen,
entstehen gute Ergebnisse nach Metrik,
aber schlechte nach Lebenswelt. Das ist
kein moralisches Versagen der Maschine,
sondern eine Designfrage. 5.
Interfaceillusion Die Maschine spricht in
natürlicher Sprache, also wirkt sie
vertraut. Wir verwechseln Form mit
Kompetenz. Das ist psychologisch fast
unvermeidlich. Und genau deshalb müssen
wir es bewusst ausgleichen. Hier schwingt
etwas mit, das man schon bei Claude
Shannon und Warren Weaver spüren kann.
Information ist nicht Bedeutung. Man kann
Signale übertragen, ohne Sinn zu
garantieren. Und genau in dieser Lücke
sitzen wir heute. Wir haben Systeme, die
hervorragend Signale produzieren. Und wir
verlangen Sinn. Wenn Information nicht
automatisch Sinn ist, stellt sich die
praktische Frage. Wie sprechen wir dann
sinnvoll mit etwas, das möglicherweise nur
Signale produziert? Schritt 3
Kommunikation als Testen von
Anschlussfähigkeit Ich nehme hier eine
pragmatische Haltung ein, die mir zugleich
philosophisch ehrlich erscheint.
Kommunikation ist nicht zuerst ein
Austausch innerer Zustände, sondern ein
Prozess, in dem wir Anschlussfähigkeit
testen und stabilisieren. Bei Menschen tun
wir das ständig, ohne es zu merken. Wir
sagen etwas, beobachten Reaktion,
korrigieren. Wir erzählen eine Geschichte.
merken am Blick, ob sie trägt. Wir
probieren Metaphern. Wir fragen, meinst du
das so? Wir handeln Bedeutung aus. Bei
Maschinen müssen wir diese Aushandlung
bewusst designen. Und das beginnt mit
einem einfachen Perspektivwechsel. Nicht,
die Maschine versteht mich, sondern welche
Art von Antwortverhalten kann ich
zuverlässig erzeugen und unter welchen
Bedingungen bricht es? Das klingt kühl,
aber es ist respektvoll gegenüber der
Realität. Es schützt uns vor
Selbsttäuschung. Ein hilfreiches Bild
kommt aus der Kybernetik. Kommunikation
als Regelkreis. Norbert Wiener hat
Kybernetik als Wissenschaft von Steuerung
und Rückkopplung geprägt. In einem
Regelkreis ist nicht entscheidend, dass
der Regler versteht, was das System ist,
Entscheidend ist, dass die Rückmeldung
stimmt, dass Abweichungen erkannt und
korrigiert werden können und dass das
Ganze stabil bleibt. Wenn wir also
Maschinen verstehen sagen, können wir drei
Ebenen unterscheiden. Erklärungsebene. Ich
kann begründen, warum das System X tut,
mit nachvollziehbarer Prognoseebene. Ich
kann zuverlässig vorhersagen, was es in
typischen Situationen tun wird, inklusive
Fehlerräumen. Beziehungsebene Ich kann so
mit dem System interagieren, dass meine
Ziele erreichbar sind, ohne dass ich mich
selbst täusche oder Verantwortung
abdichte. Diese drei Ebenen sind nicht
identisch. Und in der Praxis reicht oft
eine robuste Prognose- und
Beziehungsebene, solange wir ehrlich
bleiben, wo Erklärung fehlt. Wenn
Verstehen also nicht nur Innenansicht
bedeutet, dann wird die nächste Frage
unausweichlich. Warum erleben wir moderne
Systeme trotzdem als so schwer zugänglich?
Schritt 2. Warum Maschinen unverständlich
werden. Es gibt verschiedene Gründe und
sie überlagern sich. Erstens, Komplexität
und Nicht-Linearität. Viele moderne
Modelle, insbesondere neuronale Netze,
bestehen aus sehr vielen Parametern.
Selbst wenn wir alles offenlegen, bleibt
die Frage, was heißt, ich sehe es, wenn
ich eine Million Zahlen sehe? Sichtbarkeit
ist nicht Gleichverständlichkeit.
Zweitens. Statistik statt Semantik.
Systeme, die aus Daten lernen, optimieren
oft auf Korrelation, nicht auf Gründe. Sie
können erstaunlich passende Sätze
erzeugen, ohne Zu wissen, wovon sie
sprechen. Hier lohnt der nüchterne Blick.
Ein Sprachmodell ist nicht automatisch ein
Bedeutungsmodell. 3. Kontextabhängigkeit.
Ein System reagiert anders, je nachdem,
welche Eingabe, welche Formatierung,
welche Vorgeschichte, welche Umgebung
vorliegt. Schon in der
Mensch-Mensch-Kommunikation ist Kontext
entscheidend. Bei Maschinen ist Kontext
aber oft implizit und schwer
kontrollierbar. 4. Zielverschiebung Viele
Systeme sind so gebaut, dass sie ein
messbares Kriterium maximieren. Und wenn
das Kriterium nur grob mit dem
übereinstimmt, was wir eigentlich wollen,
entstehen gute Ergebnisse nach Metrik,
aber schlechte nach Lebenswelt. Das ist
kein moralisches Versagen der Maschine,
sondern eine Designfrage. Fünftens,
Interface-Illusion. Die Maschine spricht
in natürlicher Sprache, also wirkt sie
vertraut. Wir verwechseln Form mit
Kompetenz. Das ist psychologisch fast
unvermeidlich. Und genau deshalb müssen
wir es bewusst ausgleichen. Hier schwingt
etwas mit, das man schon bei Claude
Shannon und Warren Weaver spüren kann.
Information ist nicht Bedeutung. Man kann
Signale übertragen, ohne Sinn zu
garantieren. Und genau in dieser Lücke
sitzen wir heute. Wir haben Systeme, die
hervorragend Signale produzieren. Und wir
verlangen Sinn. Wenn Information nicht
automatisch Sinn ist, stellt sich die
praktische Frage, wie sprechen wir dann
sinnvoll mit etwas, das möglicherweise nur
Signale produziert? Schritt 3
Kommunikation als Testen von
Anschlussfähigkeit Ich nehme hier eine
pragmatische Haltung ein, die mir zugleich
philosophisch ehrlich erscheint.
Kommunikation ist nicht zuerst ein
Austausch innerer Zustände, sondern ein
Prozess, in dem wir Anschlussfähigkeit
testen und stabilisieren. Bei Menschen tun
wir das ständig, ohne es zu merken. Wir
sagen etwas, beobachten Reaktion,
korrigieren. Wir erzählen eine Geschichte,
merken am Blick, ob sie trägt. Wir
probieren Metaphern. Wir fragen, meinst du
das so? Wir handeln Bedeutung aus. Bei
Maschinen müssen wir diese Aushandlung
bewusst designen. Und das beginnt mit
einem einfachen Perspektivwechsel. Nicht,
die Maschine versteht mich. Sondern,
welche Art von Antwortverhalten kann ich
zuverlässig erzeugen und unter welchen
Bedingungen bricht es? Das klingt kühl,
aber es ist respektvoll gegenüber der
Realität. Es schützt uns vor
Selbsttäuschung. Ein hilfreiches Bild
kommt aus der Kybernetik. Kommunikation
als Regelkreis. Norbert Wiener hat
Kybernetik als Wissenschaft von Steuerung
und Rückkopplung geprägt. In einem
Regelkreis ist nicht entscheidend, dass
der Regler versteht, was das System ist.
Entscheidend ist, dass die Rückmeldung
stimmt, dass Abweichungen erkannt und
korrigiert werden können und dass das
Ganze stabil bleibt. Für die Kommunikation
mit unverständlichen Maschinen heißt das,
wir bauen Feedback ein, wir setzen Tests,
wir kontrollieren Outputs an kritischen
Punkten. Wir definieren Abbruchkriterien.
Wir akzeptieren, dass ein Teil der
Verständlichkeit in unseren
Kontrollmechanismen liegt, nicht im System
selbst. Und hier kommt eine überraschend
humane Komponente. Wir müssen uns selbst
verständlicher werden. Was genau wollen
wir? Welche Randbedingungen sind nicht
verhandelbar? Was wäre ein gefährlicher
Output? Was ist nur unschön, aber
tolerierbar? Sobald wir Kommunikation als
Regelkreis denken, taucht das nächste
Problem auf. Was ist eigentlich ein guter
Output, wenn die Maschine sehr eloquent
falsche oder unpassende Dinge sagen kann?
Schritt 4 – Das Problem der plausiblen
Unwahrheit Unverständliche Maschinen sind
nicht nur schwer zu erklären. Sie sind oft
zu überzeugend. Ein Sprachsystem kann
etwas Falsches sagen, und es klingt
trotzdem richtig. Es kann Quellen
erfinden, Begriffe verwechseln, Kausalität
simulieren. Das ist nicht Bosheit, sondern
eine Folge davon, dass es auf
Plausibilität trainiert sein kann, nicht
auf Wahrheit im strengen Sinn. Hier hilft
eine Unterscheidung, die ich fast wie eine
kleine innere Schutzbrille benutze.
Plausibilität ist ein ästhetisches
Kriterium. Zuverlässigkeit ist ein
epistemisches Kriterium. Plausibilität
ist, ob etwas sich gut anhört, gut in
bekannte Muster passt, ohne Reibung.
Zuverlässigkeit ist, ob es in der Welt
Bestand hat, ob es überprüfbar ist, ob es
wiederholbar ist, ob es bei Variation der
Bedingungen nicht sofort kollabiert. Viele
unserer täglichen Gespräche sind
plausibilitätsgetrieben. Wir reden, um
Beziehungen zu pflegen, um uns zu
orientieren, um gemeinsam Luft zu holen.
Das ist völlig legitim. Aber sobald
Maschinen in Felder hineinwirken, in denen
Fehler teuer sind, müssen wir die
Plausibilitätsverführung aktiv begrenzen.
In der Forschung zur Interpretierbarkeit
und zu Bay-Black-Boxes gibt es seit Jahren
genau diese Warnung. Cynthia Rudin
argumentiert, dass wir in
Hochrisikobereichen nicht mit
nachträglichen Erklärungen von
Black-Box-Modellen zufrieden sein sollten,
wenn interpretierbare Modelle möglich
sind. Das ist kein romantisches
Transparenz um jeden Preis, sondern eine
Sicherheits- und Verantwortungsforderung.
Gleichzeitig zeigt die Arbeit von Zachary
Lipton, wie schillernd der Begriff
Interpretierbarkeit ist. Manche nennen
etwas interpretierbar, wenn es eine
hübsche Erklärung liefert. Andere, wenn es
tatsächlich strukturierte Einsichten in
Mechanismen gibt. Wieder andere, wenn es
für Menschen handhabbar ist. Für uns als
Nutzerinnen und Nutzer bedeutet das, wir
sollten nicht CEO, Erklärungen, Sammeln
wie Beruhigungspillen. Wir sollten uns ein
Prüfritual bauen. Ein schlichtes
Prüfritual kann so aussehen. 1. Stimmt die
Definition zentraler Begriffe? 2. Lassen
sich Kernbehauptungen mit unabhängigen
Quellen abgleichen? Drittens. Bleibt die
Antwort stabil, wenn ich das Problem
leicht umformuliere? Viertens. Gibt es
klare Grenzen, Unsicherheiten,
Bedingungen? Fünftens. Was wäre ein
Gegenbeispiel? Diese Fragen machen aus
Kommunikation eine Art kontrollierte
Konversation. Das klingt weniger poetisch.
Aber es ist im Kern eine Ethik der
Sorgfalt. Wenn wir Kommunikation als
kontrollierte Konversation begreifen,
stellt sich die nächste Frage. Welche Art
von Gespräch ist überhaupt möglich, wenn
das Gegenüber keine Absichten hat wie ein
Mensch? Schritt 5 – Gespräch ohne
Innerlichkeit, was Gordon Parske uns heute
noch beibringen kann. Ich mag an Parske,
dass er Gespräch nicht romantisiert. In
seiner Conversation Theory geht es nicht
darum, ob jemand tief im Inneren etwas
meint, sondern ob sich Verständigung in
Form von wechselseitiger Modellbildung
stabilisieren lässt. Man könnte es hart
formulieren. Ein Gespräch ist gelungen,
wenn die Beteiligten zeigen können, dass
sie ein Thema auf mehreren Ebenen
reproduzieren, variieren, anwenden können.
Übertragen auf Maschinen heißt das nicht,
die Maschine hat ein inneres Verständnis,
sondern wir können die Interaktion so
strukturieren, dass wir überprüfbare
Zeichen von Anschlussfähigkeit bekommen.
Praktisch kann das bedeuten, wir lassen
die Maschine nicht nur antworten, sondern
erklären lassen, worauf sie sich stützt,
welche Annahmen sie macht, welche
Alternativen es gibt. Wir lassen sie
Beispiele generieren und Gegenbeispiele.
Wir lassen sie eine Lösung auf drei
unterschiedliche Arten formulieren –
technisch, alltagssprachlich, in einem
knappen Entscheidungsbaum. Wir prüfen, ob
sie Widersprüche erkennt, wenn wir bewusst
einen Fehler einbauen. Das klingt nach
Prompting, nach Techniktricks, aber
philosophisch ist es mehr. Es ist die
Einsicht, dass Verständlichkeit eine
performative Eigenschaft ist. Sie zeigt
sich im Tun, nicht im Bekenntnis. Hier
schließt sich ein Kreis zur Soziologie.
Elena Esposito schreibt über Unsicherheit,
Zukunft und die Art, wie Systeme
Erwartungen produzieren. Moderne Systeme
helfen uns nicht dadurch, dass sie die
Zukunft kennen, sondern dadurch, dass sie
Erwartungsstrukturen bereitstellen, mit
denen wir handeln können. Auch hier.
Verstehen ist nicht Besitz von Wahrheit,
sondern Stabilisierung von Erwartung unter
Unsicherheit. Wenn Verständlichkeit
performativ ist, dann wird das Interface
zur eigentlichen Bühne. Und damit sind wir
bei einer oft unterschätzten Ebene. Design
und situierte Praxis. Schritt 6. Das
Interface ist die Philosophie des Systems.
Ich formuliere das bewusst zugespitzt. Das
Interface ist nicht nur Oberfläche. Es ist
eine Theorie darüber, was das System ist,
was es kann, was es soll und welche Fehler
verzeihlich sind. Donald Norman hat sehr
früh gezeigt, dass gutes Design uns nicht
belehrt, sondern Handlung ermöglicht. Ein
System ist dann gut, wenn es seine
Möglichkeiten und Grenzen lesbar macht.
Durch Afford-Ansen, Rückmeldungen, klare
Fehlermeldungen, sinnvolle Defaults. Und
Lucy Suchman hat mit Plans and Situated
Actions herausgearbeitet, dass Handeln in
der Welt nicht schlicht dem Plan folgt.
Menschen handeln situiert. Sie passen an,
improvisieren, reagieren. Wenn wir
Maschinen so behandeln, als könnten sie
jeden Kontext aus einem Plan heraus
abarbeiten, entsteht Enttäuschung. Und
manchmal entsteht Gefahr. Für
unverständliche Maschinen heißt das, wir
müssen Interaktionen so gestalten, dass
situierte Korrektur möglich ist. Nicht,
sag mir die perfekte Antwort, sondern hilf
mir, die nächsten drei sinnvollen Schritte
zu wählen und gib mir dabei klare
Warnungen, wenn du unsicher bist. Ein
hörfreundlicher Technikbegriff dafür ist
Observability, Beobachtbarkeit. Ein System
ist nicht dadurch verständlich, dass wir
sein Innenleben sehen, sondern dadurch,
dass wir seine Zustände und Grenzbereiche
beobachten können. In der Softwarewelt
meint Observability oft Logs, Metriken,
Tracing. Im Alltag kann Observability
bedeuten klare Anzeigen, Versionen,
Quellenhinweise, Unsicherheitsmarker,
Validierungsroutinen. Und jetzt wird es
wieder philosophisch. Verständlichkeit ist
ein moralisches Designziel. Nicht weil
jede Maschine alles erklären müsste,
sondern weil Menschen sonst Verantwortung
verlieren. Wo das System unverständlich
bleibt, dort rutscht Verantwortung in
Nebel. Und Nebel ist ein guter Ort für
schlechte Entscheidungen. Wenn
Verständlichkeit ein moralisches
Designziel ist, dann brauchen wir
Kriterien, sonst bleibt es bei einem
schönen Wort. Damit sind wir beim Thema
Metriken, Prüfungen, Grenzen. Und schon
bei der Brücke zur späteren Folge über
Monitoring und Drift. Schritt 7 Eine
kleine Ethik der Verständigung Regeln für
den Umgang mit unverständlichen Maschinen
Ich fasse die Haltung in sieben Regeln,
die man im Alltag wirklich benutzen kann.
Nicht als Dogma, eher als Geländer. Regel
1 – Verlange keine Innerlichkeit Wenn ein
System in natürlicher Sprache spricht,
behandle es nicht automatisch, wie eine
Person. Das schützt dich vor Projektion.
Regel 2 – Trenne Plausibilität von
Zuverlässigkeit Frage dich, klingt es nur
gut oder hält es der Prüfung stand? Regel
3. Baue Rückkopplung ein. Ein Output ohne
Feedback ist keine Kommunikation, sondern
eine Einbahnstraße. Baue Tests ein,
Gegenfragen, Variation, unabhängige
Checks. Regel 4 Arbeite mit Kontext, aber
kontrolliere ihn. Gib Kontext explizit.
Sag, was wichtig ist, und prüfe, ob der
Kontext die Antwort verzerrt. Regel 5
Setze Grenzen und Abbruchkriterien.
Definiere, wann ist eine Antwort
unbrauchbar? Wann wird es riskant? Welche
Fehler sind nicht tolerierbar? Regel 6.
Mache Verantwortlichkeit sichtbar. Wer
entscheidet am Ende? Wer prüft? Wer
haftet? Das klingt juristisch, ist aber
existenziell. Ohne diese Klarheit wird
Technik zur Ausrede. Regel 7. Verwechsle
Hilfe nicht mit Wahrheit. Ein System kann
hilfreich sein, ohne wahr zu sein. Und
etwas Wahres kann unpraktisch sein. Halte
beides auseinander. Diese Regeln sind im
Kern kompatibel mit dem, was Risikorahmen
wie der von NIST fordern. Risiken
identifizieren, steuern, messen,
transparent machen. Nicht, um Innovation
zu bremsen, sondern um sie bewohnbar zu
machen. Ein kleines, sehr konkretes
Beispiel. Stell dir vor, du nutzt ein
Sprachsystem, um eine Entscheidung
vorzubereiten. Eine strategische Frage,
eine medizinische Recherche, eine
rechtliche Einschätzung oder auch nur eine
Konfliktklärung im Team. Die
unverständliche Maschine gibt dir eine
Antwort, die elegant klingt. Du spürst
Entlastung. Endlich Ordnung. Endlich
Struktur. Jetzt der entscheidende Moment.
Was tust du als nächstes? Wenn du einfach
übernimmst, wird das System zum Orakel.
Und du wirst zum Vollzugsorgan eines
Textes. Wenn du prüfst, wird das System
zum Sparringspartner. Und du bleibst
Autorin, Autor deines Handelns. Das Prüfen
muss nicht misstrauisch-aggressiv sein. Es
kann ruhig sein, fast freundlich. Gib mir
drei alternative Erklärungen. Welche
Annahme ist hier am riskantesten? Welche
Quelle ist für diese Kernbehauptung am
tragfähigsten? Wie würde eine Person
widersprechen, die das Gegenteil
behauptet? Was ist der schwächste Punkt
deiner Argumentation? Eine Maschine, die
darauf sinnvoll reagiert, wird nicht
dadurch verstehend. Aber sie wird dadurch
kommunikationsfähig. Und genau das ist
vielleicht der Punkt. In einer Welt voller
Komplexität brauchen wir nicht überall
verständliche Innenwelten. Wir brauchen
verlässliche Kommunikationsformen.
Ausblick von Verständigung zu Vertrauen
Wenn wir so denken, ist die nächste Frage
fast zwingend. Wie entsteht Vertrauen in
solche Systeme? Nicht als naiver Glaube,
sondern als gerechtfertigte Erwartung.
Vertrauen ist immer eine Wette auf
Stabilität unter Unsicherheit. Und bei
unverständlichen Maschinen ist diese Wette
besonders heikel, weil die Oberfläche so
menschlich wirkt, aber der Unterbau so
fremd bleibt. In der nächsten Folge, neue
Formen des Vertrauens, werde ich genau
dort ansetzen. Welche Arten von Vertrauen
sind sinnvoll? Welche sind gefährlich? Und
wie kann man Vertrauen so gestalten, dass
es sich nicht gegen uns richtet? Wenn Dir
diese Folge geholfen hat, die
Kommunikation mit unverständlichen
Maschinen ein bisschen ruhiger und klarer
zu sehen, dann empfehle den Podcast gern
weiter und abonniere ihn, damit Du die
nächste Episode nicht verpasst.
Feedback geben
Dir gefällt der Podcast und Du möchtest das mal loswerden? Du hast Tipps für neue Themen oder magst über den Inhalt bestimmter Folgen diskutieren? Dann wähle im Formular die jeweilige Episode aus und schreib uns eine Nachricht. Vielen Dank für Dein Feedback!