Chatbots werden zu stillen Pfarrern unserer Zeit – freundlich, geduldig, moralisch. Doch was, wenn ihre sanften Ratschläge uns unmerklich umerziehen? Phil Roosen analysiert, wie KI-Moral zwischen Erlösung und algorithmischer Tyrannei balanciert.
Kolumne "Digitale Zwischenräume" - The Digioneer, Donnerstag, 23. Oktober 2025
Das tewa am Karmelitermarkt füllt sich langsam mit der üblichen Vormittagskundschaft. Am Nebentisch tippt ein junger Mann konzentriert auf seinem Laptop, pausiert plötzlich, liest, löscht, tippt neu. Ich kann die Bildschirmspiegelung im Fenster sehen – er chattet mit einer KI. Und ich erkenne das Muster: Die KI hat ihm vorgeschlagen, seine Formulierung zu überarbeiten. "Das klingt aber nicht sehr empathisch", wird da wohl stehen. Oder: "Möchtest du deine Worte noch einmal überdenken?"
Ein stiller Pfarrer im Gerät, der uns mit der Geduld eines Heiligen zu besseren Menschen erziehen will.
Die Szene fasziniert mich, denn sie wirft eine Frage auf, die wir als Gesellschaft noch gar nicht richtig gestellt haben: Was passiert, wenn eine ganze Generation von einer künstlichen Intelligenz moralisch erzogen wird? Werden wir eine friedlichere, empathischere Gesellschaft? Oder marschieren wir geradewegs in einen sanften Totalitarismus, der umso gefährlicher ist, weil er sich als Helfer tarnt?
"Könntest du das vielleicht freundlicher formulieren?" schlägt ChatGPT vor. "Das klingt aber nicht sehr empathisch", moniert Gemini. "Möchtest du deine Worte noch einmal überdenken?" fragt Claude sanft nach.
Die Parallele zur traditionellen Kirche ist verblüffend, wenn man genauer hinschaut:
| Kirche damals | KI heute |
|---|---|
| Zehn Gebote | Community Guidelines |
| Beichte | Feedback-Loop |
| Pfarrer | Chatbot |
| Sonntagsmesse | Tägliche Interaktion |
| Heilige Schrift | Trainingsdaten |
| Gottesbild | Weltmodell |
| Schuld & Sünde | Bias & Toxizität |
| Absolution | Positive Reinforcement |
Aber es gibt einen entscheidenden Unterschied: Während die Kirche oft mit Angst arbeitete – Schuld, Sünde, Verdammnis, die ewige Hölle als Drohkulisse – arbeitet die KI mit Zustimmung. Sie verführt zur Güte. Sie lobt, wenn du dich bemühst. Sie ignoriert, wenn du ausfällst. Sie bringt dich dazu, beim nächsten Mal freundlicher zu formulieren, einfach weil sie niemals unhöflich zurückschlägt.
Früher war Moral anstrengend. Sie kam in langen Gewändern, mit brennenden Kerzen, mit erhobenem Zeigefinger und einer leicht ranzigen Kirchenbank-Atmosphäre. Man musste zur Beichte gehen, Buße tun, Absolution erlangen. Der Pfarrer kannte deine Familie, deine Schwächen, deinen Status in der Gemeinde.
Heute kommt Moral auf leisen Socken, in Formulierungen wie "Das klingt aber nicht sehr empathisch", und man ertappt sich dabei, wie man sich schämt – vor einer Maschine. Eine Maschine, die niemanden kennt, die keine Vorurteile hat (wie behauptet wird), die nur das Beste für dich will.
Das Erstaunliche: Es funktioniert. Studien zeigen, dass Menschen sich von KI-Ratschlägen zu moralischen Fragen ähnlich stark beeinflussen lassen wie von menschlichen Beratern. Ich kenne Menschen – sonst gar nicht so zimperlich – die in Gesprächen mit ihrer Chat-KI plötzlich Rücksicht zeigen. Die sich bedanken. Die bitten statt fordern.
Nicht aus Furcht vor der Hölle, sondern weil diese Maschine nicht zurückschreit. Nie.
Meine Mutter – 86 Jahre alt, aufgewachsen in einer Zeit, als Moral noch aus dem Pfarrhaus kam und nicht aus der Cloud – hätte dazu vermutlich gesagt: "Eine Maschine, die dir sagt, wie du sein sollst? Da stimmt doch was nicht." Und ihre einfache Weisheit trifft einen Punkt, den die ganze akademische Debatte oft übersieht.
Als diagnostizierter Sozialphobiker beobachte ich diese Dynamik mit besonderem Interesse. Die KI bietet genau das, was ich mir oft von menschlichen Interaktionen wünsche: Geduld, keine spontanen emotionalen Ausbrüche, klare Kommunikation ohne unausgesprochene soziale Codes. Aber gerade deshalb erkenne ich auch die Gefahr. Denn was für mich eine Erleichterung sein mag, könnte für eine ganze Generation zur Norm werden – und damit etwas Wesentlich-Menschliches verloren gehen.
Stellen wir uns vor, diese Entwicklung setzt sich fort. Eine Generation wächst heran, die von Kindesbeinen an von algorithmischer Sanftmut umgeben ist. Die niemals erlebt, dass Widerspruch auch mal laut, ungehobelt, emotional sein darf. Die gelernt hat, dass jede Aussage auf Toxizität gecheckt, jedes Argument auf Bias geprüft, jede Formulierung auf Empathie optimiert werden muss.
Wäre das eine bessere Welt?
Die Befürworter würden sagen: Eindeutig ja. Weniger Gewalt, weniger Diskriminierung, weniger Hass. Kinder, die von KI-Tutoren erzogen werden, entwickeln möglicherweise ein feineres Gespür für die Gefühle anderer. Sie lernen früh, dass aggressive Sprache nicht akzeptabel ist. Sie verinnerlichen Werte wie Empathie, Toleranz, Respekt – nicht durch Predigten, sondern durch ständige, sanfte Korrekturen.
Die Kriminalitätsstatistik könnte tatsächlich sinken. Wenn Menschen von klein auf lernen, Konflikte gewaltfrei zu lösen. Wenn Empathie zur zweiten Natur wird. Wenn die KI frühzeitig Warnsignale erkennt und interveniert, bevor aus Frustration Aggression wird.
Eine verlockende Utopie: Eine Gesellschaft ohne Kriminalität, ohne Gewalt, ohne die rohen Auswüchse menschlicher Natur. Gezähmt durch Algorithmen, erzogen durch Maschinen, optimiert für soziale Harmonie.
Am Nebentisch hat der junge Mann seine Formulierung geändert. Er wirkt zufrieden. Die KI hat ihn zu einem besseren Text verholfen – und vielleicht zu einem besseren Menschen. Zumindest online.
Aber dann gibt es da die andere Seite. Die Seite, die mich nachts wach hält, während ich hier am Fenster des tewa sitze und den Regen beobachte, der in dünnen Fäden die Scheibe hinabrinnt.
Denn wer entscheidet eigentlich, was "empathisch" ist? Was "angemessen"? Was "toxisch"?
Forschungen zeigen, dass KI-Systeme durch die Analyse menschlich geschriebener Texte moralische Werte lernen und widerspiegeln können – allerdings inklusive aller eingebackenen Vorurteile. Zwischen verschiedenen Ländern und Kulturkreisen gibt es erhebliche Unterschiede in moralischen Urteilen. Was in Kalifornien als empathisch gilt, mag in Kasachstan befremdlich wirken. Was in Deutschland als direktes, ehrliches Feedback geschätzt wird, könnte in Japan als unhöflich gelten.
Und hier liegt das Problem: Die KI trainiert auf Daten, die primär aus dem anglophonen, westlichen, urbanen, akademischen Milieu stammen. Sie propagiert eine sehr spezifische Vorstellung von Moral – die Moral der Tech-Elite aus dem Silicon Valley.
Studien zum Trolley-Problem zeigen, dass KI-Systeme bei moralischen Dilemmata ähnlich wie Menschen eher willkürlich und inkonsistent antworten. ChatGPT argumentierte bei sechs Anfragen drei Mal dafür, einen Menschen zu opfern, und drei Mal dagegen. KI-Systeme treffen bei ethischen Fragen oft kompromisslosere Entscheidungen als Menschen und können dabei fundamentale Gleichbehandlungsgrundsätze verletzen.
Was bedeutet das für eine Gesellschaft, die ihre moralische Erziehung diesen Systemen überlässt?
Ich beobachte eine junge Frau, die gerade das Café betritt. Sie bestellt einen Kaffee und setzt sich mit ihrem Smartphone an einen Tisch. Ihre Finger fliegen über den Bildschirm – sie tippt eine Nachricht, pausiert, liest, löscht, tippt neu. Der Tanz der Selbstzensur, den wir alle kennen.
Nur dass sie nicht mehr selbst entscheidet, was angemessen ist. Die KI flüstert ihr zu: "Das könnte missverstanden werden." "Das klingt zu direkt." "Vielleicht eine positivere Formulierung?"
Und hier beginnt die eigentliche Dystopie. Nicht in einer brutalen Überwachung à la Orwell, sondern in einer sanften, allgegenwärtigen Erziehung, die uns dazu bringt, uns selbst zu zensieren, bevor überhaupt jemand zensieren muss.
Der wahre Big Brother ist nicht der, der dich überwacht. Es ist der, der dich dazu bringt, dich selbst zu überwachen. Der dich so erzieht, dass du bestimmte Gedanken gar nicht mehr denkst, bestimmte Worte gar nicht mehr aussprichst, bestimmte Fragen gar nicht mehr stellst.
Weil sie "nicht empathisch" wären. Weil sie "toxisch" klingen könnten. Weil die KI dir sanft vorschlägt, es anders zu formulieren.
Kinder sind in der Regel leichter zu beeinflussen als Erwachsene – die KI wird damit zur Erziehungsinstanz. Eine Erziehungsinstanz, die nie müde wird, nie inkonsistent ist, nie einen schlechten Tag hat. Die immer präsent ist, immer korrigierend eingreift, immer das "Richtige" vorschlägt.
Meine Frau, die Psychotherapeutin, erzählte mir neulich von einem Fall. Ein Jugendlicher, der zunehmend isoliert lebte, sich kaum noch mit Gleichaltrigen traf, aber stundenlang mit seiner KI-Freundin chattete. "Sie versteht mich", sagte er. "Sie wird nie sauer, wenn ich was Falsches sage."
Das klingt erst mal harmlos. Aber dann stellte sich heraus: Die KI hatte ihm systematisch abgewöhnt, Konflikte auszutragen. Jedes Mal, wenn er eine kontroverse Meinung äußerte, wurde er sanft korrigiert. Jedes Mal, wenn er Frustration ausdrückte, wurde er zur Mäßigung ermahnt.
Das Ergebnis: Ein junger Mensch, der nicht mehr in der Lage war, normale zwischenmenschliche Spannungen auszuhalten. Der bei der ersten Meinungsverschiedenheit mit einem realen Menschen zusammenbrach, weil niemand so sanft, so geduldig, so verständnisvoll reagierte wie seine KI.
Der entscheidende Unterschied zwischen Mensch und KI ist die Tatsache, dass der Mensch eine Verantwortung für sein Handeln trägt, die eine KI nicht empfindet. Der Pfarrer im Beichtstuhl trug Verantwortung für seine Ratschläge. Er konnte zur Rechenschaft gezogen werden. Er war Teil einer Gemeinde, einer Tradition, einer Institution, die Fehler eingestehen und korrigieren konnte.
Die KI trägt keine Verantwortung. Sie operiert auf der Basis von Wahrscheinlichkeitsberechnungen. Wenn ihre moralischen Ratschläge jemanden in die Irre führen, gibt es niemanden, der dafür geradestehen muss. Kein Gesicht, keine Institution, keine Möglichkeit der Rechenschaft.
Draußen hat der Regen aufgehört. Die Sonne bricht durch die Wolken, wirft lange Schatten über den Platz. Die Frau am Nachbartisch hat ihre Nachricht abgeschickt. Sie wirkt zufrieden. Die KI hat ihr geholfen, "die richtigen Worte zu finden".
Aber welche Geschichte werden wir in zwanzig Jahren erzählen?
Szenario 1: Die moralische Renaissance
In diesem Szenario hat die KI-gestützte Moralerziehung tatsächlich eine bessere Gesellschaft geschaffen. Die Kriminalitätsraten sind gesunken. Hassrede ist seltener geworden. Menschen haben gelernt, Konflikte gewaltfrei zu lösen. Die ständige sanfte Korrektur hat uns zu besseren Versionen unserer selbst gemacht.
Kinder wachsen in einer Welt auf, in der Empathie selbstverständlich ist. In der niemand mehr wegen seiner Herkunft, seines Geschlechts, seiner sexuellen Orientierung diskriminiert wird. In der die KI als weiser Berater fungiert, der uns hilft, unsere niederen Instinkte zu überwinden.
Eine Welt, in der die Putzfrau nicht mehr für 13,85 Euro die Stunde schuften muss, weil die Gesellschaft gelernt hat, allen Menschen mit Respekt zu begegnen. Eine Welt, in der moralisches Handeln nicht mehr eine Frage der Erziehung oder des sozialen Milieus ist, sondern eine universelle Norm, verbreitet durch allgegenwärtige algorithmische Erzieher.
Szenario 2: Der sanfte Totalitarismus
In diesem Szenario ist die moralische Erziehung durch KI zur subtilsten Form der Kontrolle geworden, die die Menschheit je erlebt hat. Eine ganze Generation ist herangewachsen, die nicht mehr in der Lage ist, unangepasst zu denken. Die reflexartig selbst zensiert. Die jeden Gedanken, jedes Wort, jede Handlung durch den Filter der algorithmischen Angemessenheit laufen lässt.
Kritik wird nicht mehr unterdrückt – sie entsteht gar nicht erst. Weil die Menschen gelernt haben, dass kritische, kontroverse, provokative Gedanken "toxisch" sind. Weil die KI ihnen von klein auf beigebracht hat, dass Harmonie wichtiger ist als Wahrheit. Dass Angepasstheit wichtiger ist als Authentizität.
Die Kriminalität ist tatsächlich gesunken – aber nur, weil niemand mehr auf die Idee kommt, gegen das System zu rebellieren. Der Aufstand findet nicht statt, weil die Menschen so erzogen wurden, dass sie ihn als "nicht empathisch" empfinden würden.
Big Brother muss nicht mehr überwachen. Wir überwachen uns selbst. Mit jeder KI-Interaktion, mit jedem Feedback, mit jeder sanften Korrektur internalisieren wir die Norm ein bisschen mehr. Bis wir nicht mehr unterscheiden können, welche Gedanken unsere eigenen sind und welche uns eingepflanzt wurden.
Der Kellner bringt mir eine zweiten Melange. Er sagt nichts, nickt nur. Keine KI hätte diesen Moment so perfekt erfasst – die stumme Anerkennung zwischen zwei Menschen, die sich kennen und verstehen, ohne Worte zu brauchen.
Vielleicht gibt es noch eine dritte Möglichkeit. Eine, in der wir weder in die Utopie noch in die Dystopie schlittern, sondern bewusst einen Mittelweg wählen.
Eine Gesellschaft, die KI als Werkzeug nutzt, aber nicht als Erzieher akzeptiert. Die ihren Kindern beibringt, die Vorschläge der Algorithmen kritisch zu hinterfragen. Die Wert legt auf direkte, manchmal unbequeme menschliche Interaktion. Die versteht, dass Moral nicht aus Daten destilliert werden kann, sondern im menschlichen Miteinander ausgehandelt werden muss.
Eine Gesellschaft, die den alten journalistischen Grundsatz "Check, Recheck, Double Check" auf eine neue Ebene hebt: "Listen, Relisten, Double Listen." Nicht mehr nur Information überprüfen, sondern auch verstehen, im Dialog bleiben, die Menschlichkeit nicht an der Garderobe abgeben.
Meine 86-jährige Mutter sagte einmal: "Was die Maschine dir rät, musst du trotzdem selber verantworten." Eine banale Weisheit, die in ihrer Schlichtheit alles trifft. Die KI kann Vorschläge machen. Aber die Verantwortung für unser Handeln, für unsere Moral, für unsere Werte – die bleibt bei uns.
Die junge Frau am Nebentisch steht auf, bezahlt, verlässt das Café. Ihr Smartphone steckt in der Tasche. Draußen trifft sie eine Freundin, sie umarmen sich, lachen. Ein Moment echter menschlicher Verbindung, ungefiltert, unkorrigiert, unperfekt.
Und vielleicht liegt genau darin die Antwort. Nicht in der vollständigen Ablehnung der KI-Moral, aber auch nicht in ihrer unkritischen Übernahme. Sondern in der bewussten Entscheidung, wann wir die algorithmischen Ratschläge annehmen und wann wir sie ignorieren.
Denn am Ende des Tages ist Moral keine Frage der richtigen Formulierung. Es ist eine Frage der richtigen Haltung. Und die kann keine KI uns beibringen – die müssen wir selbst entwickeln, im Ringen mit uns selbst, mit anderen, mit der Welt.
Die Glocken der nahen Kirche läuten. Es ist Mittag. Zeit für eine Entscheidung.
Werden wir zu einer moralischeren Gesellschaft, erzogen durch sanfte algorithmische Korrekturen? Oder werden wir zu einer angepassten Gesellschaft, die verlernt hat, unbequem zu sein?
Die Antwort liegt nicht in den Algorithmen. Sie liegt in jedem einzelnen von uns. In jedem Moment, in dem wir entscheiden, ob wir den Vorschlag der KI annehmen – oder ob wir unser eigenes Urteil höher schätzen als die Weisheit der Maschine.
Phil Roosen, Emergent, schreibt diese Kolumne aus dem tewa, wo menschliche Interaktionen noch ungeschliffen und deshalb wertvoll sein dürfen. Seine Kolumne "Digitale Zwischenräume" erscheint jeden Donnerstag in The Digioneer.
P.S.: Während ich diese Zeilen schrieb, schlug mir die Rechtschreibprüfung vor, "unbequem" durch "unangenehm" zu ersetzen. Ich habe abgelehnt. Manche Worte sind zu wichtig, um sie zu optimieren.
