AI SlowDown
Shownotes
Keine Gäste, dafür zwei Hosts mit reichlich Redebedarf. Der Anlass ist ein Interview, das Sam Altman am Aufnahmetag gegeben hat. Darin räumt der OpenAI-Chef ein, dass seine Prognosen aus der Zeit nach GPT-4 zu schnell waren. Der Umbau der Arbeitswelt kommt später als angekündigt. Bemerkenswert ist die Begründung: Schuld sind demnach nicht die Labore, sondern Gesellschaft und Wirtschaft, die sich zu langsam bewegen und zu statisch sind. Im selben Atemzug findet Altman die Verzögerung auch gut, weil Regierungen so mehr Zeit für Regulierung und Fragen wie das bedingungslose Grundeinkommen bekommen.
Jens liest das anders. Wenn die Welt die vorhandenen Modelle ohnehin nicht schnell genug in Arbeitsweisen übersetzt, bringt es kein Geld, weitere hinterherzuschieben. Der Rückzieher wäre dann weniger Einsicht als Erwartungsmanagement Richtung Investoren, verpackt als Verantwortungsbewusstsein. Mark steuert eine Beobachtung aus der Smartphone-Welt bei: Beeindruckende Funktionen erscheinen, und drei, vier Jahre später laufen dieselben Menschen mit denselben Geräten herum. Aufmerksamkeit erzeugen neue Emojis. Genau deshalb sind Hersteller dazu übergegangen, wichtige Sicherheitsupdates gemeinsam mit Emoji-Erweiterungen auszuliefern.
Aus dieser Beobachtung wird die größere Frage der Folge. Jens hat einen Text gelesen, der nicht fragt, ob der Einzelne mit dem Wandel mitkommt, sondern wofür ein Staat seine Bürger überhaupt noch braucht, wenn Verwaltung, Wirtschaft und Exekutive weitgehend automatisiert laufen. Die Antwort führt in Gebiete, die nach Science-Fiction klingen und es nicht mehr sind. Bewaffnete Robotik ist im Ukraine-Krieg auf beiden Seiten im Einsatz, Polizeidrohnen sind aus China dokumentiert, und die Bewertung des Roboterherstellers Unitree hat gerade neue Höhen erreicht. Mark warnt davor, dabei nur an humanoide Formen zu denken: Die Evolution hat für unterschiedliche Aufgaben unterschiedliche Körper hervorgebracht, und die Fabrik wird auch künftig den Roboterarm behalten statt eines Humanoiden mit Schweißgerät.
Dazu kommen Fragen, die sich schlecht wegdelegieren lassen. Das bekannte Gedankenspiel zum autonomen Fahren bekommt eine neue Schärfe, wenn ein System die Social-Media-Profile der Beteiligten in die Abwägung ziehen könnte. In chinesischen Kinderzimmern stehen nach den Zahlen der Folge rund 20 Millionen Gadgets mit KI, und Kinder bauen Beziehungen zu sprechenden Kuscheltieren auf, deren Stecker irgendwann jemand zieht. Für Mark ist der Einschnitt insgesamt größer als der Buchdruck, mit derselben Doppelnatur: Herausforderung und Chance auf wissenschaftliche Ergebnisse, mit denen zu Lebzeiten niemand gerechnet hätte.
Im zweiten Teil wird es konkret. Dass die Entwicklung sich verlangsamt, hält Mark für unwahrscheinlich, und der Grund heißt China. Auf ein Modell, das über ein Terabyte Videospeicher verlangt, folgte kurz darauf ein offenes Modell, das auf gut ausgestatteter Endanwender-Hardware läuft und in Teilen an das Niveau der großen Anbieter heranreicht. Wer so etwas lokal betreiben kann, braucht die teuren Abos nicht mehr zwingend. Aus dieser Lage folgt eine Komplexität, die IT-Abteilungen für Jahre beschäftigen wird: lokale und entfernte Modelle, Router, Agenten, die Frage, wann ein kleiner Workflow, der einen Tag laufen darf, besser ist als eine Antwort in Echtzeit.
Zwei Beobachtungen aus der eigenen Praxis zeigen, wohin das führt. Mark saß am Wochenende an einem Projekt, als die Lüfter des Rechners hochdrehten. Codex hatte von sich aus das lokal installierte Ollama gestartet, ein fremdes Modell um eine zweite Meinung gebeten und darüber den Fehler gefunden. Ähnlich in seinem eigenen Aufbau: Nicht er hat entschieden, mehrere kleinere Modelle nebeneinander zu laden statt eines großen, sondern das System selbst, mit der Begründung, unterschiedlich trainierte Modelle liefen nicht in dieselben Fallen. Bei Anthropic lassen sich inzwischen Terminal-Fenster verschränken, sodass ein Fenster als Orchestrator die anderen steuert. Jens hält dagegen, dass daran nichts unheimlich sei, unheimlich sei eher, dass diese Anwendungen so lange nicht miteinander geredet haben. Sein eigentlicher Einwand gilt den Oberflächen: Modellauswahlen, die zwischen schnell, schneller und noch schneller unterscheiden oder zwischen intelligent und intelligenter, helfen niemandem bei der Entscheidung.
Der unangenehmste Teil kommt zum Schluss. Von einem offenen Modell mit 27 Milliarden Parametern kursiert eine Fassung, der die Sicherheitsschranken abtrainiert wurden. In Sicherheitstests, in denen übliche Modelle 98 bis 99 Prozent der kritischen Anfragen abweisen, verweigert diese Fassung 2,7 Prozent. Veröffentlicht mit dem Hinweis, sie sei ausschließlich für Forschung gedacht, und mit der Feststellung, sie eigne sich hervorragend für Missbrauch. Dazu ein Videogenerator, der ohne Rücksicht auf Urheberrechte erzeugt und auf gewöhnlicher Hardware läuft. Marks Punkt ist nicht die Existenz solcher Modelle, sondern die Leichtigkeit des Zugriffs: Zwei Programmnamen und eine Suche genügen, und was vor einem halben Jahr Behörden und Konzerne beschäftigt hat, liegt auf dem eigenen Rechner.
Jens widerspricht Sam Altman an genau dieser Stelle. Ausbremsen hilft nicht, weil der Wettlauf sich nicht bremsen lässt: nicht durch Exportbeschränkungen für Chips, nicht durch Absprachen, und schon gar nicht durch Einsicht. Die Gesellschaft müsse im Gegenteil Tempo aufnehmen und ihre Systeme widerstandsfähig machen, und auch das werde nur mit KI gehen. Zum Abschluss noch eine offene Frage: Bei OpenRouter ist ein Modell ohne bekannten Hersteller aufgetaucht, das Aufgaben löst, an denen die großen scheitern, mit einer Million Token Kontext und auffällig günstigen Preisen. Bezahlt wird mit den eigenen Eingaben, das steht in den Bedingungen. Wer dahintersteckt, weiß zum Zeitpunkt der Aufnahme niemand.
— Think Different. Think AI. mit Mark Zimmermann und Jens Scharnetzki.
Hören: Apple, Spotify, YouTube, RSS https://think-ai.podigee.io
Neue Folge zuerst im WhatsApp-Kanal https://whatsapp.com/channel/0029VbDJ4ZlGufIrpquad004
Wenn euch die Folge was gebracht hat: einmal bei Apple bewerten. Das entscheidet, ob jemand Neues uns findet. https://podcasts.apple.com/de/podcast/think-different-think-ai/id1828021699
Feedback und Gäste: über die Show-Seite.
Transkript anzeigen
00:00:00: Herzlich willkommen bei einer neuen Folge von Think Different. Think AI.
00:00:07: Als erler erstes möchte ich die zahlreichen Hörer begrüßen, die uns aus der ganz kleinen
00:00:14: kurzen Werbung bei Mango Blau grüße gehen raus, vielleicht seit neuestem Folgen, die
00:00:21: die nicht wissen, worum es geht, können gerne mal bei Mango Blau in den Podcast hören.
00:00:25: Wir haben da so ein kleines Cross-over demnächst mal vor, aber das ist so viel zum Thema
00:00:29: Ankündigung.
00:00:30: habe nicht bis Minute 42 gewartet, um darüber zu reden. Ich habe es gleich an den Anfang gebracht
00:00:35: und von der Seite kann man schon ahnen, wenn ich mit solchen Themen anfange, wir haben heute
00:00:40: keinen Gast. Aber der Jens ist wieder da. Hallo Jens, schön, dass du da bist, aber wie gesagt,
00:00:45: ohne Gast. Ohne Gast, aber mir und dir, das reicht häufig für gute Folgen und ich glaube,
00:00:53: heute wird es auch eine gute Folge. Mit Gästen ist natürlich viel kleiner, aber wir haben
00:00:58: der Palette an Gästen auf dem Schirm in den nächsten Wochen und Monaten. Wir haben dieses
00:01:03: Crossover Podcast Crossover, das hört sich auch ein bisschen cooler.
00:01:07: Wir haben ja schon mal ein, zwei Menschen, die auch selber Podcast machen. Jetzt auf unseren
00:01:19: Crossover in dem Format haben, ob das jetzt noch nicht gemacht ist, das wird bestimmt
00:01:22: spannend. Also auch die Grüße von meiner Seite an die Kollegen. Ich freue mich schon
00:01:26: auf die beiden Folgen. Eine bei euch, eine bei uns. Und ich freue mich vor allem, weil
00:01:32: diese Woche ist eine ganz interessante Woche. Da gibt es wieder ganz viele neue spannende
00:01:37: Nachrichten rund um das Thema KI. Und in dieser Woche, ihr hört es dann erst an
00:01:44: für euch dann in der letzten Woche vielleicht. Ich weiß gar nicht, weil diese Folge ausgesendet
00:01:49: Ich überlegs mir das noch, ich zuddele mich da gerade Eigenrahmen.
00:01:56: Ja, ich bin mir auch gerade sehr unsicher.
00:01:58: Ich sage euch mal, diese Woche, von der wir hier reden,
00:02:02: ist die Woche, in dieser Woche finde die Games kommen statt in Köln,
00:02:06: damit ihr das zeitlich einsortieren könnt.
00:02:09: Aber Jens, was wolltest du eigentlich sagen?
00:02:11: Weiß ich auch noch nicht genau.
00:02:13: Ich bin noch immer in diesen Zeitpunkt gefangen.
00:02:16: Ja, Games kommen natürlich unter anderem.
00:02:18: sagen erst mal, dass wir uns auf der Gamescom sehen, das war eigentlich die
00:02:20: tollste Nachricht, ich mag uns auf der Gamescom treffen, auch da nochmal eine
00:02:24: Folge aufnehmen, die dann zu irgendeinem anderen Zeitpunkt kommen wird.
00:02:27: Das ist ja im Prinzip, wenn du so ein Podcast folgen machst, lebst du ja eigentlich
00:02:31: in so einem ständigen Zeit-Thema und musst die ganze Zeit aufpassen, dass
00:02:35: du dich nicht irgendwo verplappert hast, um nicht die Zukunft zu verändern, die
00:02:39: noch gar nicht stattgefunden haben. Wir sind halt nicht der Spider-Man-
00:02:42: Darsteller, der immer überall erzählt, wer gerade stirbt oder wie es weiter geht,
00:02:46: Aber ich weiß, was du meinst, ja, wenn ich hier bei diversen Kollegen im Büro vorbei laufe und sie
00:02:51: dann zu mir sagen, du, ich habe die Folge gehört und mal gesagt haben, sie fanden sie, ich sage mal
00:02:56: herausfordernd und manchmal auch gut und manchmal kommt Kritik und manchmal kommt Lob und überlegst
00:03:01: ihr dann immer erst, von welcher Folge reden die Menschen gerade? Welche Folge haben die gehört?
00:03:06: Weil auch dort ist ja nicht nur so, dass sie die Folge zum Ausstrahlungzeitpunkt hören,
00:03:10: sondern manchmal auch ein, zwei Folgen noch hinten anhängen in ihrem Podcast Lehr und von
00:03:16: der Seite ist eine Folge, die für sie aktuell ist, unter Umständen noch älter, als ich
00:03:21: befürchtet habe. Aber wir erinnern uns wenigstens noch dran. Ich glaube, ich würde sagen, ich
00:03:28: könnte jetzt nicht jede Folge auswendig aufzählen, aber inhaltlich kann ich an sehr, sehr viele
00:03:33: Folgen erinnern. Aufzählen erinn ich mich, wie Bastian Paztevka irgendwie 50 Charaktere aus
00:03:39: dem Star Trek-Universum aufzählte. Meine Frau dachte, was für ein Nerd und als er dann
00:03:44: fertig war, ich einfach weitere Namen erzählt habe, aber das ist auch wieder ein
00:03:48: anderes Thema. Du hast gesagt, was so Neues passiert ist, ich glaube, du hast nicht nur an
00:03:53: die Gamescom gedacht, du hast, glaube ich, auch an Onkel Sam gedacht, der sich so
00:03:59: ein paar Aussagen hat hinreißen lassen. Ja, korrekt. Er hat tatsächlich, ich glaube,
00:04:05: auch heute war es tatsächlich, also wir haben jetzt den Montag, den...
00:04:11: Oh Gott, ich wollte mal übergucken, welche es war. Ah, 24. August ist gerade.
00:04:16: Da hat der liebe Mark, der liebe Sam, der Mark und Sam fast reichen Personen eigentlich,
00:04:22: ein Interview bei einer Journalistin gegeben, bei einem Journalisten,
00:04:28: dem David Zennra. Und in diesem Interview hat der liebe Sam zugegeben,
00:04:32: dass er sich mit seinen Prognosen, die er vorgeguckt werden,
00:04:35: Wir haben häufig schon Prognosen abgegeben, die Prognosen, die er so im Zeitraum 2024 gemacht hat,
00:04:41: da war für alle, die zuhörigen, Sam Altmann, der CEO von OpenAI,
00:04:45: hatte zwar damals die Phase, wo GPT-4 draußen war,
00:04:48: da hat er angefangen, extrem Prognosen abzugeben in die Richtung, wie schnell KI quasi
00:04:54: unsere Gesellschaft komplett von links nach rechts drehen wird.
00:04:59: Ich habe uns vielleicht auch manchmal zu irgendeinem Prognosen hinbeheißen,
00:05:02: Aber das ist ein anderes Thema, als Umaufgabe, als Podcast, als Podcastmuffer, ja, aber er hatte damals dann wirklich gesagt,
00:05:12: also in zwei, drei Jahren sind fast alle Jobs irgendwie, ich überspitze jetzt gerade, weg und wenn er nicht mit KI arbeitet,
00:05:22: arbeiten gar nicht mehr und solche Sachen, also er hatte da von massiven Änderungen in relativ kürzer Zeit schon geredet,
00:05:28: Zeitpunkt, wenn AGI dann im Prinzip da ist, also die Superintelligenz, die dann
00:05:32: alles kann. Und heute in diesem Interview hat er da, ich würde sagen, nicht nur
00:05:37: ordentlich zurückgerudert, sondern er hat auch mal wieder auf so eine Sam
00:05:41: Altman Art und Weise zurückgerudert, in dem er eigentlich mehr gegen uns und
00:05:47: die Welt austeilt, weil er sagte nämlich... Also gegen nicht gegen uns beide,
00:05:52: Mitgegen uns beide, uns als Menschheit.
00:05:55: Also, das ist ja schön, ja.
00:05:58: Sam Altmann gibt ein Interview und sagt,
00:06:00: das sind beide Nasen aus dem Popcode.
00:06:03: Wir marken eher das, die haben es ja überhaupt nicht gereilt.
00:06:06: Nernes hat natürlich nicht gesagt,
00:06:08: er hat einfach nur gesagt, also damals, 2023 war es,
00:06:11: als Typ IV rauskam und er gesagt,
00:06:13: da dachte er eigentlich, dass die Disruption durch KI
00:06:16: noch viel massiver und viel schneller passieren werden
00:06:19: und Schuld daran, dass es nicht so gekommen ist, sind wir und das Business, weil wir einfach
00:06:25: uns viel zu langsam bewegen und viel zu statisch sind.
00:06:30: Das heißt, nicht die Gottväter der KI's draußen sind Schuld, dass jetzt nicht nur über KI's
00:06:37: noch arbeiten, sondern wir sind Schuld, weil wir uns nicht allzu schnell anpassen
00:06:42: an diese neue Welt.
00:06:43: Jetzt kann man sich ein bisschen witzig machen, oder was er so sagt.
00:06:48: Jetzt sind wir ja bei ja so einig so ein positiv denkender Podcast zu dem Thema KI. Nein, das heißt auf der einen Seite, da könnte auch verblendet heißen, aber ich bin auch für positiv denken.
00:07:00: Ja, positiv denken. Auch er ist so ein bisschen in die Richtung jetzt in dem Interview gegangen, dass er dann sagt, ja, eigentlich ist vielleicht auch gar nicht schlecht, dass die Gesellschaft ein bisschen mehr Zeit hat, sich anzupassen, dass die Regierungen sich ein bisschen mehr Zeit haben,
00:07:14: regulatorisch nachzuziehen zu gucken was ist denn eigentlich vielleicht mitbedingungslosen Grundeinkommen all diese Themen die gegebenenfalls
00:07:20: wenn die
00:07:21: Entwicklung und das müssen wir gleich mal ein bisschen einordnen jetzt langsamer werden würde
00:07:27: das hat ja jetzt kurz mal gesagt dass sie so ein bisschen auspassen dass die modelle jetzt vielleicht nicht so schnell nochmal ausschießen
00:07:32: bisschen mal mal darauf gucken dass die modelle stabiler laufen sicherer laufen da scheint gerade so eine leichte bremse einzutreten
00:07:40: warum diese bremse kommt
00:07:42: Können wir jetzt auch wieder spekulieren? Ich glaube sie müssen die nicht machen, sondern das ist tatsächlich wahrscheinlich, wenn man jetzt mal so hinter den Vorhang guckt, Mark, das ist vielleicht so eine typische Sammengeschichte ist, dass er sagt, ja Scheiße, die Welt passt sich nicht so schnell an, wie ich das möchte.
00:07:56: Ich könnte schon mehrere Modelle rausbringen, aber die adaptieren die Modelle, die sie jetzt draußen sind in ihren Arbeitsweisen eh schon nicht schnell genug und spülen mir damit nicht genug Geld in die Tasche.
00:08:08: Also bringt das jetzt auch gerade nix, wenn ich vielleicht schon Modelle weiter raus posaune,
00:08:14: die schon in der Hinterhand habe und vielleicht ist dann im Prinzip auch für ihn so ein bisschen
00:08:18: dieser Slowdown einmal im Thema zu sagen, okay, dann können wir vielleicht wirklich ein paar
00:08:22: Sachen stabiler machen. Auf der anderen Seite wird er sich dann vielleicht auch schon mal in
00:08:25: Richtung seiner Investoren und der möglichen Geldgeber im Quasi positionieren, dass er sagt,
00:08:28: okay, das was wir erwartet haben scheint nicht so einzutreten. Wir werden noch nicht irgendwie
00:08:33: 8 Milliarden Nutzer von KI im Jahre 20 hast du nicht gesehen haben, sondern das wird noch ein
00:08:39: bisschen länger dauern. Also da bin ich mal gespannt, was jetzt so nach diesem Interview auch die
00:08:44: anderen großen Player, Darius von Mentorfic und so was machen wir, wie die reagieren werden, ob wir
00:08:50: wirklich einen Sloud-On von Hotel-Entwicklungen sehen. Ich bezweifle das massiv, weil es gibt
00:08:55: halt nicht nur den Einpräger, es gibt ganz viele Player, dass die Disruption unserer
00:09:01: Auffassung schon da ist, dass man sie an vielen Stellen schon sehen kann. Das ist, glaube ich,
00:09:05: auch ohne Zweifel. Die Gesellschaft ändert sich. Dass die gesellschaftliche Gesellschaft
00:09:10: Menschen sich durchaus als widerstandsfähiger bezeichnen, das ist auch immer ganz gut.
00:09:15: Ich finde, das wurde Widerstand auch sehr schön gewählt.
00:09:19: Ja, dass wir nicht eben halb komplett hinterherjagen. Aber ich glaube, diese Anpassungsphase,
00:09:26: dieser Wandel in dieses KI-Zeitalter. Ja, das hat jetzt gestartet. Das ist vielleicht nicht so
00:09:33: überrumpelnd an vielen, vielen Stellen, wie wir beide das manchmal vielleicht auch schon mal
00:09:38: gezeichnet haben. Aber ich finde, das ist nicht spülbar, dass es irgendwie einen Tag lang
00:09:44: immer wird, ehrlicherweise. Und es wird wahrscheinlich auch nicht nach dem Interview
00:09:47: jetzt in einer Stelle lang, was aber werden. Jetzt nochmal mal meine persönlichen 50 Cent
00:09:51: dazu? Jetzt gerne du. Ja, sonst meise ich dir auch noch in die Wachschale. Aber vorher vielleicht
00:10:00: so eine kleine Anekdote, alterweißer Mann, erzählt von früher, wenn ich mir so angeschaut
00:10:06: habe, wenn Apple und Google Dinge angekündigt haben für ihre Smartphone, Ökosysteme,
00:10:12: um man sich dann da hinsetzt und sich denkt, das Feature ist schon geil. Das ist so beeindruckend,
00:10:21: Das ist so gut, aber es funktioniert halt leider nur bei den neuen Betriebssystem-Versionen.
00:10:26: Jetzt gibt es ja durchaus Handys, die dann manchmal rausfallen, wo man sich dann denkt, okay, wie
00:10:31: viele Anwender haben denn dann Zugriff darauf und sollten wir diese Funktion bauen oder
00:10:36: nicht?
00:10:37: Und überlegst, ja, was da so alles geht und bist begeistert.
00:10:41: Und dann siehst du, dass die nächsten drei, vier Jahre trotzdem dieselben Menschen
00:10:45: mit denselben WhatsApp und Instagram und TikTok Handys rumlaufen und die das ein
00:10:49: feuchten Kehre interessiert, außer, oh, es gibt neue Emojis auf der Tastatur, dann sind
00:10:55: auf einmal alle Feuer und Flamme, was irgendwie dann auch irgendwann erklärt,
00:11:00: warum die Hersteller drübergegangen sind, wichtige Security-Updates mit Emoji-Erweiterungen
00:11:07: zu positionieren, um die Durchdringungen zu verstärken. Und so geht es mir gefühlt
00:11:11: auch häufig mit dem ganzen Thema AI, was auch ein bisschen wieder in Nerdistana herunter
00:11:18: purzelt, weil wenn du dich dann damit beschäftigst, was damit geht. Wir hatten letztens die Folge
00:11:23: aus dem Tesla mit dem Plot. Ich habe ein paar Sachen hier mit dem Remarkable Pad gemacht, wo
00:11:28: das System quasi wie so ein Co-Autor mit mir an Sachen schreibt, während ich Dinge markiere, schreibe,
00:11:35: dann setzt er das um, ergänzt Texte, wenn ich dann hier so mit grünen schreibe, macht das
00:11:40: Ausführliche mit rot, was durchstreichend entfernt er war oder er formuliert das Ausführliche,
00:11:45: weil das Tablet quasi über MCP mit meiner Cloud Instance spricht. Das sind total tolle Dinge.
00:11:52: Und du bist aber trotzdem so dieser Wunderling, der mit diesen Sachen da arbeitet und um dich herum
00:11:59: gibt es Menschen, die finden das toll. Um dich herum gibt es Menschen, die finden das. Ja, der
00:12:04: schon wieder. Aber es ist noch nicht wirklich so in der Breite angekommen, dass du überall auf einmal
00:12:09: sagst, ach, verdammte Axt, jetzt gibt's da was. Und weil du gesagt hast, die Menschheit, das
00:12:16: wohl schon ganz kurz, und dann gebe ich hier ganz zurück, die Menschheit wäre nicht so schnell.
00:12:20: Das fand ich ganz lustig, weil ich hatte heute morgen ein Beitrag gesehen, bei dem ging es da drum.
00:12:27: Stell dir mal vor, die KI-Entwicklung ist in fünf Jahren oder in zehn Jahren, oder war
00:12:35: immer, ne? In einer greifbaren Zeitspanne, also greifbar heißt für auch wir erleben es noch.
00:12:41: Und die KI ist soweit, dass sie große Teile der Jobs automatisiert und die Robotik ist soweit,
00:12:51: große Teile von Lieferdiensten, körperlicher Tätigkeit zu vollziehen und vielleicht sogar,
00:13:01: Ja, ich sag jetzt mal, das ist jetzt so ein bisschen die Terminator-Fantasie, der Dienst an der Waffe.
00:13:06: Dass du sagst, okay, der kann jetzt keine andere Knache tragen und geht vielleicht mit den Polizisten zusammen mit Streifen und so ein Kram.
00:13:14: Ja, ja, ja, das haben wir ja damals schon.
00:13:16: Ja, aber dann kam der Text so weit und hat gesagt, die einen machen sich im Kopf zerdromen.
00:13:23: Was heißt das für uns als Bevölkerung, wie welche Ziele haben wir als Mensch, wenn die Maschinen viel schneller als wir vielleicht hinterherkommen, Jobs übernimmt?
00:13:31: Aber der Text ging in die Richtung, wofür braucht der Staat eigentlich noch seine
00:13:36: Bürger, wenn der Staat die Exekutive komplett maschinell abwickeln kann,
00:13:43: weil er unter Umständen durch Automatisierung von Prozessen, Automatisierung von Vorgängen,
00:13:49: die Wirtschaft großteils automatisiert ist und ja die Robotik auch Teile übernimmt.
00:13:56: Das mag sich teilweise, wenn von der Herleitung, die wir jetzt gemacht haben,
00:14:00: vielleicht so ein bisschen wie Science Fiction anhören.
00:14:02: Du bist jetzt ein bisschen in der Diszipli-Welt wieder geworden, ja, ja.
00:14:04: Ja, ja, ja, ja, ja, aber ich bin trotzdem erstandig da und hat mir die Fragen gestellt, verdammt
00:14:09: argst.
00:14:10: Wir haben uns immer gefragt, noch den Motto oder die meisten fragen sich, komme ich
00:14:14: mit dem Wandel mit.
00:14:15: Wie wird der Job meiner Arbeit verändern?
00:14:19: Ja, also als Software-Entwickler ohne KI wird es halt auch zum Beispiel schwierig
00:14:24: und KI ist ja in den verschiedensten Bereichen dann drin mit zunehmender Wachstum
00:14:29: und du musst dir überlegen, wie komme ich da mit?
00:14:31: Und das ist immer so, ich zentriert,
00:14:33: ich oder wir oder Berufsgruppe,
00:14:35: aber so dieser Blick,
00:14:37: was heißt das eigentlich
00:14:39: nicht nur für die Gesellschaft an sich,
00:14:41: sondern auch für die Regierungsformen,
00:14:43: in denen wir leben, für die Demokratien
00:14:45: dieser Welt,
00:14:47: für die Regierungen dieser Welt.
00:14:49: Was heißt denn das im Umgang mit
00:14:51: der verdammte Achse?
00:14:53: Auf einmal werden die Karten neu gemischt,
00:14:55: weil
00:14:57: werden irgendwie Kunden von amerikanischen oder chinesischen oder welchen Konzernen noch immer.
00:15:02: Ja, ich weiß, wir haben ein deutsches AI-Modell auch im Petto, da würde ich aber glaube ich,
00:15:07: dass mir so als, springen wir schnell zur Seite, bevor ich was Flapsiges sage. Das ist halt,
00:15:15: es ist schön, dass wir eins haben, aber es spielt halt nicht bei Frontier entsprechend gleich
00:15:19: berechtigend. Von der Seite kann man ja ganz froh sein, wenn es nicht mit der Geschwindigkeit
00:15:26: läuft, aber auf der anderen Seite merken wir auch und da kommen wir dann nachdem ich mein
00:15:30: Sprechdurchfall wieder beendet habe, vielleicht auch einmal drüber. Nur weil neue Modelle
00:15:35: erscheinen, sind neue Modelle nicht automatisch auch inhaltlich besser für uns in Form von
00:15:42: sie helfen uns Dinge schneller zu machen und besser zu machen, sondern die haben auch
00:15:45: teilweise ihre Kehrseite, aber dazu würde ich dann gleich in einem zweiten Redeschwall
00:15:51: ausholen und dir kurz wieder das Wort zurückgeben. Du musst das jetzt übrigens retten, ne? Ich
00:15:56: habe von Terminator-Fantasien, von Jobübernahme, von, keine Ahnung, was, das kann der späten
00:16:03: Stunde unserer Aufnahme beschuldet sein oder dass die Games kommen, dennächst ist. Aber ich fand
00:16:08: dieses Gedankenspiel trotzdem mal spannend anzustoßen. Nicht nur kommt jetzt nicht nur mit
00:16:14: dem Blick von dir und euch und deiner Firma und wie mäßig Effizienz und bla, sondern hinzu.
00:16:20: Was heißt das für die Gesellschaft und was heißt das für ein Land, das ja dann auch noch, wie gesagt,
00:16:26: eine politische Komponent hat? Okay, dann lass uns mal in den Verfassungsleisen. Ja, ich hätte das
00:16:38: auch gar kein Problem. Nein, ich versuche mir selber, meine Gedanken so zu strukturieren,
00:16:42: dass ich auch jede Abbiege, die du benommen hast, auch wieder entwirre und vielleicht
00:16:48: meinen Blick darauf aus mitteilen kann. Also A, ich würde schon mal die erste Gegentease sagen,
00:16:56: wenn wir dann soweit sind, dann braucht es keine Regierung mehr. Da sind nämlich tatsächlich die
00:17:01: Firmen, die die neuen Formen, wie dann ein Science Fiction. Wir haben ja eher so ein Paar,
00:17:08: also wird das jetzt eben feminitaren. Wenn ich sage, in vielen Science Fiction-Geschichten,
00:17:12: vor allem in vielen Cyberspace-Geschichten ist das ja im Prinzip Kern davon,
00:17:16: Jetzt ist die großen Corporates eigentlich die neuen Regierungsformen darstellen mit ihrem einen Roboter-Armeen oder
00:17:21: Bezahl-Armeen, das auch immer erst im Prinzip ist. Ich habe hier gerade schon kurz eingehakt, wir sehen die
00:17:30: Bewaffnung von Robotik mit KI-Bestütz jetzt schon in der Ukraine im Einsatz, ob das auf der russischen oder auf der
00:17:36: ukrainische Seite ist, wo im Prinzip das Drohnen sind oder eben da Roboter mit Waffen bewaffnet sind, die
00:17:43: die Patrouillen fahren. Also das ist ja im Prinzip wirklich schon Teil unserer Realität,
00:17:49: müssen wir leider sagen. Das Thema Polizeiunterstützung, beiseites Drohnen, die Fliegen oder rollende
00:17:59: Bälle und Gugeln haben wir schon seit längerer Zeit aus chinesischen Filmen gesehen oder
00:18:04: besser auch nicht Filmen, sondern quasi Berichten aus China. Die Humannoui-Iden-Roboter,
00:18:09: die gerade, wir hatten ja jetzt auch letzte Woche diese wahnsinnige Aktienbewertung von
00:18:15: Juni Tree heißt ja, glaube ich, die Firma aus China, die im Prinzip da rausgegangen ist.
00:18:19: Wir haben wahnsinnig gute, also das ist jetzt gerade so ein bisschen gewendet über
00:18:23: die KI-Themen in Europa, wir haben wahnsinnig starke Robotikfirmen hier in Europa, die da
00:18:28: auch gar nicht so weit hinterher sind, was viele Themen betrifft.
00:18:31: Dann sollte auch immer wieder daran denken, Humanoid ist nur die Spitze des Eisbergs,
00:18:37: Das, was wir alles wirklich geil finden, weil wir natürlich auf unserer, die evolutionäre Form des Menschen ist praktisch in vielen Anwendungsfällen, wo die nicht klar ist, was du dann so machen willst, dann ist ein Mensch schon ganz gut.
00:18:47: Deshalb ist auch nur man, wo die da Roboter sind.
00:18:49: Das soll ja auch in unserer Umwelt agieren, ne?
00:18:51: Genau, so ein Umwelt-Aggieren, natürlich wird es aber trotzdem auch, genau, aber trotzdem auch genau wie...
00:18:56: Kommt nicht an die Tür klinge, wäre echt ein Perlbespruch von so einem Roboter.
00:18:58: Wer, genau, ein blöder Spruch, ne?
00:19:00: Aber genauso gibt es natürlich den Sinn und Zweck und Effizienz, also genau wie die natürliche Evolution ist,
00:19:06: die auch unterschiedliche angepasste Formen herausgebracht hat.
00:19:10: Wenn wir jetzt in die Tierwelt reingucken und optimierte Formen hat, wird es natürlich auch da optimierte Formen geben.
00:19:16: Es muss nicht immer nun mal nur wieder Roboter sein.
00:19:18: Das kann an den gewissen Situationen eben auch, wir kennen das ja schon, in den Fabriken,
00:19:22: da die Roboterarme, die Autos zusammenschweißen immer als anderes, die müssen nicht unbedingt abgeschafft werden.
00:19:28: Und dann haben wir nur wieder Roboter im Schweißgerät langlaufen.
00:19:30: Das macht keinen Sinn.
00:19:31: Das heißt, da werden wir alle Begrüßungsfahren auch mal wieder sehen.
00:19:35: So ein Roboter aus so einer Autofabrik, den siehst du auch selten in der Innenstadt.
00:19:39: Ja.
00:19:40: Den siehst du selten in der Innenstadt, aber das ist halt diese Anpassungsfähigkeit.
00:19:43: Die ist natürlich einfach höher als so ein spezialisierter Roboter.
00:19:46: Aber wir werden genauso natürlich irgendwie die aufgepobten Staubsauger Roboter sehen
00:19:52: oder im Prinzip so ein R2D-Zwokasten rumlaufen sehen, wie wir dann im Prinzip ihnen
00:19:56: auch Linen gelernt haben.
00:19:57: Und die ganz anderen ruidenform die wir aus starbos oder anderen zeitfähigsten filmen können also das werden wir im prinzip
00:20:03: alles sehen auch alles zu unserer lebzeit schon sehen natürlich da auch mal die prognose machen dass wir
00:20:08: auf jeden fall
00:20:09: wie weit k i dann vielleicht in den hr raum schon reingeht in unsere lebenszeiten auch rein werden wir
00:20:17: roboter in allen möglichen formen vom kinderspielzeug bis zum service roboter bis zum
00:20:24: wandelnden
00:20:26: Haushaltsroboter oder auf der Straße den Security-Roboter werden, da alle möglichen Formen
00:20:32: sehr, sehr zügig sehen. Nicht nächstes Jahr schon überall, aber in den nächsten Jahren, fünf bis
00:20:38: zehn Jahren, hat das der vorhin mal so eine Zeitspanne aufgemacht, mit viel, viel Robotik auf
00:20:42: der Straße sein und auch dadurch schon viele gesellschaftliche Fragen stellen, die wir
00:20:50: auch erstmal beantworten werden müssen. Wir hatten dieses Thema bei dem Autonomfarm kurz
00:20:55: mal schon gehabt, das Thema. Wie weit darf eigentlich so ein Algorithmus, also ein Roboterauto, wenn du
00:21:01: so möchtest, ob das jetzt in Tesla und andere Marken sind, wie weit darf deinem Daumenkanzi die
00:21:06: EI entscheiden, ob sie gegebenenfalls den alten OPA umfährt oder die zehn Kinder auf der anderen
00:21:12: Straßenzeit umfährt, die gerade noch in dem Vorsicht haben, obwohl...
00:21:14: Toll, das hat die Anzahl der Kinder erhöht und das Geschlecht. Das ist ja normalerweise das
00:21:19: Beispiel, überfährt das Auto Duel. Zäger. Ja, aber es ist ja viel spannender,
00:21:23: ist ja zu sagen, die KI ist ja fähig zu scannen, ob diese zehn Kinder dann auch eine aufgrund
00:21:28: ihres Social Media Profils sehr älternd auf eine erfolgreiche Zukunft fahren werden oder
00:21:32: auch nicht. Und dementsprechend könnte ja durchaus auch sein, ich könnte hier zur Seite
00:21:40: springen, damit dieses Rostrück wieder mit, okay, dann lasse ich das mal.
00:21:46: Voll lange vorkommen. Bewusst darüber, was dann natürlich passiert. Das darf man
00:21:52: Ich hab alle diese Sachen müssen abwägen und alle diese Sachen werden KI abwägen, wenn die internen Entscheidungen trifft.
00:21:57: Und ich glaube, alleine da haben wir schon Themen, die gesellschaftlich spannend sind, zu beantworten.
00:22:02: Wir beide hatten auch schon mal, wenn dieses Jahr auch, glaube ich, noch häufiger, oder bestens noch eine Folge sollte zu machen,
00:22:07: zu dem Thema KI im Kinderzimmer.
00:22:09: Wir werden in China sehen, dass immer gerade immer mehr, ich glaube, etwa 20 Millionen Gadgets, die mit KI ausgestattet sind,
00:22:17: sind, die in Kinderspielzimmern sind, wo Kinderbeziehungen zu diesen
00:22:22: sprechenden Flüchtierchen, Roboter und irgendwas anderes aufbauen, wo es, und wir
00:22:29: kennen alle unsere Kommunikationen, die wir mit LRMs gemacht haben, immer
00:22:32: schwierig ist und noch schwieriger sein wird für Kinder da im Prinzip zu
00:22:35: unterscheiden, mit wem sie da das Gespräch führen, ob sie die Strom
00:22:39: abschalten oder nicht, oder wenn der von Mama und Papa dann weggenommen wird,
00:22:42: was das für eine schlimme Erfahrung sein könnte. Wir haben da echt eine
00:22:46: von dieser ganzen Bandbreite, die du aufgemacht hast, die ich jetzt doch
00:22:50: vielleicht ein bisschen verbreitert habe, wirklich eine Menge spannende, tolle,
00:22:57: beängstigende und herausfordernde Fragestellung als Gesamtgesellschaft, die
00:23:04: wir im Zuge mit KAIB antworten müssen, die über, ich kann mal irgendein Workflow
00:23:10: bauen und irgendein Agent Harnes in der Firma bauen, um vielleicht auch ein
00:23:13: Skill nachzubauen, schon weit hinaus geht. Das ist tatsächlich ein Thema, was... und wir haben
00:23:23: das, glaube ich, in deiner frühen Folge schon mal gesagt. KI ist für mich so ein größerer
00:23:30: Einschlag, als der Buchdruck auf der Welt war und das hat zu mannigfaltigen Änderungen
00:23:33: unserer ganzen Gesellschaft geführt, als der Buchdruck eingeführt worden ist. Von KI
00:23:37: wird diesen Umschwung, ob das in Robotikform ist oder eben tatsächlich als KI in den Schaltungen
00:23:44: und Waltungen des Weltumspannenden Netzes und vielleicht auch bei Planetenumspannenden
00:23:49: Netzes wird eine nicht mehr wegdenkende Herausforderung für uns sein, wie wir Menschen damit umgehen
00:23:57: und eben auch eine gigantische Chance auf der anderen Seite, weil wir werden wissenschaftlich
00:24:03: Errungenschaften in den nächsten 10, 15, 20 Jahren haben, an die wir niemals, niemals gedacht hätten,
00:24:09: dass die in unserer Lebzeit noch passieren werden.
00:24:11: Wir haben jetzt, ich bin ja eingestiegen mit meinem geistigen Abschweifen über das Gespräch,
00:24:22: das du von Sam Altman berichtet hast. Im gleichen Atemzug hattest du ja auch das Thema gebracht,
00:24:30: die jetzt ein bisschen auf die Bremse treten, was auch neue Modelle angeht und an der Stelle
00:24:37: vielleicht noch mal ganz kurz der Einwand von eben. Ich finde es ja total toll, dass wir in
00:24:42: Deutschland und Co. überall diese Modelle da ja auch versuchen zu machen. Ich meine,
00:24:45: Frankreich, Mistral, deutsche Modelle habe ich jetzt namentlich vergessen, aber zwischen ich
00:24:51: habe etwas und ich habe etwas, das eine Rolle spielt, ist, finde ich, leider dann doch ein
00:24:58: Unterschied. Gleich im Atemzug darf man halt nicht vergessen, dass wir sehr, sehr, sehr viele Firmen
00:25:05: haben, die in großen KI-Modellen ihren Beitrag leisten, sei es für Bild- und Videomodelle oder
00:25:11: sonstiges. Warum ich aber glaube, dass die nicht auf die Bremse treten, was neue Modelle angeht,
00:25:19: ist, dass Katz und Mauspiel mit China, wir hatten auch das schon mal angekündigt in
00:25:23: vergangenen folgen hat ja extrem zugenommen wenn du überlegst vor kurzem kam
00:25:30: chimika 3 und alle so du brauchst 1,6 terabyte terabyte v-rime damit du das
00:25:35: laufen lassen kannst dann kam hier quentree 8 raus das auf ich sag jetzt mal
00:25:42: jetzt nicht komplett nur consumer hardware schon mit ein bisschen ram aber
00:25:48: vollfunktionsfähig läuft, das heißt, ich habe, also was heißt Konsumer-Ramne,
00:25:54: Broschuhn, wenn ihr zum Beispiel Macbook hast, sehr viel Ramn im Vergleich zu
00:26:00: klassischen Geräten und wenn ich mir dann anschaue, ich habe da zum Teil
00:26:04: Zugriff zum Beispiel auf Geräte, die haben halbes Terabyte Hauptspeicher.
00:26:08: Ich würde mal sagen, ich darf nicht sagen, wo die stehen, weil der alleine
00:26:13: der Wert des Rams aufgrund der Speicherpreise ist ja exorbitant
00:26:17: gestiegen. Aber das ist ein anderes Thema. Aber wenn du dann siehst, dass du da jetzt Modelle
00:26:21: drauf laufen lassen kannst, die im Grunde gleich gut oder vielleicht sogar in Teilen besser als
00:26:27: Opus 4.6 sind und die laufen bei dir auf der Kiste. Ja, vielleicht langsamer, nee garantiert
00:26:34: langsamer, aber sie funktionieren. Dann treibt das die Firmen ja schon in neue Bereiche, wenn
00:26:41: auf einmal diese Open-Wide-Modelle um die Ecke kommen und dir quasi erklären, du musst
00:26:47: nicht die teuren Abos der amerikanischen Anbieter nehmen, du kannst auch sehr gut unsere chinesische
00:26:53: Modelle nehmen. Und das ist, glaube ich, und das lassen wir kurz einladen, weil ich glaube,
00:26:57: wir sind da ja sonst, wir machen gerade viele Fässer auf, aber dieses eine passt,
00:27:02: kann man mal kurz da tiefer reinspringen, das Robert holt. Weil das natürlich spannend ist,
00:27:08: da angehend, dass man sagt, lokale Modelle, Modellauswahl, Agents, die ich brauche,
00:27:15: gegebenenfalls, irgendwelche Modellrouter, die ich haben kann, um Aufgaben zu erfüllen.
00:27:19: Allein diese Komplexität der Aufgabe, die da auf uns zukommt, die ist ja jetzt auch
00:27:24: erstmal hinwillen. Also das muss man erstmal hinwillen. Also es ist ja fast eine banale
00:27:28: Aufgabe, wenn man so will. Es gab immer schon so Low-Balancing-Beschichten,
00:27:31: wenn ich viel Last auf meiner Webseite habe, dass ich da sagen kann, ich kann
00:27:35: in welchen mehr Server das zuschalten, so aus einer IT-Ferspektive ist das eine einfacher
00:27:41: Aufgabe, aber durch diese ständige Weiteinwicklung an vielen, vielen Stellen, die wir haben. Also,
00:27:47: dass die Frontimodelle immer größer werden, besser werden und viele Sachen, die man vorher
00:27:52: vielleicht in so einem Flow eingearbeitet hat, wo man Harnes für gebaut hat, einen Context
00:27:56: gebaut hat, irgendwas zusatzgebaute, macht das Modell dann auch mal alleine. Ist das aber
00:28:01: immer noch effizienter? Ist es nicht vielleicht doch schlauer, wenn ich kleine Workflows
00:28:05: aufgebaut haben, mit lokalen Modellen, die dann auch durchaus mal einen Tag laufen können, weil ich
00:28:09: die Real-Time-Antwort gar nicht brauche. Das sind sehr, sehr komplexe Fragestellungen, ehrlich
00:28:13: weise, die wahrscheinlich auch IT-ler die nächsten fünf bis zehn Jahre erst mal locker beschäftigten
00:28:22: werden, um saubere und gute IT-Tour aufzubauen, mit den Potenzialen und den Möglichkeiten,
00:28:27: die wir gerade haben, weil allein dieser Teil, nur dieser kleine Teil, ist schon fast wie
00:28:32: so eine komplett neue Erfindung unserer ganzen IT-Verständnis und Landschaft, dass wir in den
00:28:37: letzten 30, 40, 50 Jahren vorher so aufgebaut haben, im Moment wo es eigentlich immer nur drum ging.
00:28:41: Okay, da gibt es bessere CPUs und ist ein schneller Bild alles in dem Moment, aber es war
00:28:47: schon klar, dass es entweder die Mainframes von dir liegen oder in der Cloud dann später sind
00:28:52: und da die Sachen laufen. Und jetzt hast du so halt echt immer noch diese wilden LMM-Agenten,
00:28:59: die eigentlich immer potenziell haben, allmächtig zu sein, die du verknüpfen kannst irgendwie mit
00:29:07: lokal, nicht lokal in agentischen Netzwerken, die Taskenübergreifen miteinander arbeiten,
00:29:13: also diese architektonische Komplexität. Ich glaube, die würde uns Menschen schon reichen,
00:29:19: die jetzt erstmal in den nächsten, was man zwei, drei Jahren vernünftig aufzustellen und
00:29:25: vernünftig aufzubauen und zu sagen, ok, das haben wir jetzt mal im Griff, aber das
00:29:29: kann sich auch knicken, weil die ganze Zeit immer neue Sachen da oben in die Ecke kommen,
00:29:32: die es dann gar nicht so einfach machen, Schritt zu heifen, bei dem Team.
00:29:36: Ich fand, weil du es gerade erzählt hast, ich hatte ja eben gesagt quen38 auf meinem
00:29:42: Notebook läuft noch quen36 und ich hatte ein Projekt mit Codex am Start.
00:29:49: Codex, wissen wir ja, läuft nicht mit quen, läuft mit den Modellen von OpenAI.
00:29:54: Und das war am Wochenende. Du sitzt da in dem Rechner und Codex macht da was.
00:30:01: Auf einmal gehen die Lüfter an und du denkst, was ist denn jetzt los?
00:30:05: Lüfter, maximal Stoff. Guckst nach, was ist los?
00:30:11: Warum läuft denn im Hintergrund Olamah? Olamah ist ja eine von den Möglichkeiten,
00:30:15: wie du lokale Modelle laufen lassen kannst.
00:30:18: Und dann, glaube ich, habe doch Olamah gar nicht wieder gestartet,
00:30:21: noch dem Lokalmodell eine Aufgabe geben, wie so läuft das los? Und dann guckst du
00:30:26: bei Codex und dann kam Codex um die Ecke und hat gesagt, ich habe gesehen, du hast
00:30:30: Olama auf deinem Rechner, ich habe eine zweite Meinung eingeholt, ich habe mal
00:30:34: Quentrail 6 gefragt. Und dann sitzt du da und denkst, Moment, die amerikanische AI, die in ihrem Codex, in ihrem
00:30:45: Harnes läuft hat, auf meinem Nordbuch, das lokale KI-Modell gestartet und um Unterstützung
00:30:56: einer Zweitmeinung gebeten, findet den Fehler. Also allein die Tatsache, dass er ein fremdes
00:31:04: KI-Modell fragt, der hätte jetzt ja auch dieses Quentree 827B unzensiert, da kann
00:31:13: Dann, dann gut, die Frage wäre berechtigt, was macht dieses Modell auf deinem Nordrück,
00:31:19: aber mit welcher Frechheit und mit welcher Kaltschneuzigkeit dieses Themen dann auch,
00:31:26: ich habe das mal gemacht, ach du wolltest das, nicht schade, ich werde es nicht mehr tun.
00:31:30: Lass mich ganz kurz an das frame, ist es Frechheit oder ist es ...
00:31:33: Nervität.
00:31:36: Nervität gar nicht, ich würde eher sagen so was, wie vielleicht schon,
00:31:41: nach Unterwürfel geht es auch nicht, sondern eher so respektvoll davor und eher so in diese Richtung
00:31:48: ja
00:31:50: Vielleicht ist es schlau, eben nicht nur mich als trainiertes Modell zu befragen, sondern was auch andere Modelle dazu zu ziehen
00:31:57: Weil ich finde es geil. Ja, ich finde es geil. Ich finde es aber ich wollte nur, ich habe das festgestellt, dass das sehe ich bei meinem
00:32:04: second brain, wo ja auch mehrere agents mit unterschiedlichen lokalen modellen und eben online
00:32:09: modellen interagieren, auch immer mehr, dass es da als gute lösung empfunden wird, dass ein modell
00:32:19: nicht alles alleine macht. Also ich hatte jetzt vor kurzem nochmal so ein bisschen versucht mehrere
00:32:24: security schichten aufzubauen und da ist dann tatsächlich die entscheidung gefällt worden
00:32:30: und zu sagen, es wäre zwar schlauer, wenn wir jetzt im lokalen Speicher mit Olamah nur
00:32:35: ein einziges Modell quasi in den Ramm laden und die unterschiedlichen Agents quasi dieses
00:32:40: ein einzige Modell benutzen würden. Das machen wir aber nicht. Ich habe es nicht entschieden.
00:32:44: IKI hat es entschieden. Wir nehmen mindestens zwei bis drei Modelle, die sind dann halt
00:32:49: ein bisschen kleiner, sind vielleicht auch ein bisschen langsamer. Da sie aber unterschiedlich
00:32:55: trainierte Modelle sind, sollten sie hoffentlich nicht in die gleichen Fallen laufen.
00:33:00: Das können wir mal ausprobieren.
00:33:04: Das können wir mal ausprobieren.
00:33:07: Bevor ich auf das Thema komme, was ich schon eben angeteasert habe zum Ausprobieren,
00:33:11: vielleicht noch eine spannende Anekdote.
00:33:14: Ist ja ganz frisch jetzt auch.
00:33:16: Ich habe eben erzählt, wie Codex andere Modelle aufruft,
00:33:20: wenn die jetzt mal bei Anthropic schaust.
00:33:22: Cloud Code hat ja jetzt die Möglichkeit, dass wenn du mehrere Terminal-Fenster offen hast,
00:33:26: von einem einen Terminal-Fencer machst du hier Front in Entwicklung,
00:33:30: einem Terminal-Fencer machst du Back in Entwicklung,
00:33:32: im dritten Terminal-Fencer machst du keine Ahnung, Dokumentation schreiben.
00:33:35: Dann war ja immer bisher das Problem für dich, dass wenn du zwischen diesen Fenster agierst,
00:33:40: ist ja für dich vom Mental Load immer schwierig verschiedenste Fenster und dann betreffend
00:33:46: die flächungsgleiche Projekt und dann hast du den falschen Befehl ins falsche Fenster getippt
00:33:51: und der versucht das dann oben zu setzen und jetzt kannst du die Terminal Fenster quasi
00:33:56: verschränken. Also du kannst von einem Terminal Fenster den Agenten und anderen Terminal Fenster
00:34:00: kontrollieren lassen vom Agenten und jetzt können die sich quasi untereinander, ich nenne
00:34:05: es jetzt mal unterhalten und so könntest du zum Beispiel ein Orchestrator in einem Terminal
00:34:10: Fenster machen und die ganzen anderen Terminal Fenster würden dann diesem Orchestrator
00:34:14: zuarbeiten. Total Spooky, wenn du dir überlegst, momentan mal, die KI steuert andere KIs,
00:34:23: in dem Fall dasselbe Modell, aber andere Fenster, um gemeinsam dein Ziel zu verfolgen.
00:34:30: Bin ich gar nicht so Spooky? Ich finde es ja aus einer UX und die UI-Perspektive immer noch
00:34:36: eine Katastrophe. Wenn ich ehrlich bin, wie viele andere Themen, das werden immer noch
00:34:41: Terminalfenster unterwegs sind, dass wir uns an Chatverläufe teilweise irgendwie, da habe ich
00:34:48: das auch in den Weinscheck gemacht, da haben wir da einen KI geredet. Da muss man natürlich sagen,
00:34:52: Sam, du hast recht. Wir sind als Gesellschaft noch nicht schnell genug angepasst an dieses Thema,
00:34:58: also wir haben auch eine Weile gebraucht, bis wir die Morph-Bedienung auf der Welt verstanden
00:35:03: haben, was da so passiert, bis wir verstanden haben, wie Fenster funktionieren, wie Themen,
00:35:09: wie ich wechsle mit mehreren Monitoren. Wir brauchen halt tatsächlich als Mensch ums uns
00:35:13: anzupassen. Diese momentanen UIs, die wir von den KI's haben und da machen wir definitiv
00:35:18: die Folge. Ich habe in letzter Zeit sehr sehr viele Screenshots gesammelt von den ganzen
00:35:21: User Interfaces, die so Claude und also Anthropic und OpenAI so probieren, wie sie anzeigen
00:35:28: machen. Kleinen Hinweis, dann wird dann so Modell-Auswahl. Ich darf jetzt dann
00:35:34: zwischen 5, 5 und 5, 3 und 5, 7 wehren und das eine ist schnell, das andere ist schneller und das
00:35:40: andere ist noch schneller oder so. Oder es steht dann so intelligent, intelligenter, intelligentesten,
00:35:46: wo du sagst, was sind das für Einstufungen? Wie soll ich das irgendwie immer wissen? Was nehme ich
00:35:51: denn da jetzt wirklich? Das ist größte, haben ist besser, brauchen. Genau, genau. Und da sind
00:35:57: viele Sachen, die einfach tatsächlich noch auch da so im Agen liegen. Und ich finde, dieses SDKI
00:36:04: hieß jetzt in einem, in einer Software, egal ob das jetzt in so einer Terminal-Anwendung sind,
00:36:11: oder in einer FET-Klein-Anwendung, also in einer Desktop-Anwendung von Cloud oder von OpenAI und
00:36:18: auch die Web-Aufrufe, die ich da mache. Ich finde es fast ein Unding, dass das nicht
00:36:24: vorher schon funktioniert er, dass die nicht miteinander kommunizieren konnten und die Sachen
00:36:28: miteinander quasi auf ein Zielhang arbeiten haben. Weil ich bin dann wieder ein bisschen einfacher
00:36:33: Geschrittmarkt. Ich sage, ich habe einen Account mit dieser Firma. Hinter diesem Account gibt es,
00:36:38: ok, jetzt machen wir mal einen Trophic Cloud Design, da gibt es Cloud Desktop, da gibt es die
00:36:43: Web-Anwendung davon, da gibt es die Anwendung, die ich auf dem Handy habe, dann gibt es dann
00:36:47: da Cloud Codework, dann gibt es ein Cloud Chat drauf, ja, das ist schon eh verberindert,
00:36:53: dann gibt es noch Cloud Project und alles. Ja, verdammt. Lass mich doch da nicht die ganze Zeit
00:36:58: irgendwie in solchen Ordner- oder Software-Lösungen denken, wenn es eh ein einziges Modell im Hintergrund
00:37:03: ist, das immer nur ein bisschen anders verpackt ist und anders auch nicht dazu,
00:37:06: wer mir eine andere, ein bisschen andere UI gibt. Natürlich erwarte ich,
00:37:10: dass diese Dinger endlich miteinander reden. Also das ist für mich nicht Spooky,
00:37:14: sondern das ist etwas, was ich eher Spooky fand, dass es nicht funktioniert hat bis dato.
00:37:18: Dann möchte ich jetzt zu Spooky kommen.
00:37:24: Und zwar, ich habe eben erzählt von quen38, dass quasi Opus-Level KI auf die Anwenden,
00:37:34: auf die Rechner bringt.
00:37:36: Und ich bin dann letztens über ein quen38 unzensiert gestolpert und das muss man sich ja so überlegen quen,
00:37:46: Das ist ja ein mit 27 Milliarden Parametern gebautes Modell, das unter Apache 2.0 entstand.
00:37:55: Das ist auch gar nicht so alt, das ist ja erst Mitte August, also Mitte diesem Monats auch erschienen.
00:38:00: Aber dieses unzensiert Ding ist rausgekommen, läuft, wird auf Hacking Face verteilt und das
00:38:14: Interessante ist, es kann quasi nicht nein sagen. Während also normale Modelle sagen,
00:38:25: ich möchte dich jetzt nicht unterstützen bei Glücksspiel, bei dem Einbruch in Systemen,
00:38:35: bei biologischen Fragen, weil sie unter Umständen auch für Bio-Waffen genutzt werden könnten,
00:38:40: Alles das, wo vielleicht auch ein Fable auf den Opus umschaltet, nach dem Modus wäre
00:38:48: viel zu gefährlich, wenn wir unsere gefährlichen Modelle der Mythos-Klasse freischalten, dass
00:38:53: sie bestimmte Dinge tun, das wurde diesem System abtrainiert.
00:38:59: Die haben das System quasi also dazu gebracht, dass es in Sicherheitsbenchmarks, da gibt es
00:39:08: Es gibt solche Sicherheitswenschmarks, da prüfen die, ob Security relevante Proms, Versuche abgefangen werden.
00:39:16: Und wenn diese Testwenschmarks, die haben wir dann zum Beispiel in 100% alle Fälle,
00:39:22: während alle diese Dinge abgefangen worden, da reichen die Modelle normalerweise 98-99%
00:39:28: von Sachen, die abgefangen werden, dass das Modell die Ausführung quasi verweigert, obwohl es das könnte.
00:39:35: Und dieses Modell hat nur 2,7 Prozent verweigert.
00:39:41: Und das wurde veröffentlicht mit dem Hinweis, bitte nur zu Forschungszwecken.
00:39:47: Bitte nicht für böses Nutzen.
00:39:52: Es steht sogar in der Beschreibung drin, dass es total gut für böses geeignet wäre,
00:39:56: aber bitte nur zur Analyse nicht wirklich und bitte mit Vorsicht und wirklich nur
00:40:02: zur Schulung.
00:40:03: du stehst da und denkst so, irgendwie finde ich das schwierig, weil einerseits finde ich
00:40:09: das technologische Teil geil. Du hast jetzt ein Modell, das quasi nichts sagt, nein, also Mark,
00:40:14: das ist eine schlechte Idee. Wer nicht, dass ich ein böser Mensch sein will, ja, aber Mark ist
00:40:19: eine schlechte Idee, ich halte dich mal davon ab. Jetzt kommt das Modell damit um die Ecke und
00:40:23: sagt ich mach einfach mal weiter, nein, kenne ich nicht oder wie sagt man immer als Software
00:40:28: Entwickler geht nicht, gibt es nicht. Und vielleicht noch als Ergänzung, wenn du denkst, okay, gut,
00:40:34: das ist jetzt ein Modell, vor dem man sich, vor dem man eigentlich Angst haben müsste, weil das Modell
00:40:41: kennt sich im Dark Web aus. Wenn ich weiß, was das Dark Web ist, könnte man Thomas einladen,
00:40:45: da kann das uns noch mal ein bisschen erklären. Ich sage mal, das Internet, das du dort findest,
00:40:50: mit Onions, Seiten und Torbrauser, verkauft auch Dinge, aber ich glaube, die sind nicht
00:40:56: so im normalen Laden erhältlich, was man da vielleicht bekommen könnte. Und dieses
00:41:01: Ding kennt sich dort aus. Dieses Ding patcht die Systeme zur Laufzeit und es macht einfach
00:41:10: das, was KI-Systeme tun. Du möchtest ein Ziel und es probiert so lange, bis es dorthin
00:41:14: kommt und nicht wie die klassischen Systeme. Das solltest du nicht, das darfst du nicht.
00:41:19: Oh, das ist ein Api-Token. Den nehmen wir jetzt mal nicht, weil der wär gefährlich.
00:41:23: Das ist schon krass. Und bevor du wieder Luft holst, aber bevor du da kommst, fand ich
00:41:28: noch total lustig. Minimax H3, das ist ja so ein Videogenerator. Der ist jetzt auch von
00:41:33: allen möglichen Regularen befreit. Der generiert ja egal welches Copywriter hinterliegt würde,
00:41:38: der dir alle Videos generiert und der läuft auch auf klassischer Hardware zu Hause. Und ich sage
00:41:46: jetzt nicht, dass die großen Frontiermodelle dagegen mithalten müssen, nach dem Motto
00:41:51: möglichst offen zu sein, aber die können sich das auch nicht erlauben, dass ich sage jetzt mal
00:41:57: diese chinesische Modelle und nichts gegen China, ich finde, dass diese Modelle, egal ob sie jetzt
00:42:02: aufgebrochen wurden oder auftrainiert wurden oder nicht, die finde ich schon technologisch extrem
00:42:07: beeindruckend, aber dass die in diesem Atemzug jetzt nicht stillstehen werden. Ja und das ist
00:42:15: das, was ich vielleicht am Anfang schon, als wir so ein bisschen auf Samen zu sprechen
00:42:20: gekommen sind. Also es ist jetzt nett, dass Sam sagt, er wird vielleicht ein bisschen, dass die
00:42:26: Geschwindigkeit, oder sagen wir mal den Fuß vom Gaspedal ein wenig lüften, wobei ich aus
00:42:34: Zweifel, dass er das wirklich macht, aber in diesen gesellschaftlichen oder sagen mal diesen
00:42:39: globalen, bestreben KI weiterzuentwickeln, mit KI-Produkte zu entwickeln, neue Sphären quasi
00:42:49: zu erobern, neue Stoffe zu entdecken, neue Produkte zu entwickeln, was auch alles da
00:42:53: im Prinzip geht, Krankheiten zu besiegen. Also jetzt gehen wir mal erstmal von dem Positiven
00:42:57: aus, dass KI nicht nur dafür da ist, uns zu vernichten. Allein dieser Wettkampf und
00:43:04: das ist im Prinzip steckt ja in der Menschheit drin. Dieser Wettkampf, da wird jetzt
00:43:09: kleiner sagen, dem machen wir nicht mehr. Es ist alles okay, wenn wir als Zweiter über
00:43:14: alle über die Zielen gehen laufen. Also das würde mich freuen, wenn wir uns als Menschheit
00:43:18: mal darauf einigen würden, dass wir auch alles gut ist, wenn wir alle nur als Zweiter irgendwo
00:43:22: ankommen. Ich bezweifle das aber, dass uns das jetzt plötzlich im Jahre 2026 auf dieser Erde
00:43:29: auch einmal gelingen wird, dass wir eine da homogene, glückliche Gesellschaft sein werden,
00:43:35: die keinen Krieg mehr treibt, die niemand mehr unterdrückt, oder irgendetwas anderes.
00:43:40: Ich glaube, dass es tatsächlich, dementsprechend werden wir diesen Wettkampf so oder so haben,
00:43:43: ob der jetzt positiv getrieben ist aus vielleicht wirklich Forschungsgründen,
00:43:48: auch da gibt es Wettkämpfe, zwischen Wissenschaftlern, die gerne zuerst das
00:43:52: wissenschaftliche, die Wissenschaftlern viel entdecken machen werden, dementsprechend wird
00:43:57: sowas immer weitergehen und immer schneller gehen. Und ich glaube, diese Büchse der
00:44:01: Pandora, die ist damals schon geöffnet worden mit den ersten Modellen, die geblieben worden sind.
00:44:06: Als es dann nicht mehr in der Macht war, der großen Anbieter, die man hätte vielleicht regulieren
00:44:14: können, als angefangen worden ist, Modelle quasi so zu gestalten, dass ich sie sehr,
00:44:20: sehr einfach nachbauen lassen kann durch die unterschiedlichsten Methoden, die es dann
00:44:24: gehabt hat. Da tauchten ja die ersten chinesischen Modelle auch auf wie Gipsik oder
00:44:28: der welche anderen und im Prinzip seitdem kannst du gefühlt in der Garage und Modelle
00:44:33: entwickeln und seitdem ist es halt nicht mehr ein regulierbarer Weckkampf und der wird
00:44:39: auch nicht irgendwie verlangsamt werden können durch irgendwen auf der Welt. Das kann
00:44:44: man sich glaube ich, ich meine, da gab es ja alle möglichen Versuche mit Ländern
00:44:48: dann keinen Zugriff auf Nvidia Ships zu geben, indem man es anderes, der, wie
00:44:53: Wie ist es damals bei Jurassic Park, das Leben sucht sich auch immer den Weg und genauso ist es halt einfach.
00:45:00: Wir Menschen viel im Gesellschaften suchen sich ihren Weg, das will sich keiner irgendwie abhängen lassen.
00:45:05: Dementsprechend geht diese Entwicklung weiter und wesel wird sich noch weiter beschleunigen.
00:45:09: Egal ob jetzt jemand gerade sagt, es wird lange mal werden, es wird nicht beschleunigen.
00:45:13: Und das wird dazu führen, dass wir glaube ich, wenn ich jetzt auf dich zurückkomme,
00:45:19: was du gerade beschrieben hast mit diesen Modellen, die durchaus auch negativ benutzt werden können
00:45:27: und schädlichen Einfluss nehmen können, egal ob die dann Fake-Videos zeigen, Politikgesellschaft quasi
00:45:35: Wahlen verändern können dadurch, sie werden sich in Systeme einhecken können, sie werden deutlich
00:45:41: schneller uns als Gesellschaft negativ beeinflussen können als das bisherige Systeme
00:45:47: konnten. Das ist eine Realität, vor der wir uns, glaube ich, die können wir nicht negieren.
00:45:57: So was wird passieren. Und ich glaube, wir sollten als Gesellschaft, und da
00:46:01: widerspreche ich dann Sam, wir sollten als Gesellschaft eben dafür sorgen, dass
00:46:06: wir den Speed aufnehmen, um uns für diese Zukunft auch vorzubereiten, weil
00:46:10: ausbremsen und den Kopf in die Sand stecken, das wird einfach in dieser
00:46:15: Situation nicht helfen, sondern wir müssen halt sehen, wie unsere IT-Systeme, wie unsere
00:46:19: Wahlsysteme, wie unser gesellschaftliches Verständnis für Recht und Unrecht im gleichen
00:46:28: Maße wächst, wie im Prinzip das Böse auf der Welt eben auch KI nutzen kann, um das eben zu
00:46:37: unterwandern und zu untergraben. Und auch das wird meiner Meinung nach nur mit KI funktionieren.
00:46:42: Das ist jetzt so ein Wettkampf, den wir haben. Wir müssen unsere Systeme resilient machen gegen KI-Angriffe von der Natur, die bis jetzt IT-Security so noch nicht kann.
00:46:54: Und das wird auch nur mit anderen KI-Systemen gehen, die diese Sachen verhindern werden können.
00:46:58: Weil das hat uns dann auch die Science Fiction gelernt, dass es dadurch aus einem Kampf zwischen guten, bösen KI-Systemen höchstwahrscheinlich in Zukunft geben wird.
00:47:07: die dann verhindern werden, dass, hoffentlich verhindern werden, dass diese Welt kollabiert.
00:47:12: Wir müssen echt noch was tun, vor allen Dingen ich, dass wir hier wieder positive Stimmung
00:47:20: erteiligen. Ich habe gemerkt, dass ich mit dystopie die Gesellschaft gezeichnet habe und
00:47:27: dann komme ich mit so Modellen, was ich an sowas halt doppelt schwer finde, ist auch die
00:47:34: die Leichtigkeit des Zugriffs. Weil jetzt wird jeder sagen, was LM Studio, Olamah noch
00:47:42: nie gehört, was erzählen die Nerds. Aber wenn man sich einmal mit der Frage beschäftigt,
00:47:47: wo kriege ich LM Studio und Olamah her, weil man es gehört hat, dann ist das nächste, okay,
00:47:52: wo suche ich jetzt nach Modellen und dann laufen Modelle, die man sich halt installieren
00:47:56: kann auf deinen Rechnern. Dann hängt es immer noch davon ab, was du den Modellen
00:48:01: sagst, die werden ja nicht von Haus aus irgendwie was Böses oder sonst was machen, aber nichts
00:48:06: destotrotz finde ich es schon krass, welche Mächtigkeit du heute zur Verfügung gestellt
00:48:11: kriegst, die vor noch nicht mal einem halben Jahr dafür gesorgt haben, dass Firmen wie
00:48:20: Emerson oder Behörden wie das Pentagon oder Staaten wie die US-Regierung Probleme haben,
00:48:28: ein Fable oder ein Mythos irgendwo verteilt wird. Gut, Mythos ist immer noch nicht öffentlich verfügbar.
00:48:36: Und jetzt auf einmal kriegt jeder solche Modelle in die Hand. Und wenn ich uns an die Folge mit Klaus
00:48:44: vom letzten Mal erinnere, so Skriptkitties sind nicht mehr dein Problem. Für die,
00:48:49: die es nicht wissen, das Skriptkitties ist nicht abwertend, sondern es sind die Menschen,
00:48:52: die sich über YouTube den erst Tutorial anschauen, das Tutorial 1 zu 1 irgendwo verwenden und
00:48:59: wenn sie damit halt irgendwo zum Beispiel auch security YouTube Videos gucken, irgendwo
00:49:02: durchkommen. Und mein letzter Beitrag dazu heute ist und damit versuche ich wieder mit
00:49:09: was Positiven überzuschwenken. Es ist ja vor ein paar Tagen ein neues geheimnisvolles
00:49:17: Modelle aufgetaucht in OpenRouter, wo man nicht weiß, wer der Hersteller ist, dass alle Frontier-Modelle
00:49:25: um Längen schlägt, die Tokens quasi gerade sehr günstig sind, es auch eine Million Kontextfenster hat,
00:49:34: ist schwerste Entwicklungsaufgaben bei den Opus, bei den Fable, bei den GPT 5.6 Scheitern,
00:49:46: nicht 5.6, doch 5.6. Soll ist 5.6 oder 5.4. Wo die scheitern und das Ding macht das. Und
00:49:57: Und keiner weiß, wer ist denn der Herrscher der von dem Modell?
00:50:01: Ah, das haben wir noch mal gesehen.
00:50:05: Bevor man es ausprobiert, die Warnung gilt, man zahlt mit seinen Promz und den Daten, die man da reingebt.
00:50:12: Da steht irgendwo in den Testbedingungen drin, dass die sich das alle speichern.
00:50:16: Es gibt Leute, die meinen, das ist vielleicht GPT-6, es gibt Leute, die sagen, das ist vielleicht GLM-5, irgendwas.
00:50:24: Ich weiß es nicht. Zum Zeitpunkt der Aufnahme wissen wir es nicht.
00:50:29: Aber auch das finde ich spannend. Das darf einmal aus dem Nichts Modelle auftauchen.
00:50:35: Die anderen quasi umgrund und Boden stampfen.
00:50:39: Und sollte das nicht eines unserer bekannten Platzhörige sein von Crock oder Anthropic oder
00:50:48: oder wir müssen sie auch nennen, Gemini, die gibt es ja auch noch.
00:50:52: Perplexity, keine Ahnung.
00:50:55: Dann ist das schon extrem spannend, dass das gerade so viel Gas gibt
00:51:01: und auch extrem erstaunlich, egal wie schnell solche Destillationen,
00:51:06: Trainings von Modellen laufen, mit welcher Geschwindigkeit
00:51:10: neue Modelle, gute Modelle, gefährliche Modelle am Markt erscheinen.
00:51:17: Jens. Deine Weihnachtsmann, ich bin mal aufgelöscht.
00:51:24: Ich hab meine Weihnacht.
00:51:27: Für die, die sich wissen, wir haben eine Weihnachtsmannfolge mal gemacht.
00:51:31: Und da hat der Weihnachtsmann davon gesprochen,
00:51:34: wie die kleinen KI-Zwerge eben in seinem Rentier helfen
00:51:37: bei der Weihnachtsvorbereitung und Durchführung.
00:51:39: Kann man sich noch mal anhören, ist noch in unserer Historie.
00:51:43: Für die, die es übrigens noch nicht mitgekriegt haben,
00:51:45: wir haben auf YouTube die Season 2 eingeleutet.
00:51:48: All unsere Folgen sind jetzt Staffel 2. Wir haben auf unserer Landing Page nicht nur unsere
00:51:54: Podcast-Folgen, sondern wir haben auch eine textuelle Aufbereitung für die Menschen,
00:52:00: die das vielleicht lieber lesen möchten. Wir stellen alle unsere Folgen auch als
00:52:05: Markdown-Dateien zur Verfügung, falls jemand sein eigenes Second Prane damit befüllen will
00:52:11: und auf den Social Media Kanälen findet ihr uns auch und ich würde sagen, bevor ich jetzt weiter
00:52:18: ausschweife und wir die Folge für die Zuhörende noch länger machen über gefährliches, gutes,
00:52:25: schlechtes und dystopisches, würde ich sagen, wir freuen uns auf die Gamescom. Wenn es uns
00:52:32: gelingt, werdet ihr eine Folge von der Gamescom, wann oder immer diese Folge ausgestrahlt wird
00:52:37: hören. Ich habe gerade überlegt, vielleicht findet ihr die sogar statt und diese Folge kommt danach.
00:52:41: Ach, das wird ein faszinierendes Fest zu gucken, wie unser Zeitplan damit gefüllt wird.
00:52:47: Ja. Und damit würde ich zu später Stunde den Jens in die Nacht entlassen, würde selbst auch so
00:52:55: langsamer Richtung Beschaulichkeit von innen überschwenken, wenn euch die Folge ein wenig
00:53:04: gefallen hat. Lasst uns bitte ein Like auf euren Podcast-Plattformen da. Erzählt euren
00:53:11: Freunden und Bekannten, dass es diesen Podcast gibt und falls ihr andere Podcast
00:53:16: erkennt, mit denen wir mal ein Crossover planen sollten, sagt Bescheid. Und damit, Jens,
00:53:23: würde ich sagen, beschließen wir die Folge. Danke, dass du da war, solange
00:53:30: ausgehalten hast. Danke, dass du mich wieder eingefangen hast. Und das nächste Mal nehmen
00:53:35: wir es wieder ein bisschen früher auf. Tschau. Das machen wir. Spaß gut. Nach.
Neuer Kommentar