More human than human.
Shownotes
In dieser Folge tauchen wir tief in die Welt von Blade Runner ein und fragen uns, wie nah wir der Science-Fiction schon heute sind. Wir diskutieren, was der berühmte Voight-Kampff-Test mit modernen KI-Benchmarks zu tun hat, warum Emotionen in der KI immer wichtiger werden – und ob Menschlichkeit überhaupt noch messbar ist. Dabei streifen wir Themen wie Machtkonzentration, die Rolle von Open Source und wie KI unsere Gesellschaft und unseren Alltag verändert. Gemeinsam überlegen wir, ob es in Zukunft reicht, Mensch oder Maschine zu unterscheiden – oder ob wir uns ganz neue Fragen stellen müssen. Wenn du wissen willst, wie viel Blade Runner schon in unserer Realität steckt, bist du hier genau richtig!
Blade Runner
https://de.wikipedia.org/wiki/Blade_Runner
Voight-Kampff-Test
https://de.wikipedia.org/wiki/Voight-Kampff-Test
Turing-Test
https://de.wikipedia.org/wiki/Turing-Test
ChatGPT
Fraunhofer-Institut
Gemini (Google)
https://deepmind.google/technologies/gemini/
Open Source KI-Modelle
Neuroment (Roman)
Transkript anzeigen
00:00:00: So, hallo und herzlich willkommen zu einer neuen Episode von Think Different, Think AI.
00:00:08: Ich bin Jens,
00:00:09: ich bin Marc.
00:00:10: Ich freue mich auf diese neue Folge, die wir heute vorhaben, Marc, weil es einer meiner liebsten, liebsten,
00:00:18: deine Herzenswünsche.
00:00:20: Ja, Herzenswünsche auch, aber meiner liebsten, liebsten Science Fiction Thematiken aufgreift.
00:00:26: Das ist nämlich diesmal unter dem Titel Blatwarner haben wir das Thema mal gestellt und das können wir eigentlich von Blatwarner lernen.
00:00:35: Hinsichtlich der momentanen Situation die wir.
00:00:38: Bei dem Stand der künstlichen die ganz gerade sofort finden und auch der Robotik werden auch eine Folge zum Thema Haus Roboter.
00:00:47: Für den einen oder anderen der Blatwarner vielleicht nicht kennt gibt.
00:00:51: Zwei Filme die so heißen es gab immer den ursprünglichen.
00:00:55: Ich habe aus den siebzehren Jahren mit einem Frau damals in der Hauptrolle.
00:00:58: Im Weltwander gibt es grob erstmal um eine zukünftige Welt in der Megakonzerne, die die Welt ein bisschen beherrschen.
00:01:07: Es sieht alles ein bisschen büster aus und es regnet auch die ganze Zeit auf der Welt.
00:01:11: Das war auch damals in der Phase, wo Science Fiction eigentlich immer eher so... Blänzend bunt waren also damals auch stark aus der alten start-weggen philosophie getrieben und andere thematik eher so.
00:01:24: siebzehr ja bunt alles und dann kam auf einmal.
00:01:28: Blätwarn haben die ecke das regnet es ständig und die leute sind eher so schlecht gelaunt und laufen schlecht gelaunt durch durch so düstere.
00:01:35: Hochhaus cities durch die gegend und es gibt aber auch schon replikanten auf dieser auf dieser welt also.
00:01:43: Wesen die nicht menschlich sind die robot sind die.
00:01:48: Tatsächlich eigentlich so als Arbeitsroboter gedacht waren.
00:01:51: aber, wenn ich mich richtig innen auf so Kulinin eingesetzt werden, also das was man auch so mit Robotern vorhat in der Arbeitsumgebung, wo wir Menschen halt nicht mehr so richtig fit sind, das war dann lieber die Roboter da arbeiten lassen, weil die können das dann aber groben entwickeln, die Hals.
00:02:08: Doch ein emergentes Verhalten und werden empathisch auch empathisch untereinander wollen auch überleben und markt das glaube ich richtig.
00:02:15: also vorhin im vorgespräch und gesagt die sind auch irgendwie so eingestellt dass sie nach vier jahren sterben oder so das ist ihnen bewusst dass sie nach vier jahren sterben und das wollen sie natürlich nicht weil sie jetzt anfangen sich selber wahrzunehmen, gefühle für einander zu haben auch in Richtung menschen zu haben.
00:02:31: und so was das ist so das grobe thema oder grobe plot.
00:02:35: Und dementsprechend haben wir uns gedacht, das ist doch auch ein schöner Topic mal, um in unserer Kategorie wie gehen auch mal so die Filmwelt durch.
00:02:44: Wir haben ja schon so ein paar Sachen aufgegriffen und auch das Thema aufzugreifen.
00:02:48: Weil unter anderem, was da ein Hauptthema bei diesem Filmnummer wieder ist, ist zu überprüfern.
00:02:56: Ist ein Mensch eigentlich noch ein Mensch oder ist das jedenfalls eine Republikan?
00:02:59: Weil die Republikan sind mittlerweile so weit fortgeschritten, dass man sie äußerlich kaum unterscheiden kann von echten Menschen.
00:03:07: Und da wird der Void Fight Test benutzt.
00:03:10: Das ist so ein Test, der beobachtet die äußeren emotionalen Reaktionen, die ein Republikant dann macht.
00:03:19: Das heißt, wenn wir beide uns unterhalten würden und ich die dich in der Diskussion in diesem Test dann dazu führe, dass du an einer Stelle vielleicht lügen muss oder dich erschrecken muss oder ekeln muss.
00:03:31: Dann ist es immer noch so bei den Replikanten, die zeigen dann nicht diese menschlichen Reaktionen.
00:03:35: Dadurch kann dieser Voltkampftest ja da durchgeführt wird, wo auch die Popille unter anderem und das Gesicht alles ein bisschen schräg alles dargestellt in diesem Film.
00:03:45: Und aufgrund dieser Reaktionen kann er dann irgendwie hinterher sagen, ja, der Gegenüber ist tatsächlich nicht eine... Eine Replikant, eine reine KI, die wunderbare Antworten liefern kann, die so tun kann, als wenn sie Mensch ist.
00:03:56: Sondern ich hab's an den nicht vorhandenen, emotionalen Reaktionen auf der Haut in der Popille quasi erkannt, dass das eine Replikant ist.
00:04:03: Das heißt, das ist eigentlich so der Touring-Test-Ondenste-Ruin, wenn du möchtest.
00:04:08: Also das, was der Touring-Test dann so in den Fünfzehn ist, ist, dass da nochmal ein Tacken weiter draufgelegt, Touring-Test für den Zuhörer.
00:04:15: Da geht's drum, Marc, was macht man beim Touring-Test?
00:04:18: Wenn die Maschine nämlich so lange... So belügen kann, dass ich nicht erkennen, dass sie eine ist.
00:04:22: Okay, das war sehr unprofessionell ausgedrückt.
00:04:24: Möchtest korrigieren.
00:04:25: Ja, ja, ist nicht so schlimm.
00:04:26: Also, prinzipiell würden wir Fragen stellen.
00:04:32: Und wir würden beide uns unterhalten in einem Touring-Test.
00:04:34: Und wenn ich dann hinterher sicher bin, ob du ein Mensch bist oder nicht Mensch bist, dann kann ich irgendwie sagen, okay, du bist halt eine KI oder nicht.
00:04:42: Das ist so ein bisschen was in dem Touring-Test.
00:04:43: Ich hab's halt flapsig
00:04:44: ausgedrückt.
00:04:45: Ja, ich auch nicht viel wissenschaftlich.
00:04:47: Aber ... Es geht halt darum, dass du sagst, okay, bin ich im Prinzip entstande, dem Menschen, der gegenüber
00:04:54: ist, wenn
00:04:54: du jetzt mal so einen textbasierten Chat gucken würden, in so einen LM gucken würden
00:04:58: oder
00:04:59: auch in ältere Chatbots, dann ist das eigentlich das Ding, wo man sagt, habe ich das Gefühl, dass ich da von einem Mensch die Antworten bekomme.
00:05:06: oder ist das eine Maschine im Hintergrund?
00:05:08: Ich hatte tatsächlich letztens was, da kannst du quasi so eine Art Multiplayer-Game machen im Form eines Chats.
00:05:15: Und das Thema ist, dass du rauskriegen musst, wer ist noch Mensch in dieser Gruppe und wer nicht.
00:05:23: Das ist auch lustig, weil natürlich du sollst dich nicht verraten.
00:05:27: Gewonnen hat quasi der, der am Schluss nicht erkannt wurde als Mensch, obwohl er einer ist.
00:05:35: Und das ist dann schon witzig, wenn das ist so ein Runden Spiel, jeder darf so Fragen an die Gruppe stellen und die Gruppe antwortet dann.
00:05:42: Und ja, das sind halt ein paar Bots oder vielleicht auch mal nur Bots oder vielleicht auch nur Menschen in diesem Online-Ding zusammen.
00:05:51: Das ist schon lustig irgendwie, wenn du diesen Test quasi als Spielverkauf kriegst.
00:05:58: Ja, das ist spannend, aber das ist genau dieses Thema.
00:06:01: Ich weiß nicht, ob der Peter Sosch mal erzählt hat, aber ich habe ja mal Chechepitile fragt.
00:06:09: Ob ich ein Mensch bin oder eine Maschine.
00:06:11: Also den Touring-Test quasi ungedreht, die Maschine mich überprüfen lassen, ob ich ein Mensch bin.
00:06:16: Und sie war natürlich so, ja, du bist natürlich ganz klar Mensch und ich sag, nee jetzt, woran machst du es denn fest?
00:06:22: Und dann hat sie selbst schon gesagt, ich stelle mir ein paar Fragen gestellt.
00:06:27: Unter anderem, was war mein... Wie ist es erst das Spiel?
00:06:30: oder so was?
00:06:31: Und ich hab dann damals mit einem Open-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C-C Und hat dann hinterher, glaube ich, rausgehauen, dass ich, dass sie sich zu sechs und achtzig Prozent sicher ist, dass ich ein Mensch bin.
00:07:01: Das heißt, ich bin vielleicht zu vierzehn Prozent Maschine.
00:07:07: Oder auch nicht.
00:07:08: Also das ist schon so ein Ding, wo es wirklich heutzutage eigentlich schon, wenn man jetzt auf den Touring-Test, auch in beide Richtungen guckt und auch in dem Spiel, das ist ein schönes Beispiel.
00:07:19: Der Spiel muss man auf jeden Fall beschicken, wie das heißt.
00:07:20: Find ich witzig, wie auch mal rumgespielen.
00:07:22: Ich
00:07:22: such's.
00:07:23: Ich such's mal raus.
00:07:24: Und ich glaube, es gibt seit der GPT-Vier-Fünfer-Version, da gab's ein Studio, da ist so ein klassischer Touring-Test in so einer drei-Person-Geschichte gemacht.
00:07:33: Also das Studio hat überprüft.
00:07:36: Ich unterhalte mich mit Menschen oder ich halte mich mit der Maschine und in.
00:07:41: Dein siebzig Prozent der Fälle wurde die Kommunikation mit sich als menschliche Kommunikation.
00:07:47: Identifizieren.
00:07:48: also das heißt also deutlich darüber, ich glaube die anderen waren damals noch nicht so gut, sondern andere waren damals noch schlechter.
00:07:56: Aber die GPT vier fünf war zu dem Zeitpunkt tatsächlich und ist auch schon wieder ein bisschen her.
00:08:00: soweit das quasi.
00:08:03: Zwei Drittel der Menschen, die sich mit ihr unterhalten haben, der Meinung war, dass sie ein Mensch ist.
00:08:07: Also, sie hat den Touring-Test bestanden schon zu dem Zeitpunkt.
00:08:10: Ich meine,
00:08:10: das macht sie noch nicht zu einem Menschen, aber es ist auf jeden Fall so, dass dieser Touring-Test da eigentlich, sagen wir mal so, ein Frühstücks-Häppchen für die modernen LL-Libs ist, diese Schlucken und uns vormachen können.
00:08:24: Sie sind ein Mensch, wenn sie... Wir texten, wenn es uns
00:08:26: kommuniziert.
00:08:27: Da können wir nachher noch was aus dem Film aufgreifen, was ich vorhin noch machen wollte, weil du vorhin von dem Test gesprochen hast, dass Maschinen keine Emotionen zeigen können.
00:08:34: Ich meine, werdet ihr die heutigen Tests anschauen?
00:08:37: Wir machen ja auch Tests, heißt am Benchmarks.
00:08:39: So nach dem Motto, wie genau trifft eine KI die Antwort, die man haben möchte, wie wiederholbar trifft eine KI die Antwort, die ich haben möchte?
00:08:50: und wie schnell antwortet die KI, wobei das auch ganz lustig, nicht in Summe.
00:08:54: sondern quasi first token lake den sie also so wie lange braucht die kib bis sie anfängt.
00:09:02: Die ihre story darzulegen ja und es gibt ja auch noch ganz viele andere erleben.
00:09:06: wir reden ja ganz viel über so large language models wie chat gpt.
00:09:10: Es gibt ja auch noch die small language models die dinge die auf im plech selbst ja auf dem händi auf irgendeinem chip auf irgendein.
00:09:18: Silicon verbaut, lokal ihre dienste tun, da werden natürlich noch andere Sachen gemessen wie Stromverbrauch und.
00:09:26: Wie schnell ist es auf dem Gerät, da ist dann weniger wichtig, ob das Ding weiß, wo die Insel Taiwan liegt, da geht es drum, dass es quasi die disizierten Arbeiten gut erledigt.
00:09:36: Und das ist halt dahingehend ganz lustig, weil als ich mich damit mal so ein bisschen beschäftigt habe und dachte, da guck mal Benchmarks, ne?
00:09:42: Wie früher, wenn du so ein.
00:09:43: Kommedore, hat es beim Benchmarks egal, dann kam irgendwann die PC, du hattest Turbo-Tasten und deinem Rechner und auf einmal hast du Benchmarks angeführt.
00:09:54: Das ist ja bei KI-Modellen finde ich so ein bisschen so ein kleiner Druckschluss, ne?
00:09:58: Wenn du dir also anschaust, mit was die Benchmarks zu kämpfen haben, dann ist das, ich sag mal mit so Begriffswelten wie konzeptionelle Unschärfe, mit sowas wie Datenkontamination, mit so etwas wie... Naja einfach stichner greifend auf halte methodik also manche tests sag ich mal da antwortet die maschine nicht weil die maschine ich sag jetzt mal eine besonders.
00:10:22: Tolle gedanken erarbeitungsleistung sondern eher eine Gedächtnisgedächtnisleistung abruft weil den test hat sie halt vielleicht gekannt.
00:10:31: also ich meine ein schüter der in die schule geht.
00:10:33: Und vor die testergebnisse findet.
00:10:36: Der ist ja auch und dadurch eine Einschreiber, das ja auswendig gelernt hat.
00:10:39: Das ist ja in dem Sinne jetzt auch kein schlauer Schüler.
00:10:41: Gut, vielleicht okay, vielleicht doch, weil er hat den Test gefunden und konnte auswendig lernen.
00:10:45: Aber es ist ja was anderes, als wenn du das quasi wirklich aus eigener Gedankenleistung machst, versus du kannst quasi adaptieren, was du mal alles gehört hast und kannst daraus rezitieren.
00:10:55: Und das ist ja auch so ein Punkt, warum wir ständig neue Fragen kriegen, diese ganzen World Tests und wie die alle heißen, da quasi Einfluss drauf nehmen.
00:11:03: Aber wir sind halt noch nicht an dem Punkt.
00:11:05: Dass wir Popillen und Hautwiderstände und so weiter messen.
00:11:10: Also nicht, dass ich es würde, falls Replikanten zuhören, habt ihr euch gut versteckt.
00:11:15: Aber du willst nicht mit Ja korrigieren oder worauf möchtest du raus?
00:11:19: Ja, ja,
00:11:19: ich würde schon wieder.
00:11:21: Heute ist die
00:11:21: beste Folge.
00:11:22: Ich war,
00:11:23: ja, definitiv.
00:11:26: Ich war im Sommer fünfundzwanzig auf der EI Gut in
00:11:31: Genf.
00:11:33: Riesenkonferenz um das Thema EI.
00:11:36: Da war ich unter anderem in einem Vortrag.
00:11:38: Ich meine, es war ein deutscher Wissenschaftler aus Berlin vom Fraunhofer Institut, die sich viel um das Thema Cyber Security auch kümmern.
00:11:46: Und es ging um das Thema inwiefern in, zum Beispiel in Videocalls, wenn ich jetzt mit einer Videokai rede.
00:11:55: Wir halt jetzt schon reingetrickst werden in ein Thema, da gab es ja glaube ich den Fall, dass irgendein irgendwo auf der Welt irgendein Angang gestellt, der dachte, er redet mit seinem Ski Financial Officer und dabei war das im Prinzip ein KI generiertes Video, was damit ihm geredet hat und er ist drauf reingefahren.
00:12:12: Und dann hatte der Wissenschaftler dann erzählt und das fand ich dann auch erstaunlich, das ist natürlich so eine Art, ja so ein Rennen um, okay, was kann ich als gefaktes KI?
00:12:23: Video generieren?
00:12:25: und was passiert dann auf der anderen Seite in der damit wir das vielleicht als firma als privatperson erkennen.
00:12:30: Und da sprach er damals von das.
00:12:32: er sagt okay jetzt achtet man in solchen k.i.
00:12:34: generierten videos schon drauf ob sich auf der stieren.
00:12:37: halt die Pulsader bewegt, weil da irgendwie auch Glut unter der Haut irgendwann läuft.
00:12:43: und solche Sachen werden momentan vom.
00:12:45: KI-Video ist dann noch nicht generiert und dadurch kann man mit ausreichender Softwarekenntnis, mit ausreichender Abwehrkenntnis, kann man natürlich dann erkennen, dass das im Prinzip in dem Fall ein Replikant ist und kein echter Mensch, der mit dir redet.
00:12:58: Ja im nächsten Schritt wird natürlich wird natürlich die video generierung so besser werden dass solche sachen eben auch dann nicht mehr als merkmal gehen.
00:13:06: also dass dann emotionen also.
00:13:09: Wenn es ist ähnlich mit diesem was ich jetzt gerade als Beispiel mit dem mit dem selbst gemachten reverse Turing testen mit der Maschine wo ich sie ja gesagt habe kannst du denn dann sicher sein dass diese diese emotionale antwort.
00:13:19: Nicht bewusst von mir als KI gemacht worden ist um dich quasi rein zu trinken dass ich doch emotional sein kann?
00:13:24: also das heißt dieses thema imitation.
00:13:27: Die Menschlichkeit fragt auch gehen kann.
00:13:31: Das ist ja etwas, das ist, also da sind wir heute.
00:13:33: Das hat bis der Touring-Test wahrscheinlich schon nicht mehr ausreichen und deshalb ist es ja auch so spannend, wenn wir jetzt auch Blade Runner gucken, geben diesen, diesen Boit-Kampf-Test, ich glaube ich, den, der,
00:13:44: falls er anders heißt, hätten wir was zum Fusseln, also lass es doch einfach mal so.
00:13:48: Ja, aber es ist irgendwie, er heißt, ja, er ist Harrison Ford und er heißt, in dem, ich will es wissen, ich habe es mir irgendwo rausgesucht, es ist Deckard, genau.
00:13:56: Deckard ist der, Mensch der da auf die jahr nach replikanten geht na der ist so ein der läuft immer mit der maschine rum und überprüft alle möglichen möglichen replikanten oder menschen ob sie eben drückt an sind und tötet dann eben auch die replikanten weil die soll da ja nicht rumlaufen und mit emotion unter den menschen sein.
00:14:13: Das ist die aufgabe von deckert und diesen test durchzuführen und nach emotionen zu gucken das ist im prinzip das was jetzt.
00:14:20: Vielleicht die nächste schnuffe sein könnte.
00:14:23: Um zu überprüfen ist da eine kei.
00:14:27: Wie menschlich ist eine K.I.
00:14:28: und was macht das A.I.
00:14:31: aus?
00:14:31: Das ist ja auch ein Thema, quasi auch von dieser emotionalen Tee, wie ich sage, das ist vom Film, ja.
00:14:36: Also das ganze Thema emotionale K.I.
00:14:38: und parasoziale Beziehungen.
00:14:40: Also in meinem Film suchst du nach Replikanten.
00:14:42: Und wenn du heute mal guckst, ob May I beispielsweise mit ihrem Voice Mode, der so ein bisschen auch flirty sein kann, was einen auch wieder an den Film, ja, Blade Runner oder auch den Film Hör.
00:14:57: näher bringt wo ich ja auch jetzt ich sag jetzt nicht wegen romantischer gefühle mich immer angesprochen fühle aber das sagt ich auch schon meiner folge wenn du mit dem voice mode sprichst und irgendwie eine diskussion kommst im guten wie im schlechten und wie du dann auch selbst anfängst auch emotionale regungen zu zeigen weil du eben auf dieser sprachebene unterwegs bist.
00:15:17: und ich gebe zu ich habe auch schon mal wenn ich jetzt immer doch mal zu gesagt.
00:15:23: Was ich ja so vielleicht auch manchmal tippen würde, okay, aber was mir natürlich viel leichter über die Lippen pumpt, wenn ich mit etwas rede.
00:15:31: Das stimmt.
00:15:31: Das stimmt.
00:15:32: Und deshalb ist es natürlich auch so ein bisschen, das wurde auch in anderen Filmen aufgegriffen, dieser Emotionalität.
00:15:39: Die ist ja wichtig, weil wir Menschen brauchen ja auch eine gewisse Emotionalität, jetzt wieder aus meiner UX und Perspektive heraus, ist das schlau.
00:15:49: Dadurch wird diese Maschine nutzbarer für uns, weil sie Weil die Menschen ähnlicher agiert.
00:15:56: Sie ist halt nicht mehr nur das reine Klicke auf einen Button und irgendwas funktioniert es.
00:16:02: Genau kalte oder ich mache ich drücke den Türknopf und die Tür geht auf den Griff der Tür und die ganze Tür aufmachen.
00:16:08: Das ist jetzt eine ganz andere Interaktion, die zwischen uns und Maschinen im Prinzip stattfindet.
00:16:14: und da sie sich häufig um Wissen dreht.
00:16:20: Und wir das ja manchmal auch gar nicht so richtig beschreiben können, was wir machen und in unserer täglichen Arbeit sind wir auch mit in der Interaktion entsteht, durch das Thema ja schon mal, durch die Kultur entsteht eigentlich Intelligenz, also dadurch, dass wir uns austauschen, aber Themen, da entsteht dann eigentlich etwas.
00:16:35: Und ich glaube, das geht, das würde gar nicht so funktionieren.
00:16:41: Mit einer k.i.
00:16:42: komplett kalt zu reden weiß das ist im prinzip dieser diese ganz kalte computer stimme ist die dann einfach für mich recherchiert irgendwelche sachen und ein ergebnis liefert so.
00:16:52: Dann ist es nun verbessertes google weiß das ist aber auch nicht das was im prinzip diese moderne k.i.
00:16:56: quasi ausmacht.
00:16:57: sie kann halt mehr kann emotional werden.
00:17:00: Sie kann mich böse machen, weil dann die Ergebnisse das dritte Mal irgendwie doch wieder falsch sind, weil sie mich verstanden hat in dem Moment.
00:17:05: Aber im Endeffekt führt das zu einer Präzision meiner Eingabe, weil ich es dann dann nicht so sauber geschrieben habe, genauso wie ich jetzt vielleicht im beruflichen Umfeld im Praktikanten das nicht hundertprozentig klar gesagt habe, was er denn eigentlich tun soll.
00:17:18: Und dadurch, dass er dann die Aufgaben nicht gut zurückbringt, wie er dann im Dialog Dann festst du, okay, es war durchaus meine Schuld, dass ich dann in der Aufgabenbeschreibung zu schlurig war.
00:17:28: Und das ist ja auch eine wichtige Interaktion, die mit Emotionen durchaus verbunden
00:17:31: ist.
00:17:31: Das ist ja was, wenn ich Menschen ein bisschen was über KI zeige und die Leute dann anfangen, ja, ich probiere das mal aus.
00:17:38: Nach dem Motto, oh, das sind halt tolle Ergebnisse, aber halt auch auf der anderen Seite das Promting unterschätzen und dann sagen, ja, du, der hat das ja falsch gemacht, wo man dann sagt, na ja, jetzt stell dir vor, du hast hier den Schlausten.
00:17:51: Die schlauchste Person im Raum, die könnte das Problem, das du hast, natürlich lösen.
00:17:56: Aber wenn du ja gar nicht sagst, was dein Problem ist und dir nicht sagst, dass sie außerdem Flipchart und dem Etting nichts benutzen kann, dann brauchst du dich auch nicht wundern, wenn du nachher keine Ahnung in Latech irgendwas zur Verfügung gestellt bekommst, was du nicht verstehst oder andersrum.
00:18:13: Und von der Seite ist das auch dieser Punkt, dass man den Maschinen wirklich ... ja.
00:18:18: Erklären muss was man will und dann auch gute Ergebnisse kriegen kann was mir in dem umfeld hat auch einfällt ist das wird ja auch immer wichtiger.
00:18:26: also ich meine der spruch oh wir brauchen prompt engineers der so alt wie mit usalem geführt in einer it welt ist ja alles sehr schnell sehr alt.
00:18:34: Aber wenn jetzt mal gerade guckt so was wird in der jüngsten vergangenheit passiert ist dann ist ja gerade auch so etwas wie.
00:18:43: Ich bring was neues raus, dann kommen wir auf einmal Krok, bring was neues raus, dann kommt er auf mein Air und bring was neues raus, dann kommt ein Tropic, die bringt was neues raus.
00:18:51: Du rates, rates, rates, rates, dreht sich, dreht sich, dreht sich.
00:18:54: Und ich merke es auch in der Schule meiner Kinder, dass es einen gewaltigen Unterschied bereits dort gibt, welches
00:19:02: Tool
00:19:03: habe ich zur Verfügung?
00:19:04: und das ist ja auch wieder so ein bisschen eine Parallele vielleicht im kleinen.
00:19:09: zum film.
00:19:10: also mach konzentration dadurch dass du quasi die bessere k.i.
00:19:16: hast die ausführlichere antworten gibt die schönere bildermalt die die datai typen verarbeitet die halt ich sag erstmal die offene version vielleicht noch nicht verarbeitet und damit auch dir ist ermöglicht viel schnell ein prozess zu kommen.
00:19:31: ich habe bekannten der hat heute morgen zu mir gesagt du mal kannst mir helfen.
00:19:36: Mein Sohn muss für eine Arbeit eine Unterlage erstellen.
00:19:40: Und ich habe ihm dann mal auch gezeigt, was du zum Beispiel Nordbogalem hinkriegst, von dem Research über Phonien generieren, dann auch über Videokonferenz mit den Tonchuhrs, der Endout generieren und der war völlig barf, was da geht.
00:19:53: Ich habe natürlich auch gesagt, dass er sich darüber wusste, wie viel Lernerfolg am Ende vom Tag drinnen ist.
00:19:58: Aber wenn du nur auf das Ergebnis guckst, gibt es einen Unterschied.
00:20:02: Zwischen jemandem, der jetzt, okay, ich habe hier eine wertvolle Unterlage, ich habe ich zwar mit beschäftigt, aber ich habe hier etwas und ich kann das auch gut präsentieren.
00:20:10: Und ich kann meine Arbeitszeit oder meine Vorbereitungszeit darauf verwenden, ich sage mal gezielt auf dem Ergebnis zu lesen, gezielt in meiner Mimikörpersprache für die Präsentation zu üben.
00:20:22: Wer so ist, ich fang auf einem weißen Blatt Papier an.
00:20:25: habe vielleicht noch ein altes Modell, das kann auch nicht so richtig suchen, das halluciniert vielleicht auch ein bisschen mehr, weil du kein Deep Research einschalten kannst und so weiter und so weiter.
00:20:34: Das ist auch eine Art von Machtkonzentration bereits im Kleinen.
00:20:39: Was steht mir zur Verfügung, wie gut investieren die Hersteller in ihre neuen Modelle?
00:20:45: In Small Models, in Large Models, vielleicht irgendwie auch in World Models.
00:20:50: und stellen den Menschen zur Verfügung und können die das nutzen einfach durch den Einwurf von Münzen und Kenntnis der Tools.
00:20:57: Ja, das ist also tatsächlich, man du hast das jetzt diese Machtkonsultation an dem Beispiel von einer Hausaufgabe gezeigt, der eine Wir haben kleinere gezeigt.
00:21:10: Ich meine, das sehen wir ja im Großen.
00:21:12: Das ist jetzt kein Wunderbaum.
00:21:15: Alle möglichen Staaten mit guter oder schlechter Führung dahinter versuchen, KI-Zentrum auf der Welt aufzubauen, Rechenzentrum aufzubauen, noch einen Löcher.
00:21:25: Und natürlich geht es da auch jetzt um die KIs.
00:21:30: Wir reden immer davon, dass sie uns helfen werden, dass sie Prozesse vereinfachen können, dass sie uns neue Stoffe entdecken, dass sie Forschung beschleunigen können.
00:21:38: hat auch mal jetzt auch ein Papier veröffentlicht, dass sie irgendwie in der Physik da neue Durchbrüche hätten, können wir auch mal eine Folge zu machen.
00:21:46: Ja,
00:21:46: ja, das ist, genau, das ist irre.
00:21:48: Das heißt, natürlich wird derjenige, der die besten, ob das jetzt eine Einzel-KI ist, ein Einzelmodell ist, oder die besten Netzwerke quasi zur Verfügung haben wird.
00:21:58: Der wird einen wahnsinnigen Vorteil haben.
00:22:01: Und das wird natürlich zu einer neuen Machkonsultstation, ehrlicherweise für.
00:22:06: Und wie gesagt, wenn die Kanunen, wir haben auch häufig darüber geredet, wir sind ja eher so positiv eingestellt, aber natürlich kann es auch dystopische Situationen dadurch geben und neue Kämpfe auch, um im Prinzip dieses Wissen zu haben.
00:22:20: Also ich bin da.
00:22:21: Wenn er wie gesagt immer guter Dinger, aber natürlich ist das auch eine Welt, die auch ein bisschen dunkel werden kann.
00:22:26: Wenn man ja immer mehr diese Machtkonzentrationen zugreifen lässt.
00:22:29: Und deshalb bin ich auch gerade froh, die europäische Diskussion eben auch, die viel stärker in Richtung Open Source oder sowas ausgerichtet ist.
00:22:36: Und auch die Chinesen stellen ihre Modelle auch Open Source.
00:22:38: Man muss aber immer so ein bisschen aus dem anderen Blick wegen Köpfe manchmal betrachten.
00:22:45: Aber das ist gar nicht das Thema, aber wie gesagt, wir haben natürlich auch, genau wie wir das in so einem Blade Runner sehen, vielleicht in Zukunft eher so ein Auflösen.
00:22:55: Das ist auch häufig bei Neuroments und anderen Romanen aus der Zeit, die sich um Cyberpunk-Geschichten und so was gekümmert haben, ja so eine Auflösung der, Teilauflösung der normalen Strukturen, die wir so gewohnt sind, hin zu Konzerne übernehmen quasi, die Macht.
00:23:14: Haben sie heutzutage vielleicht auch in vielen Stellen auch schon in unserem heutigen Welt und das kann natürlich noch krasser werden wenn du sagst, die großen Konzerne die die großen Modelle eben auch betreiben können weil sie das Geld haben weil sie vielleicht mehr Geld dann manchmal ist die ein oder andere Regierung so war auf der auf der Welt zur Verfügung hat zur Verfügung haben um dann im Prinzip.
00:23:31: nach und nach dann vielleicht auch Politik zu machen und Weltpolitik zu beeinflussen durch die Macht, die sie in ihren Modellen einfach haben.
00:23:37: Das ist ein Thema, was nicht unabwege ist.
00:23:40: Das habe ich letztens irgendwann mal in einem Artikel vom Handelsblatt gelesen, dass die Währung von Staaten, nicht Starken, ist falsch, von
00:23:50: Staaten
00:23:51: und die Verfügbarkeit, die zur Verfügung Stellung von Energie ist.
00:23:55: Weil wenn du sagst, okay, Modelle erzeugen, Modelle trainieren, Modelle betreiben, ist mit einer gewissen Energie verbunden.
00:24:02: Und dass die Firmen, die dann mit, wenn wir davon ausgehen, dass der Energieverbrauch mit zunehmenden Modellen steigen wird, dass man zunehmend mehr Energie braucht, um noch mehr Modelle betreiben zu können.
00:24:13: Dass dann die Staaten im Vortrag, also vorweiter vorne sind, die in der Lage sind, auch Energie dafür bereitzustellen und nicht einfach nur, ich sage jetzt mal, Fläche, weil Fläche ist vielleicht möglich, aber wo kannst du quasi entsprechende Mengen Energie zur Verfügung stellen ist und halt vielleicht auch noch mal so eine Frage, wenn du den Blick auf den Klubus wirfst.
00:24:37: Das fand ich halt auch noch mal so.
00:24:39: ein Punkt.
00:24:40: und den anderen Punkt, den ich noch gerne bringen würde ist, die ganze KI entabelt ja Menschen gerade auch zu ganz spannenden Sachen, wenn du dir überlegst.
00:24:48: Wie nah werden wir wohl sein, dass jemand, der mit loveable und wieder ganze Kram heißt, mit geschickten Proms, die dann automatisch Front in die Becken bauen, die nächste Lösung am Markt bringen, wo sinngemäß eine Firma da steht, bestehend aus einer Person, die das dann halt gemacht hat und richtig Glück und zusammengebracht hat.
00:25:07: Auch da, glaube ich, wird KI vielleicht noch das eine oder andere verschieben.
00:25:11: Definitiv,
00:25:11: also sowas werden wir sehen, ich würde nur einen Spektner einbringen, wenn man gar nicht so sicher, was ja gerade auch ein bisschen das Thema ist, dass die unter den KI-Wissenschaftlern tut sich ja jetzt auch gerade so ein Thema auf, dass wir vielleicht sogar am Ende der jetzigen Phase sind.
00:25:29: Das heißt, die Modelle können insgesamt gar nicht mehr mit mehr Daten gefüttert werden und mehr trainiert werden, dass dann also mehr und schneller.
00:25:37: Natürlich wird da jetzt noch eine weitere Evolution stattfinden, aber der nächste Evolution Sprung ist meiner Meinung nach eher noch mal stärker in dem Thema, menschliches Verhalten stärker kopieren, sogar Emotionen wird besprochen, also muss man da nicht wirklich mit Emotionen mehr arbeiten.
00:25:52: und so kommen wir lange wieder zu den Filmen zurück, dass eine emotional, also wir als emotionales Wesen auch so intelligent sind, weil wir emotional sind, nicht weil wir halt über Unmengen an Wissen verfügen in dem Moment, sondern weil wir emotionale Wesen sind und emotionale Wesen eben auch zu Kulturen neigen.
00:26:11: Wir Sachen auch vergessen, wir hallucinieren auch, kommen durch das Halluzinieren, da vielleicht auch immer auf wilde Lösungen auch mal.
00:26:17: Das heißt... All diese Aspekte die man eher wieder so einem das kann eine Maschine nicht machen das sollte Maschine nicht machen.
00:26:24: Vielleicht muss man und das ist gerade das was gerade in der KI-Szene so ein bisschen startet als Fenster vielleicht muss man da noch viel viel mehr rein gehen in dieses Thema und wir hatten das ja auch schon manchmal wenn wir über Agentik Systeme geredet haben.
00:26:37: Das ist auch dazu wenn jetzt Agenten miteinander reden verschiedene Modelle das kann ja dann eben das gute Gemini und das schlechte das dann das Modell sein.
00:26:43: oder das eine ist noch mal schneller das andere fällt aus weil der gerade die Stromverbrauch nicht da ist oder.
00:26:47: der netzzugang nicht da ist oder irgendwas anderes sich dadurch ja auch wie eine art ja organismus entwickelt der aus verschiedenen nervenzellen modellen in dem fall besteht der zu einem insgesamt besseren ergebnis kommt als wenn einfach nur ein einziges modell mit unheim ohne viel energieaufwand stärker trainiert werden wird.
00:27:06: also das ist glaube ich so der weg den ich sehe und vor allem dieses ganze thema emotion auch Gedächtnis in dem Sinne mit vergessen Ausstatten.
00:27:14: Da sind auch erste Studien da, die in diese Richtung gehen, dass man mehrschichtige Racksysteme brauchen, die wirklich im Wissen langespeichern können.
00:27:22: Manches Wissen aber auch nur kurz, was die speichern.
00:27:24: Und daraus quasi neue, neuronale Verbindungen entstehen, die eine andere Betrachtungsweise zulassen.
00:27:31: Und du hast das Thema ganz kurz, dann lass uns auch wieder mehr nochmal zu PIMP zurückgehen.
00:27:36: Du hast das Thema prompt nochmal angesprochen.
00:27:39: Das was wir jetzt ja gerade beschreiben ist, geht ja über den normalen Prompt hinaus.
00:27:42: Das ist ja dann schon Kontext schaffen und Kontext entstehen, dadurch das vielleicht sogar an der Ecke dieser argentischen Vernetzung, die ich jetzt gerade mal beschrieben habe, vielleicht auch ein fühlender Roboter in einem Ende steht mit einem Tastin, der die Umgebung sogar noch wahrnimmt, in der er sich gerade befindet oder die Emotionen von uns beiden misst, weil er ist der Barroboter, der hinter der Bar steht und kann unsere und mit seinen Sensoren den Schweiß auf unserer Stirn ablesen, die Heiterkeit in unserer Stimme hören und danach quasi mit einem agentischen Netzwerk im Hintergrund auswählen, was ist der nächste Dringend, den er trinken muss mit uns?
00:28:20: oder welchen Schwank aus unserem Leben oder irgendwas anderes möchte er uns gleich erzählen.
00:28:24: Wer den Rotwein nach Hause bestellt, weil er weiß, kritische Gespräche werden unter Rotwein geführt.
00:28:30: Aber ich komme gleich nochmal auf das Thema auf den Film mit vier Jahren und die Replikanten zurück, aber trotzdem möchte ich diesen Schwenk noch nehmen.
00:28:38: Du hast eben die Emotionalität als so ein Punkt hervorgehoben.
00:28:41: und noch mal so viele kleine Modelle.
00:28:43: Ich glaube der menschliche Körper ist ein vielerlei Hinsichtvorbild.
00:28:47: Weil ich sage mal nicht alles was dein Körper fühlt.
00:28:50: Macht wird von dir aktiv in deiner Wahrnehmung gesteuert.
00:28:55: Also was hast ich?
00:28:56: nicht alles was dein Auge sieht verarbeitet zu einem Bild.
00:29:00: Einfach stich untergreifen wahrscheinlich auch damit da nichts ist auf die Leiterbahn überfordert wird und kein anderes nicht alles.
00:29:06: Von der Seite glaube ich auch, dass wir mit diesen Small-Models ganz viel Netzwerk untereinander bauen werden und bevor dann quasi wieder große Modelle eingreifen und steuernd irgendwas aufnehmen.
00:29:18: Und das andere ist, ich glaube auch, dass noch ganz viel Musik in diesen ganzen World-Models drin ist.
00:29:24: Also wenn dieses Verständnis von der Klassiker, CPT schreibt ihr etwas hin, aber eigentlich verstanden hat er es nicht.
00:29:31: Ja, es ist immer noch eine Prognose von ganz viel Kram, was er irgendwo gelesen gehört und keine Ahnung was hat.
00:29:37: Aber also dieses Thema so, warum ist denn das so?
00:29:40: Wie funktioniert denn Schwerkraft?
00:29:42: Das Lernen durch Schmerz, das hört sich immer sehr markabel an, aber jeder, der weiß, dass du zwanzigmal sagen kannst, fasst nicht die Herdplatte an, aber das einmal anfassen, klammer auf, sie ist eingeschaltet, klammer zu, definitiv ein Lernerfolg zum Besten gibt.
00:29:58: Heißt nicht Hand drauf halten, heißt aber, ich habe gelernt.
00:30:01: aufgrund von Aktionen, die ich mit Sensorik sei es auditiv visuell, Tast, Fühl, wie auch immer, Schmerz.
00:30:10: Wahrnehmend Druck darauf lernen zu reagieren.
00:30:13: Und da bin ich ziemlich zuversichtlich, dass da die ganze AI-Welt noch viel lernen wird und wie versprochen zurückzuführen.
00:30:23: Ich finde das auch krass.
00:30:24: Du hattest ja gesagt, dass die, oder wir hatten kurz überlegt und uns gegenseitig bestätigt, dass die Replikanten eine Lebensspanne von vier Jahren haben.
00:30:32: Im Grunde ist das ja genau so kurzlebig wie heute dein KI-Wissen.
00:30:36: Wenn ich überlege, so ein Tool, wie erinnerst du dich noch an, ja?
00:30:40: Ich meine, jetzt ist das noch nicht ganz vier Jahre her, dass es vorbei ist.
00:30:43: Was heißt vorbei?
00:30:44: Vorbei ist es wahrscheinlich nicht.
00:30:45: Aber ich weiß noch, wie ich vor kurzem dachte, okay, napkin AI für Infografiken, Gamma für Folien.
00:30:52: Ja und jetzt kommt Google.
00:30:54: und der der Aufprall gefühlt von dem was Google mit seinem letzten Gemini drei Nano Banana Pro mit vier K. und ich kann jetzt Texte und ich kann jetzt Folien und ich kann sie, wenn ich sie mit Gemini mache, auch in Google Slides weiter bearbeiten und ich kriege einfach so eine geballte Macht von Tool und auch Verständnis.
00:31:15: Das Ding kann jetzt quasi Filme gucken und nicht nur die Tonspurs, sondern auch das Gezeigte.
00:31:22: verarbeiten.
00:31:23: videos sind jetzt dat also daten waren es eh schon aber ist jetzt so wie ein text und das finde ich so krass wie schnell eigentlich deinen wissen vielleicht nicht vergessen.
00:31:34: Aber auch veraltet werden kann und du quasi ein bisschen am ball bleiben musst.
00:31:38: Weil während du sagen wir mal gemenei ein film hochladen kannst und sagen kannst mach mal sagt ihr tatschi bt oder sauber nett aber nee.
00:31:47: Ja, so.
00:31:49: Das ist ja wunderbar.
00:31:51: Das bringt mich wieder zu dem Reverse-Touring-Test.
00:31:54: Also, so wie du Ceminal beschreibst.
00:31:57: Wenn es ein Video erkennen kann, könntest du natürlich jetzt auch schon den Woit-Test mit mir durchführen und versuchen quasi, nicht nur über den Text zu verstehen, was der Touring-Tester könnte, ob ich ein Mensch bin, sondern eben auch mir ins Gesicht schauen könnte und analysieren könnte, nügt er.
00:32:15: gegebenenfalls es ist eine kei oder ist ja keine kei in dem also das ist tatsächlich ist der ist der void test dann ja mit also reverse auf jeden fall schon mal möglich.
00:32:24: das heißt wir können im prinzip auch jetzt kei unterstützt überprüfen ob die andere wie echt die andere person eigentlich ist die mir ging.
00:32:34: übersetzt
00:32:35: ich habe gerade so die idee gehabt wir könnten ja mal diesen ganzen sprachmut von gemine und Und wir uns in einen Raum setzen und dieses Spiel spielen nach dem Motto.
00:32:47: Du bist Nummer drei, ich bin Nummer vier und hast du nicht gesehen, jeder stellt eine Frage, mal gucken, wann die Systeme sagt du du du du bist definitiv eine Kai.
00:32:57: Ja, kann gut sein, aber eben.
00:32:59: Und da ist das spannende.
00:33:00: und dann noch mal, will ich gerne mal auf den Film gehen mit dem Thema.
00:33:04: Warum zum Beispiel?
00:33:06: es gibt eine Szene, die ist total spannend, da versucht Decker.
00:33:12: mit Rachel heißt sie, den Boytest durchzuführen und Rachel ist ein Replikant, die als enge Angestellte für einen von diesen super Firmen Bossen da arbeitet.
00:33:25: Sie weiß es aber nicht.
00:33:26: In dem Fall weiß sie nicht, dass sie ein Replikant ist, weil ihr Erinnerungen zusätzlich eingeflanzt sind mit emotionalen Erinnerungen an die Vergangenheit.
00:33:34: und dadurch Dekat kriegt es raus, aber der Test dauert ewig lange.
00:33:39: Der muss wirklich, wirklich bis auf die letzten Fragen, die letzten Details eingehen.
00:33:43: Hat immer noch eine leichte Unsicherheit, die übrigens auch bei ihm ist.
00:33:47: Auch es ist immer das kleine Geheimnis geblieben, ist Dekat selber nicht auch ein Replikant.
00:33:51: Man weiß das nie so ganz genau, weil er immer sehr in seine Reaktion zeichnet das manchmal.
00:33:56: Da weiß man nicht so hundertprozentig, aber er hat mich vielleicht tatsächlich auch dazu gehört.
00:34:00: spielt der film so ein bisschen aber bei ihr ist es halt tatsächlich so, dass sie dadurch, dass sie im prinzip die emotion hat, dass sie einfach, also nicht die emotion, sondern diese erinnerung hat dieses bewusst sein.
00:34:12: ich bin eigentlich ein mensch angeblich das ist ihr wunderbar gelingt im prinzip diesen test so gut wie möglich zu umgehen.
00:34:20: und da sind wir wieder bei diesem thema.
00:34:22: Vielleicht, wenn man jetzt in Hinblick auf die Zukunft gehen und auch was KI macht und die Roboter und all die Sachen.
00:34:30: Dass man sich immer mehr die Frage stellen muss, ist eigentlich so ein Turing-Test noch ausreichend?
00:34:37: Ist es eher so ein Empathietest, den wir durchführen müssen, um noch zu wissen, ist der gegenüber Mensch oder nicht Mensch?
00:34:43: Ist das überhaupt wichtig oder müssen wir uns rein gesellschaftlich philosophisch fragen?
00:34:49: Ist es tatsächlich wichtig für uns diese Frage noch zu stellen oder ist es einfach okay, wenn diese Person vielleicht menschlich ist oder auch nicht menschlich ist in dem Moment?
00:35:00: Das ist schon... Ich finde, während ich dir dazuhöre und an den Filmen denke, so spannend, dass wir quasi so nahe nicht daran sind, dass jemand rumläuft und sieht aus wie ein Mensch, aber dass wir in Konferenzen sitzen und... Gar nicht so weit weg sind davon, dass mein Gegenüber vielleicht entweder nur so eine Video-Repräsentanz ist und hinten ist ein Mensch, der quasi jetzt auf einmal aussieht wie der junge zwanzigjährige, dabei ist es der alte sechzigjährige.
00:35:32: Oder das halt dann tatsächlich auch die Möglichkeiten bestehen zu sagen, gut, okay, da ist halt ja gutes Bildmodell und der hinter ist halt schlicht und ergreifend, keine Ahnung, Eleven Labs, Hey Jen, keine Ahnung, was es da nicht alles gibt.
00:35:46: Und mittlerweile hast du gesehen ich war sehr schön.
00:35:49: Sie haben sogar nicht nur Gesichter Simulation, sondern auch mit Körper.
00:35:52: Also du kannst dann wirklich Leute, die auf dem Stuhl sitzen und für Videos dann generieren und einblenden, wo ich denke, so alter Falter wird immer immer immer besser.
00:36:03: Immer wilder.
00:36:03: und ich glaube, das ist so.
00:36:04: und dann lass uns auch jetzt zum Ende der Folge kommen.
00:36:07: Das ist so ein bisschen.
00:36:08: Ich glaube wirklich, dieses Thema, das man sagen kann, okay, so Touring-Tests und so, das war irgendwie war mal schön und war der Anfang, die Welt von der Welt, wie sie uns damals gezeigt wurden, ist in den Siebzigern, die ist jetzt, glaube ich, da.
00:36:22: Also wir haben das Thema der KI selber über Robotik, dringt sie immer mehr in den Raum rein und das ist vielleicht, also in unseren physischen Raum auch ein, das ist vielleicht gar nicht mehr diese Frage, die wir stellen müssen, ob eine Maschine denken kann, sondern eher... wen akzeptieren wir als personen?
00:36:41: also was ist denn eigentlich als dieses menschmaschine weiß was ist eine person die gleichberechtigt mit uns interagieren darf?
00:36:49: das wird so die frage sein lieber uns vielleicht im paar jahren schon häufiger stellen werden müssen.
00:36:57: wahrscheinlich früher als später Jens, frühwahrt
00:37:00: später.
00:37:01: Knapp vierzig Minuten schon wieder.
00:37:02: Alter Falter, weißt du?
00:37:04: Und wir haben noch letztens gesagt, die vorwahrtliche Zeit, um wir versuchen aufzunehmen.
00:37:08: Wir haben wieder aufgenommen.
00:37:09: War schön, mit dir bei Blade Runner zu reden.
00:37:12: Mal gucken, was als nächstes kommt.
00:37:14: Ich würde sagen, getreu dem Motto, wenn es euch gefallen hat, lasst ein Like da, lasst Sterne da, kommentiert, verbreitet es auf Social Media und, ja, ich würde sagen, bis zum nächsten Mal.
00:37:24: Jens, danke schön.
00:37:26: Dank dir, Marc.
00:37:27: Ich würde noch ansteßen in der schönen, dunklen Zeit.
00:37:30: Wenn ihr Blade Runner nicht gesehen habt, guckt ihn euch im Original an.
00:37:33: Super Film, toller Film für die Adventszeit.
00:37:36: Also, Daniels, ciao!
00:37:39: Ciao!
Neuer Kommentar