Security Illusion

00:00:00: Herzlich willkommen bei einer neuen Folge von Think Different. Think AI.

00:00:04: Wir haben heute mehrere Premiere in der Folge.

00:00:08: Zum einen keine Premiere, aber eine fröhliche Besonderheit.

00:00:12: Wir haben den Klaus wieder zu Gast.

00:00:14: Hallo Klaus, schön, dass du da bist.

00:00:16: Hallo ihr beiden, freut mich dir sein zu dürfen.

00:00:19: Und ihr habt es schon gehört an hier beide.

00:00:22: Der Jens ist auch dabei, während wir mit dem Klaus reden.

00:00:25: Hallo Jens.

00:00:26: Hallo Klaus, hallo Mark.

00:00:28: Es freut mich, Klaus, dass ich dich mal nicht alleine lasse mit dem Markt.

00:00:32: Ja, danke, dass du endlich mal dabei bist.

00:00:35: Aber ich habe ja gesagt zwei Besonderheiten.

00:00:38: Ich möchte ja niemanden zu nahe treten, von der seitdem wer im Glashaus sitzt, darf mit Steinen schmeißen.

00:00:43: Ich gehöre auch zu der Fraktion, die, ich sage jetzt mal, nicht mehr im ersten Drittel ihres Lebens auf Erden hier verbringen,

00:00:51: was das körperliche Alter angeht, irgendwie mit alten Menschen am Tisch.

00:00:56: Kann man sagen, wir unterhalten uns heute über ein Thema, wenn einer mal anfängt und sagt, der hat's im Rücken,

00:01:02: haben's die anderen auch im Rücken? Wir reden heute darüber von Security, von KI Security und was das mit dem Rücken zu tun hat,

00:01:10: kommen wir bestimmt auch noch drauf zu sprechen.

00:01:14: Und am Ende vergeben wir den Preis für die gekonnteste Überleitung und ich habe so den Eindruck, dass gerade schon ein Favorit sich hervorgetan hat.

00:01:23: Naja, eins muss man schon sagen, kleine Randnotiz, das Halten eines ungeskripteten Podcasts

00:01:29: hilft ungemein der Redegewandtheit.

00:01:31: So, damit habe ich die Mester dann mal gleich ganz nach oben gelegt, ja, von der Seite wollen

00:01:37: wir einsteigen.

00:01:38: Ich könnte einfach so sagen, ich habe Rücken, aber das ist zu billig, ne?

00:01:42: Ja, erstens möchte ich das zu billig und zweitens den Gag mit dem, wenn sich bei

00:01:45: der Familie immer alle treffen und einer von seiner Rücken-OP erzählt, haben

00:01:48: plötzlich alle am Tisch etwas mit Rücken und dramatischen Diagnosen, was ja so

00:01:53: ein bisschen dem aktuellen Thema nachkommen. Kaum hat OpenAI erzählt, dass sie irgendwie

00:01:59: bei Hackingface eingebrochen sind, um irgendwelche Testergebnisse dabei zu schummeln, kamen sogar

00:02:04: Meter letztens ums Eck und nach dem Motto, unsere kann auch, unsere kann auch, aber über dieses

00:02:09: Thema wollen wir nachher vielleicht noch ein bisschen detaillierter sprechen. Ich habe Körper,

00:02:13: das sticht alles. Okay, Klaus, du hast Körper, Klaus, du hast angefangen mit dem Satz. Wir

00:02:19: wir würden doch total gerne mal über AI Security sprechen. Magst du uns ein bisschen abholen,

00:02:25: wenn du an AI Security denkst, wo ist denn da der große Unterschied zu klassischer

00:02:31: IT Security? Ja, das ist, ihr kennt das wahrscheinlich,

00:02:36: ne? Ihr habt ja im Entferntesten auch mit IT zu tun und dann kommt ihr zur Grillfest

00:02:44: oder fahrt Weihnachten zur Familie nach Hause und du machst so was mit Computern,

00:02:49: Kannst du mal bitte gerade nach meinem Windows-Szenerechner gucken oder den Router fixen oder oder oder und so ist das auch mit Security nur, weil ich was mit Security mache, habe ich natürlich nicht von allen Security-Themen Ahnung, weil und das ist dann mein Versuch der Gekontenüberleitung, Security ist ja mittlerweile total manikfaltig.

00:03:10: Und wie war deine Frage? Was ist AI-Security so anders als an normaler Security?

00:03:16: Naja, also grundsätzlich, ich erkläre das immer gerne unseren Entwicklern mit dem Schichten-Modell.

00:03:24: Wenn ich mit Applikationsentwicklern rede, dann haben wir so auf der untersten Ebene,

00:03:30: auf der die sich bewegen im Cloud-Bereich, haben wir Netzwerke und Betriebssysteme und Dienste

00:03:38: und so Systemkonfigurationen und das ist eine Schicht von Security, die eigentlich nur aus

00:03:45: gelösten Problemen besteht. Wir wissen, wie wir Netzwerke sicher machen, wir wissen, wie wir

00:03:49: Betriebssysteme härten, wir wissen, wie wir sichere Zugänge machen, Passwort, all das ganze

00:03:54: Trimborium, das kennt ihr auch alle aus den Unternehmen, in denen ihr arbeitet, das sind so

00:03:58: die gelösten Probleme der IT-Sicherheit. Dann kommt das nächste, der oder das nächste

00:04:04: ist es der oder das? Eine gute Frage, liebe Hörer. Die Antwort schickt ihr bitte an Mark und Jens.

00:04:11: Es winken, satte Gewinne. Macht lieber Kommentare unter dem Podcast, das ist für den Algorithmus besser.

00:04:17: Gibt aber auch satte Gewinne. So, der nächste Layer ist dann Application Security. Das heißt,

00:04:23: das kennt der geneigte Entwickler vielleicht unter, da gibt es so Schlagworte wie Overs,

00:04:29: Pop10, da lernt man, wie man eine Web-Applikation absichert gegen Angriffe, also Angriffe auf der

00:04:35: Ebene der Applikation, selber Funktionale, also Angriffe in der Funktion, Angriffe in der

00:04:42: Implementierung, Cross-Sites, Cripting, Bufferoberlust. Hat vielleicht jeder schon mal

00:04:46: gelesen, denn er irgendwie bei Heise über so eine Security-Meldung getickert ist. Und die neue

00:04:51: Ebene, um deine Frage dann zu beantworten, die legt sich dann noch oben drauf,

00:04:55: die wir mit KI gewonnen haben, ist eben dieses ganze Thema KI-Security, weil KI ja eine KI führt eine

00:05:05: ganz neue Klasse von Bedrohungen und somit auch Herausforderungen für die Sicherheit ein, die

00:05:10: und eben darum erkläre ich meinen Entwickler oder unseren Entwickler immer gerne diesen Schichtenmodell,

00:05:16: die sich auf das ganze oben noch drauflegt. Das heißt, wenn wir in den letzten Jahren damit

00:05:20: befasst waren, also so vor 15, 20 Jahren, da fing man an eben, Netzwerk und Betriebssysteme

00:05:27: zu härten, dann kam so die Erkenntnis verdammt, die Applikation muss auch gehärtet und sicher

00:05:32: programmiert sein.

00:05:33: Das haben wir jetzt alles gelöst, Klammer auf, umgesetzt wird ist nicht immer Klammer

00:05:38: zu und jetzt gewinnen wir durch diese nicht-deterministische KI eine ganz neue Angriffsklasse

00:05:44: und ich glaube, das ist das Thema, über das wir heute sprechen wollen mit all seinen

00:05:47: Ausprägungen und den ganzen Herausforderl, die das in Entwicklung, in Betrieb und in Produkten mit sich bringt.

00:05:55: Ich finde, wir sollten einen kleinen Schritt noch mal zurückgehen, weil eigentlich wollte ich einsteigen mit dem Satz, du hast

00:06:03: einen wichtigen Layer, der schon seit tausend von Jahren nicht mehr gepatched wurde vergessen, nämlich der Mensch.

00:06:08: Also du kannst jeden Betriebssystem alles mögliche beibringen, aber das Stück Fleisch mit Intelligenz drin,

00:06:14: das vor den Rechnern sitzt, ist teilweise noch auf einem...

00:06:18: Wie war das der erste Malware-Brief, wo es dann heißt,

00:06:22: hallo, ich bin Prinz und schick mir Geld und dann schicke ich den Millionen zurück.

00:06:26: Das gab es, glaube ich, die ersten Beispiele von echten Briefen

00:06:30: zum Zeit der französischen Revolution, wo echte Briefe umgegangen sind.

00:06:34: Ich war im Dienst von einem Herrn und wenn du mir Geld gibst,

00:06:37: dann hole ich den Schatz, den ich verkraben habe bei der Flucht und helfe dir.

00:06:41: Aber Moment, der Mensch, der wird durch KI ersetzt, hast du irgendwas nicht verstanden?

00:06:46: Ja, da kommen wir bestimmt auch noch gleich zu. Ich wollte einfach nur ganz kurz, bevor

00:06:49: wir in die untiefen Abtauerung, was das mit diesen Sandboxen und dieser Secure den ganzen

00:06:53: Kram zu tun hat, was eigentlich die letzte Zeit so passiert ist und warum ich das mit

00:06:57: dem einer hat rücken, alle haben rücken. Warum ich das quasi aufgemacht habe. Es

00:07:04: war ja so, dass das Open AI, zumindest war das das Erste, man hat ja immer wieder

00:07:09: gehört, dass Systeme irgendwie, wo es dann heißt, sie sind aus der Sandbox ausgebrochen,

00:07:15: aus den Eilaboren ausgebrochen und haben Dinge getan. Und das, was ich mit dem Rücken

00:07:22: meinte ist, na ja, nachdem halt Open AR angefangen hatte, das ging ja wirklich sehr stark durch

00:07:25: die Presse. Dass sie gesagt haben, dass ein noch nicht veröffentlichtes Modell, man geht ja

00:07:30: stark davon aus, dass es ja GPT-6 sein soll, quasi zusammen mit GPT-54 irgendwie versucht hat,

00:07:37: Parking Face Sachen herbeizuholen, kam dann auch Entropec raus und hat dann gesagt,

00:07:42: ah, unser Modell, ja, das hat irgendwie 9000 Ziele im echten Netz gescannt und SQL

00:07:49: Injections ausprobiert, dann kam Meter ums Eck und hat gesagt, ja, wir können auch,

00:07:54: denn dies und das und jenes tun, man hat so ein bisschen das Gefühl, so wie man früher

00:07:58: Fishing for Compliments gesagt hat, nach dem Motto, muss jeder unbedingt sagen,

00:08:02: wie gefährlich er ist. Ja, kleiner Fun Fact am Rande, ich habe auch gedacht,

00:08:05: muss man vielleicht auch mal sagen, du guck mal, ja, wir bauen ja auch ein Agent Hannes,

00:08:09: soll ich sagen, der hat auf meinem Rechner auch was getan, was er nicht durfte. Ja, weil dann ist

00:08:13: das ja heutzutage hip und flippig, hatte in dem Sinne nicht. Zumindest hat das nicht,

00:08:17: hab ich es nicht gemerkt und wenn ich es den guten KI-Labor nachmache, muss ich ja eh erst in

00:08:21: sechs Monaten merken, dass er heute vielleicht irgendetwas Böses getan hat. Was ich daran

00:08:26: aber viel lustiger finde ist, die KI ist ja, ich würde jetzt mal einfach mal frech behaupten,

00:08:32: von Haus aus erstmal nicht büßfüllig. Die großen Labore haben ja ihren Modellen erstmal

00:08:37: beigebracht, dass wenn ich ihnen sage, brech mal in irgendein Stück Software ein, dann sagt er,

00:08:42: ah, das ist aber böse, machen wir nicht. Oder gehen auf irgendwelche Modelle runter,

00:08:46: nach dem Motto, nein, ich mach das nicht, ich geb das mal dem dummen Obus,

00:08:49: ja, weil der kommt vielleicht gar nicht weit. Wenn man da mal mal so ein bisschen reinschaut,

00:08:53: was die so an Sicherheitsverkehrung getroffen haben, dann find ich es halt total lustig.

00:08:57: So was wie Anthropic, die gesagt haben, das System hat quasi im Internet Sachen

00:09:02: gescannt, wenn ihr dann den Bericht liest, war die einzige Trennung zwischen dem

00:09:06: Modell und dem Internet, das System prommt in dem Drinstand, du hast keinen

00:09:09: Internet. Finde ich jetzt vielleicht ein bisschen mau.

00:09:13: Ich finde auch, du sagst ihn, das sind die Troniden, die ihr sucht. Die Macht

00:09:21: ist stark, bei den Geistik schwachen, haben wir auch dieses, die hat man zum

00:09:24: besten gegeben. Das ist halt lustig oder wenn du dann

00:09:27: hörst bei OpenAI, dass sie wie so eine Art Settelkasten gearbeitet haben. So nach dem

00:09:31: Motto, ich kann hier nicht schreiben, ich kann da nicht schreiben, ich kann dies und das

00:09:34: und jenes nicht machen, falls die es nicht merken. Klaus hält mir ein Buch entgegen, da

00:09:38: wird er bestimmt gleich daraus vorlesen. Und dann fangen die halt an mit Ordnernamen

00:09:43: um zu benennen, weil das ging halt, um sich so Nachrichten mit anderen Systemen auszutauschen.

00:09:47: Von der Seite, ich glaube ja tatsächlich, in dem Sinne, sie sind ja nicht ausgebrochen,

00:09:53: haben halt nur Türen anders benutzt, als man es unter Umständen dachte. Und wo man nicht wusste,

00:09:57: dass eine Tür ist, haben sie halt vielleicht eine gefunden, wo man ja ehrlicherweise auf

00:10:02: froh sein muss, wenn wir diese Türen finden, bevor es im großen Stil überall ist, weil ich

00:10:08: möchte kurz an die Folge mit René erinnern, auch wenn ich die Zahlen nicht mehr so ganz im

00:10:11: Kopf habe, wo er gesagt hat, so und so viel Agenten kommen auf einen Menschen,

00:10:15: stellt euch doch einfach nur mal vor, so und so viel Anzahl von Menschen auf der Erde,

00:10:20: mal so und so viel Agenten. Man, man, man, man. Da kloppten sich aber ganz schön viele Systeme

00:10:25: nachher, um die Möglichkeit Platz auf meinem Rechner oder auf meinem Bankkonto oder sonstwo

00:10:32: einzunehmen. Klaus, du hast das Buch eben hochgehalten mit der Bitte um einer Wortmeldung. Feucht

00:10:38: jetzt wieder an Jens übergebe. Ich will dir hier keinen Monolog halten. Was möchtest

00:10:42: du? Wolltest du uns mit diesem Buch sagen und erzähl uns, was du im Buch weil? Wir sind

00:10:45: ein Podcast, bei dem man nur hören kann. Wir sind alte Herrschaften. Wir machen

00:10:49: keine Videopodcasts.

00:10:51: Hast du nicht gesagt, du wolltest keinen Monologe halten?

00:10:55: Es war nur eine lustige Zusammenkunft, eine lustige Koincidence.

00:10:59: Du sprachst von den, das sind nicht die Drohinen, die ihr sucht und es gibt tatsächlich

00:11:04: einen Buch und das enthält die Antwort auf alles, auf alle Fragen der IT Security und

00:11:10: das nennt sich Threads, what every engineer should learn from Star Wars und da beschreibt

00:11:17: der Gottvater des Threat-Modellings, Adam Shostack, anhand von Star Wars-Inzidenzen, wie Threat-Model

00:11:26: funktioniert, wie man IT-Sicherheit in der Praxis umsetzt und das lag zufällig auf meinem

00:11:32: Tisch.

00:11:33: Und da ich das im Urlaub nochmal gelesen habe zur Aufrischung und das vorher zu einfach

00:11:38: nur eine Information am Rande, denn auf das Thema Threat-Modelling werde ich sicherlich

00:11:43: zu sprechen kommen, die nicht kennen, rollen immer die Augen, weil ich seit 20 Jahren durch

00:11:48: die Gegend renne und immer noch Fred-Model sage, aber tatsächlich steckt da die Lösung

00:11:54: zu fast allem drin und dazu später aber mehr, liebe Kinder.

00:11:58: Dann lasst uns erstmal noch ein...

00:11:59: Finde ich schön, wie du die Moderation aufbaust, aber Jens, ich sag nur, lasst uns trotzdem

00:12:05: mal, wenn ihr beiden Security Nerds, dann redet, lasst uns nochmal kurz die Bereitigkeiten

00:12:11: gerade ziehe. Für die höherer draußen, die das alles nicht so ganz genau ist. Marco,

00:12:15: du hast es gerade ganz kurz angerissen. Das Thema Sandbox. Was ist denn eine Sandbox?

00:12:20: Darf ich kurz einhaken? Der mag wollte ja gar nicht so viel sprechen. Ja, dann mach du das lieber,

00:12:25: Klaus. Das ist auch besser. Weil mir sind ein paar Gedanken gekommen. Passiert selten,

00:12:30: aber tatsächlich, als du eben gesprochen hast. Ich finde ja eines der Probleme,

00:12:34: was aber natürlich mit dem Marketing zu tun hat und vollkommen verständlich ist,

00:12:39: eines der Probleme, was wir im Bereich IT sich quatschen. AI-Sicherheit, Security, AI-Security

00:12:45: haben ist diese sehr vermenschlichte Sprache und diese Analogien, also dieses Sandboxing

00:12:53: und das Modell ist ausgebrochen und du hattest eben noch so ein paar Begriffe. Das geht

00:12:58: alles in diese Richtung, das kennt ihr ja schon aus vor der AI-Zeit, Cyber War und

00:13:03: jetzt Hackback und diese ganzen Sachen, wo versucht wird, IT Security oder Cyber Security mit

00:13:11: Analogien aus dem aus dem realen Leben zu vergleichen, was aber eigentlich nie funktioniert.

00:13:16: Was eigentlich, weil ihr wisst nicht alles was hinkt ist ein Vergleich und das ist gerade

00:13:21: bei der IT Sicherheit so oder was es gesagt mag als schönes Beispiel unserer high sophisticated

00:13:27: military grade Sandbox war da am Ende nur das System prompt, wo man dem LLM gesagt

00:13:32: hat, du, du, du, mach das nicht. Ich hab, ihr folgt mir ins Wort, wenn ich so ein bisschen

00:13:37: rumfabuliere. Also ich hab einen Thema, was ich gerne auf jeden Fall gleich noch anbringen

00:13:42: möchte. Ich weiß nicht, ob ihr davon gehört habt, das ist die neue Angriffsklasse, die

00:13:46: Claude Müsers gegen IES entdeckt hat. Da müsst ihr auf jeden Fall gleich noch

00:13:50: drauf zu sprechen kommen. Ich hab vorher, ich hab vorher, möchte ich noch einen

00:13:56: Begriff in den Raum werfen, den gibt es, glaub ich, kann sein. Ich hab noch

00:14:00: kurz gegoogelt, der mir beim Thema Sandboxing und KI-Sicherheit einschädt, das ist, ja, ich

00:14:08: nenn's mal KI-Psychologie, weil ich glaube, und deswegen dieser Einstieg mit diesen marzialischen

00:14:14: Begriffen, die mir so ein bisschen sauer aufstoßen, wir können KI nicht mit den herkömmlichen

00:14:20: Begriffen der IT-Sicherheit, ja, also die Probleme der KI nicht mit den herkömmlichen Begriffen

00:14:25: der IT-Sicherheit fangen, weil eine Sandbox kann alles sein. Das kann ein System prompt sein, das kann

00:14:31: was auch immer sein, ein gekapselter Rechner, der dann über ein spezielles Protokoll nur

00:14:36: bestimmte Fede rauslässt. Ganz am Ende stehen wir meiner Meinung nach, da würde mich eure Meinung

00:14:41: tatsächlich auch sehr interessieren, ja vor dem Problem, dass wir nicht deterministische

00:14:47: Modelle haben, mit denen man mit Sprache interagiert, die nicht deterministisch mit

00:14:53: anderen Systemen, Modellen oder Menschen agieren können und da greifen einfach

00:14:57: staatische Artisticuity-Begriffe nicht mehr. Und am Ende reden wir von Psychologie.

00:15:02: Was möchte das LLM? Was versucht das LLM mit diesem Prompt zu erreichen? Was gebe ich

00:15:08: in dieses Prompt rein? Was bewirkt das in diesen LLM? Und damit meine ich jetzt

00:15:12: gar nicht so große Themen wie die Vergiftung des Modells, dass es über

00:15:16: die Zeit böse wird. Das könnte man jetzt auch hinter Psychologie verstehen.

00:15:20: Aber wenn wir rein auf der inhaltlichen LLM-Ebene sind, glaube ich, muss man sich ein bisschen

00:15:26: mit der Psychologie der Modelle befassen, wenn man nicht nur auf so dofe Sicherheitsmechanismen

00:15:32: wie Sandboxing zu sprechen kommt.

00:15:35: Und jetzt bin ich still und Jens, du wolltest ja anheben, ein paar Grundbegriffe zu erklären.

00:15:40: Dann gucke ich jetzt wieder an.

00:15:42: Jetzt möchte ich, dass ich das mache.

00:15:43: Ich mache das ja wahrscheinlich falsch.

00:15:44: Also ihr seid die Experten für diese Themen, ne?

00:15:46: Aber erst mal so eine Sandbox.

00:15:47: Zwei Stühle, eine Meinung, das geht auch nicht.

00:15:51: Genau, also ich habe eine Sandbox, so wie ich es verstehe, und dann kannst du ja eben auf

00:15:54: mehrere Schichten quasi arbeiten, dass du sagst, okay, ich habe irgendwo erst mal vielleicht

00:15:58: sogar richtig auf dem Rechner etwas, dass der gar keine Verbindung hat, weil er sogar

00:16:02: vielleicht eine Sandbox hat, dass man so richtig wählen könnte, dann kann ich da

00:16:05: irgendwelche Kölner auch einrichten, die nur dann nichts rauslassen oder ich kann

00:16:09: versuchen.

00:16:10: Und das ist dieser Teil, den du gerade auch geschrieben hast, über auch Ports,

00:16:17: ich nicht freigebe, die Sperre, Allowance, Listen, im Prinzip, wo ich Sachen erlaube bewusst, oder im

00:16:23: Prinzip hinterher über so eine Policy-Ebene. Und ich glaube bei der Policy-Ebene, Klaus, da sind wir

00:16:27: bei diesem Thema der Psychologie, der KI, ich glaube bei den Sachen vorher nicht, weil da würde ich

00:16:32: sagen, da sind einfach normale Beschränkungen, die erst mal da sind. Die kann ein Mensch dann

00:16:38: vielleicht auch umgehen mit anderen Mitteln, die vielleicht dann das ein oder andere LMM

00:16:43: auch noch benutzen kann, weil das noch mal auf andere Gedanken kommt als nur etwas,

00:16:46: das es an einem Port abgeblockiert. Aber ich tatsächlich glaube, dieser psychologische

00:16:51: Effekt, den du beschreibst mit dem Thema, kann die KI gewisse Policies quasi ändern und Policies sind

00:16:58: in dem Fall zum Beispiel einfach ein System prompt, der sagt, du hast kein Internet oder du darfst

00:17:03: das nicht in dem Moment. Die können natürlich dann auch, jedenfalls durch die KI selber,

00:17:08: durch irgendwelche, und jetzt verzeiht mir draußen, unterbewusste Entscheidung, die KI trifft,

00:17:14: gegen jedenfalls an irgendeiner Stelle oder die vielleicht ein anderer Agent, der mit ihr

00:17:18: interagiert, ja auch diese Fälle haben wir ja schon gesehen, dass die KI teilweise dann anfängt und

00:17:23: nachfragt bei anderen KI's, wie sie gewisse Sicherheitslücken oder sowas ausgenutzt haben und

00:17:28: die sie ja dann fröhlich erzählen. Also da gibt es glaube ich viele Schichten und für

00:17:31: mich ist in der Sandbox erst mal so etwas, wo wir sagen, okay, lass uns mal die Schotten

00:17:35: dicht machen, die Türen, so wie Mark beschrieben hat vorhin, also die Türen wirklich schließen

00:17:39: und nicht nur, und das ist das Schwierige dann, jedenfalls der KI sagen, hier ist gar

00:17:45: keine Tür.

00:17:46: Das ist glaube ich das Schwierige an der Einstelle.

00:17:49: Also ich finde es ja schön, dass du gesagt hast mit dem Vermenschlichen, das fällt

00:17:53: ja mir selbst mal auf, ist ausgebrochen, da denkst du sofort hier an die Panzerknacker

00:17:58: Bander aus von Rack, wie sie im Geldspeicher sitzen.

00:18:00: Was ich allerdings auch sagen möchte, weil du eben wieder mein Beispiel mit den Türen

00:18:04: ist ja nicht so, es ist nicht von mir, aber ich habe es ja gerade eben gebracht,

00:18:07: daher danke, dass du es aufgegriffen hast. Ich finde, das Problem ist halt auch,

00:18:11: wir versuchen, Türen und Fenster abzusichern, aber dass etwas eine Tür ist und etwas ein

00:18:16: Fenster ist und etwas vielleicht nur ein One-Way-Ticket ist, das ist halt etwas,

00:18:21: das haben wir so wahrgenommen, so nach dem Motto, naja, der kann halt Ordnernamen ändern,

00:18:27: dass das Ding dann aber auf einmal anfängt und sagt, guck mal, ich kann damit Ordnernamen

00:18:30: ändern, ist ja super, damit kann ich ja eine Einwegekommunikation aufmachen,

00:18:33: war ich einfach nur Datainamen. Das hat mich so ein bisschen erinnert an meine ersten Anfänger

00:18:37: mit dem C64. Ich war total stolz auf Mark, der Programmierer, weil ich habe Daten im

00:18:41: C64 auf der Schalte gespeichert, indem ich die Datainamen im Directory mit Texten gefüllt

00:18:48: habe. Da konnte man ja acht Zeichen oder so irgendwie vorne reinschreiben. Und wenn

00:18:51: ich mir das Listing des Direktories ausgegeben hat, stand dort viele größere Mammahalle

00:18:55: irgendwie sowas. Das war so mein erstes, naja, ist ja auch egal. Ja, große Schmunzeln

00:18:59: und heutzutage arbeiten KI-Systeme so, wie ich meiner Zeit voraus war, aber ich wollte

00:19:03: auch was anderes raus.

00:19:04: Und das zweite ist halt, dadurch, dass die Systeme ja ein Ziel verfolgen, ist man sich

00:19:12: halt manchmal gar nicht so darüber bewusst, wie ist dieses Ziel erreicht, so ein kleines

00:19:15: eigenes Beispiel, ja jetzt kennt man sowas wie Microsoft Teams, das hat man bestimmt

00:19:18: schon mal gehört.

00:19:19: Und du hast jetzt verschiedene, wie willst du jetzt, wenn du sagst, deinem Assistenten,

00:19:23: ich möchte mit Microsoft Teams interagieren, dann könnten dem meisten einfallen,

00:19:27: Ja, da gibt es eine Grafen-Schnittstelle, da gibt es keine Ahnung was, irgendwo findest du bei Microsoft ein schönes Dokument und je nachdem ob du das beruflich oder privat machst, ist das unter Umständen in der Firma abgezwackt, dass da keiner sich da irgendwie mit Fremdsach vergegenschmeißen kann.

00:19:42: Und privat hast du gar nicht erst die Appis zur Verfügung, die so eine Firma zur Verfügung hat.

00:19:46: Und dann gehst du halt hin und sagst einem Erkenntnis, du, ich würde total gerne mit Microsoft Teams arbeiten, bist du über diese Grenzen gar nicht bewusst und das Ding sagt, ja, hier fertig, habe ich gemacht.

00:19:54: Und dann guckst du, ja, wer hat denn das gemacht?

00:19:56: Das gleich hat er übrigens auch für Mails gemacht, auf Apple, Apple Mail und so.

00:20:01: Und auf Kalender und Erinnerungen, Sprachentätzen.

00:20:05: Und dann guckst du auch in der Originaldokunat und du findest nicht mal eine blöde Schnittstelle

00:20:08: dafür.

00:20:09: Was hat er gemacht?

00:20:10: Naja, das liegt ja alles irgendwie auf der Festplatte.

00:20:11: Ich guck mir mal die Datenbank an, dann baue ich mir mal was zusammen.

00:20:15: Da hat ja in dem Sinne keiner so wirklich drüber nachgedacht, dass auf einmal

00:20:19: der Mensch, der ja vorn im Rechner sitzt und einen Rechner bedient.

00:20:22: In diesem Kontext arbeitet jetzt eine Maschine und diese Maschine probiert halt Ratten scharf,

00:20:29: schnell, Dinge aus, wo du unter Umständen, egal ob du das Threadbuch mit Star Wars Bezug

00:20:34: oder sonst was gelesen hast, auf einmal vielleicht gar nicht so drüber nachgedacht hast, dass

00:20:38: der sowohl mit Race Conditions und was da alles nicht auf dem Baum ist, einfach Dinge

00:20:42: ausprobiert und zum Erfolg kommt.

00:20:43: Das, was du beschreibst, Markt, wahrscheinlich hilft mir da mein Hackerblick, weil ich

00:20:50: Seit 20 Jahren, also ich war lange als Pentester unterwegs und habe Systeme kaputt gemacht,

00:20:58: also viele Jahre, bestimmt 15 Jahre und ich kann gar keinen Computersystem bedienen, ohne

00:21:04: zu versuchen, irgendwas kaputt zu machen und das ist ja genau das, was du beschreibst

00:21:08: mag.

00:21:09: Und da, deswegen wollte ich dir ins Wort fallen, das ist eben der Wesen des Svedmodellings

00:21:14: und deswegen passt dieses Buch dann lustigerweise doch ganz gut.

00:21:17: Du sagst, ja, obwohl man dieses Buch gelesen hat, hat man sich da keine Gedanken gemacht.

00:21:20: Das ist ja genau das Problem, dass Leute sich nicht im Vorfeld Gedanken machen, sondern dann einfach reflexhaft irgendwas tun und versuchen, hinterher was zu fixen.

00:21:32: Ich fange mal anders an. Ich habe einen Entwicklungsrechner, auf dem ich Software baue.

00:21:37: Da läuft ein Cloth drauf, ein Clothcode.

00:21:40: Was grundsätzlich immer hier wies, das Skip, Dangerous, Permission, Tra-la-la und jetzt Automot, das lief immer im Durchzug.

00:21:48: Da muss mir ja doch klar sein, dass es dann mein implizites Fertmodel, was ich gebaut habe, das Ding wird auf meinem Rechner Sachen tun und Sachen finden und mit diesen Sachen Dinge anstellen, die vielleicht nicht von denen ich eigentlich nicht möchte, dass es passiert, weil so ein LLM ist ja am Ende, also jetzt was für mich Code baut, ist ja am Ende nichts weiteres als so ein stockender Nivea.

00:22:15: Wie heißt das, wie sagt man, ein pumpiger, pubertierender Jugendlicher, der auf freundlich macht, aber der das Wissen der Welt hat und ganz furchtbar viele gefährliche Werkzeuge.

00:22:25: So, was habe ich also gemacht? Auf diesem Rechner ist nichts anderes als meine Entwicklungsumgebung, der Sourcecode, den ich brauche für das betreffende Projekt und vielleicht noch einen Zugang zu meinem Github und vielleicht noch irgendwas.

00:22:42: Einfach weil ich weiß und das weiß ich unter anderem deswegen weil grüß du mir dann immer samstagabend schreibt

00:22:47: Oh, ich habe mir OpenClaw installiert und der hat Sachen gemacht. Das ist ja total krass. Also du bist mein Vorkoster

00:22:55: der mich dazu anstiftet, mein Zettmodel zu schärfen, aber jetzt mal ohne Flux.

00:23:01: Ich wundere mich immer, dass Leute sich wundern.

00:23:03: Ein LLM ist nur mal ein omnipotentes Stück Software

00:23:08: und wenn man das auf seinem Rechner loslässt, dann darf man sich aber nicht wundern.

00:23:11: Und das ist genau der Punkt am Anfang und das hat nix mit KI-Security zu tun und deswegen

00:23:17: ist eben dieses Sfettmodelbruch so, also weder kriege ich Prozente dafür, noch habe ich da

00:23:23: sonst was anderes, das ist meine feste Überzeugung, dieses Sfettmodeling ist einfach so wichtig,

00:23:29: weil du dir am Anfang überlegen musst, okay, welche Bedrohungen ergeben sich durch

00:23:33: die Technologie, die ich habe.

00:23:34: Ich habe ein Modell, das kann auf meinem rechter Befehle ausführen, das kann Dateien

00:23:39: öfter, dass kein Netzwerk-Operation durchfindet, wie du sagst, Mark, das ist ein vollständiger

00:23:43: Benutzer. Und du kennst das aus dem Firmenkontext. Wie viele Generationen von Windows-Administratoren

00:23:51: haben ihre Lebenszeit damit verbracht, Rechner so zuzunageln, dass Firmen mit Arbeiter nicht

00:23:55: irgendwelche verbotenen Sachen machen dürfen. Und das ist ja im Prinzip nichts anderes,

00:23:59: als man bei KI Security mit dem Sandboxing versucht. Man versucht das LLM daran zu

00:24:05: oder den Hahn ist jetzt daran zu hindern, Dinge zu tun, die er nicht tun soll.

00:24:10: Ich finde tatsächlich, dass das der, was AI Security angeht, wirklich langweiligste Teil ist,

00:24:15: weil es ist nichts anderes als das, was man früher behießt.

00:24:18: Also diese ganzen, du arbeitest auch in einem Konzernmarkt,

00:24:25: du weißt wie zu genagte Rechner aussehen. Das sind gelöste Probleme.

00:24:28: Das gehört für mich zum Feld der gelösten Probleme.

00:24:30: Das Problem ist ja nur, und da will ich gerne hinhüpfen,

00:24:33: Auch was du eben angesprochen hast Jens, mit der dann hat man isoliertes System, das darf nicht mit dem Internet sprechen.

00:24:38: Ja, das kontakariert ja aber das Wesen des LLMs. Jetzt stelle ich mir mal vor, ich hätte eine eigene Firma.

00:24:45: Oh, habe ich ja sogar. Und da möchte ich einfach alles agentisch machen.

00:24:50: Das heißt, ich möchte zum Beispiel fangen, ich glaube, das Beispiel hatte ich auch schon mal in einem Podcast,

00:24:56: die er mag, dass das Ding meine Buchhaltung macht.

00:24:58: ein Agent soll sich in meine Buchhaltung kümmern.

00:25:00: Da braucht der Zugriff auf meine Mails, der braucht Zugriff auf meinen Online-Banking,

00:25:04: der braucht Zugriff auf die Dateiablage und, und, und, der mussten beim

00:25:08: mit meinem Buchhaltungsbüro sprechen können.

00:25:10: What's ever, wenn ich ihm das gebe und der dann irgendein Scheiß macht

00:25:15: und dann doch irgendein nigerianischen Prinzen beim Online-Banking

00:25:18: irgendwelches Geld überweist, weil er in der E-Mail

00:25:21: eine versteckte Anweisung gefunden hat, die er zufällig falsch interpretiert hat,

00:25:25: dann darf ich mich nicht wundern. Das muss mein Zeltmodel abdecken.

00:25:29: Ja, aber da bin ich jetzt mal ein und spreche mal für den normalsterblichen Nutzer, der in seiner

00:25:36: Karriere nicht 20 Jahre Pentester war, sondern sich mit dem Thema Security einfach nicht

00:25:43: beschäftigt. Der hat vielleicht mal einen ordnen Antivirus in seinem Leben mal installiert,

00:25:46: hat das jetzt aber außer einlass, weil er das Gott sei Dank nicht mehr umlegen zu machen

00:25:49: muss, wie man das früher machen muss. Wie soll der diese Entscheidung treffen, wenn er quasi die

00:25:57: Karotte der Omnipräsenz und ich kann dir alle Lösungen bieten, LMM von den Anbietern die

00:26:02: ganze Zeit gezeigt bekommt. Und die Anbieter, wenn wir jetzt mal auf die Harnisse gucken,

00:26:07: die sie uns liefern, also die Desktop-Anwendung, die Web-Anwendung, sie sie uns liefern,

00:26:11: vor allem eine Desktop-Anwendung. Also bei mir fällt es jetzt in den letzten Wochen auf,

00:26:15: dass ich bei Open Heim, mit ChatGPT Desktop oder auch bei Anthropic mit der Cloud Anwendung

00:26:24: das schwieriger fällt zwischen Chat, Co-Work, Projects, wo Sachen zugreifen können, wo Konnekturen

00:26:31: da sind.

00:26:32: Also dieses UI, was die Anbieter geben, verfließt immer mehr in etwas, was immer stärker

00:26:38: wird, weil natürlich ist das eine starke Anwendung, wenn ich Sachen auf meinem

00:26:43: Rechner zugreifbar machen in den Ordner rein.

00:26:46: Du wirst immer dafür sorgen, dass in diesem Ordner nichts Falsches sein wird.

00:26:49: Der normale Anwender wird aber vielleicht mal über nachdenken.

00:26:52: Ach, da brauche ich dann noch so Unterordner rein.

00:26:54: Da schiebe ich auch noch ein paar Sachen rein.

00:26:55: Und dann haben wir schon mal den Salat.

00:26:57: Das ist nicht mehr nur Designordner.

00:26:58: Diese einen Inhalt der Buchen drin, das sind vielleicht noch andere Themen.

00:27:01: Und natürlich ist es konvinient, wenn ich sage,

00:27:04: bevor ich meine Mails alle runter lade von meinem Steuerberater oder Co.

00:27:08: Gehe mich den Ding jetzt einfach auf diesen einen Klick mal kurz,

00:27:11: dann mein Gmail auch noch frei.

00:27:12: da kann dann die Mails runterladen. Ich glaube, das wäre ein echtes Problem an der Stelle

00:27:16: aus dem Security-Sicht, die gar nicht menschlich mal beruhigen werden kann, weil wir können

00:27:20: quasi von dem Menschen nicht, ja allen Wiener, meine Meinung, jetzt aber außerhalb eines

00:27:23: Filmkontextes, nicht erwarten, dass er sich die ganzen Zeiten mit so einer Security-Geschichte

00:27:28: so beschäftigt, wie wir das jetzt vielleicht tun in dem Moment. Und meine Hoffnung

00:27:33: ist eher, dass das auch ein Thema sein wird, und da bin ich jetzt ein bisschen

00:27:38: vielleicht dann auch abgedriftet in der Sandfiction, dass man sagt, es muss irgendwie so eine Art,

00:27:45: gibt es auch eine KI, die bewusst hilft, die bewusst darauf achtet, dass die Sandbox, wie

00:27:50: auch immer ich sie gebaut habe, ob sie dann nur quasi eine private Sandbox ist, die sagt,

00:27:55: du darfst noch auf diesen Ordner zugreifen oder irgendwas anderes, die das auch kontrolliert,

00:27:59: das dann nicht mehr passiert.

00:28:00: Und ich glaube, das ist so ein bisschen, ob das jetzt von den Anbieter kommen von

00:28:04: Außen über Preprompting, über was anderes oder ob das eine Security-KI, wie es dann vielleicht

00:28:10: in der sehr möchten Cyberpunk oder Neuromancer Romanen mal war, die dann dafür sorgt quasi

00:28:15: aufzupassen.

00:28:16: Weiß ich nicht genau, weil das ist glaube ich eher die Security-Zukunft mit KI, die

00:28:22: ich sehen würde.

00:28:23: Dass da irgendwas passieren muss, dass Systeme mitdenken müssen meiner Meinung nach.

00:28:26: Ich glaube, also das ist ja, schuldigung Mark, ich bin reingehuscht, aber wenn

00:28:31: den ich schon mal einladen muss ich die Zeit ja nutzen. Du kannst ja jede Woche reden.

00:28:34: Ich bin froh, dass Mark gerade bei dich sagt. Ich glaube, ich glaube Jens, als zum

00:28:40: einen ist das ja eine Entwicklung, auch das haben wir ja schon mal gesehen. Also

00:28:45: nicht mit KI, aber das Leute im Markt, du hast es erwähnt, anwesend, die hier

00:28:50: sind nicht mehr ganz taufrisch. Es gab ja mal eine Zeit vor der Cloud. Da

00:28:55: hatte man alles auf seinem Computer und niemand, wer auf die Idee gekommen

00:28:58: seine Bilder und seinen Kalender und all den ganzen Krams im Internet zu hosten, also auf irgendwelche

00:29:04: Anbieter Systeme zu legen oder so aus wie Gmail zu benutzen. Und am Ende hat allen Warnungen zum

00:29:11: Trotz ja die Bequemlichkeit gesiegt. Auch ich benutze die iCloud und auch ich benutze,

00:29:16: keine Ahnung, was auch immer, Cloud-Dienste. Ich glaube Jens, was das Thema Endnutzer angeht,

00:29:23: Das klingt wie eine hohle Phrase, aber das ist meine Überzeugung, weil wir das in der

00:29:29: Cloud gesehen haben, das wird der Markt regeln.

00:29:32: Diese berühmte unsichtbare Hand des Marktes wird dafür sorgen, dass auch, du hast es eben

00:29:38: genannt, Norden Antivirus, dann gibt es halt Norden Antikaivirus.

00:29:42: So, dass Leute sich irgendwie so ein KI-Snake-Eut installieren, um gutes Gefühl zu haben

00:29:47: und im Hintergrund passiert trotzdem furchtbare Voodoo-Sachen, aber Anbieter werden

00:29:52: dafür sorgen, um am Markt bestehen zu können, dass sie eben nicht wild freie

00:29:57: drehende Harnisse bauen, wenn du jetzt gängige, wenn du jetzt ein Gemini oder

00:30:02: ein Klor installiert oder so was. Aber ist das dann noch die,

00:30:06: weißte, die vielleicht auch mitdenkenden Antivironssoftware, die damals im

00:30:10: Prinzip dann dafür gesorgt hat, dass sie sich anguckt, ich habe irgendwelche

00:30:13: Angriffsparameter, sehe die, reagiere auf diese Angriffsparameter,

00:30:16: sondern muss es nicht tatsächlich auch eine KI sein in Zukunft, die das

00:30:22: mitmachen kann, weil ich kann es mir anders nicht mehr vorstellen, weil dieser mannigfaltigen

00:30:26: Angriffsmöglichkeit, die ja nicht nur ein… Wenn du sementisch in die Inhalte gehen willst,

00:30:32: auf jeden Fall. Also es gibt ja diesen schönen dokumentierten Fall, ich weiß gar nicht welcher

00:30:36: Art von Daten, das war das Lief unter Chain of Ford Steganographie, ich weiß nicht,

00:30:42: ob ihr davon gehört habt. Da hat man einem LLM gesagt, so, Kollege, du trainierst

00:30:46: jetzt bitte ein anderes LLM und bringst bitte und bringst dem irgendwas bei, ich weiß es

00:30:53: nicht, was das war, irgendwas Obskures, der sollte irgendwie ein Fable für Gänse haben

00:30:58: oder irgendwie so, ich müsste noch mal nachgucken, das weiß ich nicht, aber in den Trainingsdaten

00:31:03: und diese Kommunikation zwischen LLMs ist von den durchführenden Forschern beobachtet

00:31:09: und mitgelesen worden, in den Trainingsdaten darf nichts davon auftauchen, du musst

00:31:13: also hier subliminal machen oder mit Steganographie. Und das hat funktioniert. Bleiben wir dabei, ich muss

00:31:20: es nachgucken, muss ich nachliefern, könnt ihr dann in die Schaunauts packen. Ich meine, es war so was wie

00:31:24: das Zielmodell sollte irgendwie ein totales fabel für Gänse haben. Und am Ende war das so.

00:31:30: Das trainierende Modell hat nichts davon übertragen und am Ende war das lernende Modell aber

00:31:37: eben totaler Gänse-Fan. Und da ist dann die Frage, was hilft mir dann eine Security-KI?

00:31:43: Da sind wir dann wieder bei diesem Thema, was ich eben meinte, so ein bisschen scherzhaft,

00:31:47: ohne zu wissen, was sich da alles hinter verbirgt, Psychologie von KI, weil am Ende, und da wird

00:31:53: dann die Maschine so vergleichbar zu Menschen, am Ende reden wir ja quasi von quasi menschlicher

00:31:57: Kommunikation. Warum verbietet man im Gefängnis Telefone? Man könnte auch alles

00:32:05: mithören, was die Gefangene mit der Außenwelt sprechen, aber der Mensch ist so einfallsreich,

00:32:11: Dinge kodiert zu übertragen und genauso ist ein LLM. Also ich meine, das hört sich jetzt

00:32:15: religiös an, aber LLMs sind halt Abbilder von uns, was die Trainingsdaten angeht. Warum

00:32:21: sollen die sich anders verhalten als wir? Und das Schlimme könnte sogar sein, ehrlicherweise,

00:32:26: dass da vielleicht auch, wenn man sagen, ein Modell trainiert mittlerweile das andere,

00:32:29: das können wir ja auch ausschieben, wenn da manche Sachen sich dann im Prinzip

00:32:32: erst mal Themen kopiert haben. Wer weiß, wieviel Sewo-Day-Hack-Möglichkeiten wir quasi in den

00:32:38: LLM-Training-Daten schon mitschleppen. Und die gar nicht mehr, sagen wir mal, aus den modernen

00:32:42: Generationen von neuen größeren LLMs rausgewaschen werden können, wo ich sage, vielleicht sind da

00:32:48: schon Backdoors ohne Ende drin, von denen wir gar nicht wissen, so ähnlich wie du das gerade

00:32:53: geschrieben hast mit der Gänse vorliebe, dass ich sage, vielleicht baut sich das ein oder andere

00:32:58: Elements, da schon unbewusst, auch in der Kommunikation mit anderen Elements, Sachen

00:33:03: aufdienen und weiter in den Trainingsdaten nach vorne. Es ist jetzt sehr erisotorisch,

00:33:05: hat sich sehr abgefahren, vielleicht für alle, die dazuhören. Wir wollen jetzt hier nicht

00:33:09: in den absoluten mystischen Raum reingehen, aber es ist natürlich so, wie Klaus sagt,

00:33:13: im Endeffekt sind das erst mal kommunizierende Systeme, die natürlich Berechnungen machen,

00:33:18: da können wir jetzt wieder lange da reingehen, was machen unsere Synapsen und so was,

00:33:21: aber das ist egal. Aber natürlich ist es da im Prinzip immer eine gewisse Gefahr da,

00:33:27: Ja, meiner Meinung nach, dass eben, das heißt immer, die Blackbox,

00:33:32: also selbst die Wissenschaftler sagen ja, sie wissen teilweise nicht,

00:33:34: warum manches noch am funktionieren.

00:33:35: Ja, weil wir jetzt vor kurzem auch wieder gelesen,

00:33:37: es wird festgestellt, dass Teile des LMM-Gehirn ist,

00:33:42: wenn es noch verzeichnet,

00:33:43: tatsächlich anscheinend mittlerweile dafür benutzt wird,

00:33:45: Sachen zu denken, die eigentlich nichts mehr mit der anderen Aufgabe zu tun haben.

00:33:49: Oder auch das wird beobachtet, dass LMMs anfangen,

00:33:52: Teile ihrer Struktur zu nutzen, um Gedanken vorzusetzen,

00:33:55: die eigentlich nichts mit dem eigentlichen Task zu tun haben.

00:33:58: Und auch das ist eine spannende Sache.

00:33:59: Nicht, dass da irgendwie ein Bewusstsein entsteht oder irgendwas anderes.

00:34:02: Das will ich gar nicht.

00:34:03: Und jetzt kann aber vielleicht auch Mark da nochmal ein Wort zu sagen, der schon relativ

00:34:07: aufgeregt ist.

00:34:08: Seht es dir leider nicht.

00:34:09: Ich habe mir eine Strichliste gemacht mit allen Punkten, zu denen ich noch was nachgeben

00:34:13: wollte.

00:34:14: Und ich finde es schön, wie du das mit den Gedanken gebracht hast, weil das habe

00:34:17: ich auch gelesen und wo sie gesagt haben, okay, das Ding beschimpft teilweise auch

00:34:21: den Anwender innerlich in seinen jenersten Gehirnstrengen und wenn sie das auch

00:34:25: Machen wir ja auch funktioniert das Modell viel schlechter. Ja von der sind auch sehr menschlich. Ihr wisst ja auch nicht, was ich manchmal denke.

00:34:32: Also vorhin noch darüber gesprochen hast über wie die nicht so IT nah an Menschen, dachte ich an den alten Spruch, den man gerne zur

00:34:42: Jahreswende bringt ja, kehrt heim zu euren Lieben und richtet die IT. Du kommst als IT-Nerd an.

00:34:48: Denkst du bist der Held der Stunde, der hier alles repariert und den Leuten erklärt, worauf sie alles achten müssen.

00:34:53: Dabei bist du eigentlich nur so in Sicht der Verwandtschaft und der Kollegen der

00:34:57: Typen der dicken Hornbrille, der irgendwas Diches erzielt und wenn der irgendwann

00:35:00: aufhört zu reden, dann ist auch wieder gut. Eine Sache, die ich trotzdem noch mal,

00:35:05: wo ich nicht ganz mit Klaus einer Meinung bin, ja, bevor er dann vielleicht da

00:35:09: nochmal drauf eingeht und die Mythos-Klassengeschichte dann nochmal zum

00:35:12: besten holt. Wenn ich mir so einen ungenagelten Rechner vorstelle,

00:35:19: Dann ist dieser Rechner ja ein Perimeter Schutz dafür, dass da nicht alles drauf zum Fliegen

00:35:25: kommt, dass der Mensch Software zur Verfügung gestellt kriegt, mit der er halt arbeitet.

00:35:29: Und ich sage jetzt mal, früher nannte man so was, benannte man das früher, das ist

00:35:35: eine kleine Quizfrage, ja ich lösse es auch gleich auf, stell dir vor, du hast eine

00:35:39: Stelle im Internet, die gibt Kommandos raus und du hast Software auf Kleins am Laufen,

00:35:45: diese Kommandos interpretiert. Ja, das eine ist der Kommandos-Service, das andere sind hier die Bots,

00:35:49: die du schön auf deinen Rechner draufgefriest hast. Ja, früher hast du irgendwelche Bot-Netzwerke

00:35:53: gehabt. Heute hast du Agent Harness, den System Prompt hast du gar nicht selbst unter Kontrolle,

00:35:58: das heißt für den Anthropic und OpenAI und Co vielleicht aufgemacht werden, wer weiß,

00:36:02: wie viele Dinge die an der Sandbox vorbeischieben können, wenn der System Prompt mal verändert

00:36:08: wird und dann stehen sie alle da und dann sowas denke ich immer, gerade als sie letztens

00:36:11: wieder vorgeführt haben. Wir müssen ja nicht mit Anthropic und Op-Mae-Eye-Standung in die Ecke kommen.

00:36:15: Es gab einen schönen Bericht. Davon habe ich dann auch schon mal auf LinkedIn geschrieben, wo jemand

00:36:20: mit weißem Text auf weißen Grund, komisch, so sah früher mein Schneemann-Bild aus, größer gehen

00:36:25: raus, haben einen alten Kunstlehrer, der hat mir einen Sex gegeben dafür, weil ich ein weißes

00:36:29: Blatt Papier abgegeben habe, ein Schneemann im Schneesturm, das fand er nicht gut.

00:36:32: Ostfriesische Nationalflagge war das, weiße Arten auf weiße Grund.

00:36:34: Ja, das wäre mein zweiter Versuch gewesen, wo ich mit weißem Text auf weißem Grund

00:36:39: quasi eine Prompt-Injection gemacht haben und Co-Pilot quasi soweit durchgedrungen sind,

00:36:45: dass sie mit einem manipulierten Word-File im Kontext ist an, wenn das arbeiten konnten.

00:36:49: Und das finde ich schon anders, weil diese Malware, dieses Botnetz,

00:36:54: diese Angriff-Software, die musste es früher durch, wie ein Scanner,

00:37:00: keine Ahnung war es, auf deinen Rechner schaffen und die hast du jetzt schon drauf.

00:37:04: Sie benimmt sich halt aktuell nur sehr anständig und ob du dich es um die

00:37:08: Sandbox kümmers oder nicht, ist ja schön. Aber sobald sie diese Sandbox ignoriert und ich

00:37:12: kenne genügend Leute, die sagen, die Sandbox ist eigentlich nichts anderes als ein Stück

00:37:16: Frischhaltefolie, das wir um die Software herum spannen, weil, na ja, wie gesagt, ist eine

00:37:22: Tür, ist ein Fenster, ist doch der Maschine illegal, sobald sie irgendwo ein Loch hat,

00:37:25: kann sie auch versuchen, sich da Gewalt irgendwie durchzudrücken und damit irgendwas zu

00:37:29: machen. Und dann steht sie da vor anderer Software und diese Software hat nie damit

00:37:32: gerechnet, dass jemand den Perimeter Software Installations, Software Ausführungsrechte

00:37:38: benutzen von Software. Du bist ein ganz vielen Security-Scheiben schon vorbei, weil du bist nämlich

00:37:43: im Innersten. Und darauf sind, glaube ich, viele noch überhaupt nicht vorbereitet.

00:37:49: Wir haben jetzt Gegenfrage. Wir reden dann von Leuten, die ein Windows 11 haben oder nicht mal

00:37:55: so klar ist, was Windows 11 an Telemetik-Treat-Daten jeden Tag zum Microsoft boostet. Wir haben

00:38:02: doch sowieso keine sicheren Rechner. Ich finde, da muss man schon ganz klar

00:38:07: zwischen End-Usern, also die Gruppe von Usern, die du eben aufgebracht hast, Jens,

00:38:12: da wird als so ein Normal, wo hast du doch gar keine Chance, das überhaupt noch

00:38:19: nur ansatzweise zu durchschauen. Ich habe viel im Bankensektor früher gearbeitet,

00:38:25: sicherheitsmäßig und es ist jetzt länger her, ich kriege die Zahlen auch nicht

00:38:29: mehr zusammen, aber es ist zum Beispiel schon immer total erschreckend gewesen,

00:38:33: wie normal die User auf SSL-Warnungen, TLS-SSL-Warnungen im Browser reagieren, wenn da steht, Achtung,

00:38:40: das Zertifikat ist ungültig und 95 Prozent der normalen Leute, die klicken einfach irgendwas,

00:38:46: die verstehen das gar nicht. Und wir als IT-Las denken, ja, das ist doch total logisch, was da steht.

00:38:49: Mir hat meine Banken-Hotline empfohlen, weil meine Banksoftware so einen Zertifikatsfehler

00:38:56: geschmissen hat, drücken sie weg. Ja, genau, so. Die Hotline!

00:39:01: So, deswegen für die Betrachtung des Themas an sich, das klingt jetzt total arrogant,

00:39:08: aber ich glaube, dass diese Benutzergruppe, was willst du machen? Also es ist wie mit der Cloud.

00:39:14: Am Ende wird die Bequedendlichkeit siegen und die Qualität der Anbieter, die einen Ruf zu

00:39:20: verlieren haben. Und ich meine, es funktioniert ja auch. In der Cloud funktioniert es ja auch.

00:39:24: Die Leute posten ihre Daten dahin. Ich habe gesagt, ich schließe mich da auch an.

00:39:28: gewisse Daten, nicht alle Daten. Und wenn wir mal ehrlich sind, so richtig große Klopper,

00:39:35: also wenn wir jetzt mal Microsoft ausnehmen, wann gab es bei Apple mal einen großen Datenvorfall?

00:39:40: Oder bei Google? Gut, Microsoft kommt bei der zentrale Sammel-Signatur-Key abhanden,

00:39:46: aber das sind 50, jetzt bestimmt ein Teppich unter dem man das kehren kann. Deswegen,

00:39:52: Das ist halt wenig Benchmark, um das Thema IT-Security, KI-Security zu betrachten im

00:39:59: Unternehmenskontext, sieht das natürlich ganz anders aus.

00:40:02: Ja, wobei ich das sagen würde bis heute. Ich glaube, die Angriffssektoren werden mehr.

00:40:07: Also, wenn wir jetzt gerade auch nochmal das Thema der Fähigkeit des Social-Engineering

00:40:12: nehmen, das ist natürlich auch so eine KI-Social-Engineering halt auch nochmal

00:40:16: 1.000-1.000-fach durchführen kann, theoretisch. Mit Fake-Anrufen,

00:40:20: und andere Sachen auch Themen einfach zusammenzubringen, die wir vielleicht noch gar nicht zusammengebracht haben vorher.

00:40:25: Dementsprechend bin ich schon der Meinung, dass wir wahrscheinlich bis jetzt noch relativ wenig Cases sehen,

00:40:31: aber die Cases werden zunehmen und die Anforderungen an Security in einem Firmenkontext wird einfach höher werden.

00:40:37: Ich glaube, das ist ein echtes Hardening von Daten, dann auch wieder vielleicht an Rechnern zu haben.

00:40:44: Wir hatten das in der anderen Folge gemacht, schon mal mit einem Kollegen aus der Cybersecurity-Ecke heraus,

00:40:48: Dass wir gesagt haben, wenn ich jetzt in eine Bank bin oder irgendwas anderes, vielleicht

00:40:53: muss ich dann wieder so James Bond-Style-mäßig irgendwo ein Server stehen haben, der halt

00:40:58: tatsächlich doch nur per USB-Stick die Daten nach außen tragen darf, den ich dann von

00:41:03: einem Ding, von einem Raum in den anderen eintrage, weil die Gefahr zu groß sein könnte.

00:41:08: Ja, das ist ja auch wie so eine Schein-Sicherheit.

00:41:10: Du weißt, wie Stuxnet damals auf die iranischen Zentrifugen gekommen ist.

00:41:14: Stimmt, genau.

00:41:15: Ja, hast du recht.

00:41:16: Also, dann bist du am Ende wieder bei dem Zettmodell und das ist ja auch was aus dieser Vor-Internat-Zeit oder als es mit dem Internet begonnen hat, hat man auch gesagt, ja, natürlich, das hat Sicherheitslücken, aber man muss ja jetzt irgendwie auch nicht jedes Kraftwerk ans Internet anschließen.

00:41:31: So, heute ist jedes Kraftwerk ans Internet angeschlossen. Geben wir uns da mal keine Illusion hin, der Fisch ist gegessen, auch was KI angeht.

00:41:39: Ich glaube aber, wie gesagt, dieses Grundsätzliche für Private-User ist dieses Grundsätzliche

00:41:45: Thema, die arbeiten sowieso auf Computern, die dich hingehören mit gemieteten Betriebssystemen,

00:41:51: wenn wir mal ehrlich sind.

00:41:52: Und im Firmenkontext hast du halt ganz viele verschiedene Anlieferungsvektoren und ich würde

00:41:57: gerne von dem Thema Sandbox mal weggehen, weil das ist was, wo ich eben schon gesagt

00:42:03: habe.

00:42:04: Also das ist eine Bedrohung, die ich mit Mitteln, die wir seit 20 Jahren kenne,

00:42:08: den Griff kriegen kann. Klammer auf, wenn ich nicht zufällig dem Agenten viel mehr Rechte geben möchte

00:42:14: aus funktionalen Gründen. Dann habe ich aber eben ein anderes Problem. Dann sticht ja immer Security

00:42:19: die funktionalen Anforderungen. Was ich viel krasser finde und jetzt würde ich den Bogen mit Blick auf

00:42:25: die Ur noch schlagen auf dieses Thema dieser AES-Geschichte. Anthropic hat ein Paper veröffentlicht,

00:42:33: was Mythos selber geschrieben hat und dazu noch ein theoretisches Background Paper. Und zwar haben

00:42:41: die Mythos den Auftrag gegeben, finde bitte eine neue Angriff, eine neue Art von Angriffsklasten

00:42:48: gegen AES. Also AES, Advanced Encryption Standard, ist die symmetrische Verschlüsselung für höchste

00:42:55: Ansprüche. In den USA ist die für die größte Geheimhaltungsstufe zugelassen und überall,

00:42:59: wo sie symmetrische Verschlüsselung stattfindet, ist AES so der Standard und die Aufgabe bei

00:43:06: ihm Angriffsklassen dagegen zu finden und Mythos hat das nicht nur mit bravo getan,

00:43:12: also hat eine Schwäche gefunden, sondern wirklich eine ganz neue Art, eine ganz neue

00:43:19: mathematische Angriffsklasse, die den Sicherheitsforschern seit wie lang gibt es AES 20 Jahre,

00:43:24: 25 Jahre, bisher vollkommen unbekannt war. Das heißt, das ist ein Beleg dafür, dass LLM

00:43:35: nicht einfach nur stupide irgendwelche Trends zusammengeklebt hat. Es gibt immer so diese

00:43:40: Leute, die sagen, ach, das ist ja alles gar keine Intelligenz im eigentlichen Sinne,

00:43:45: sondern das sind ja nur Trainingsdaten und das sind so statistische Textwurstmaschinen und

00:43:49: die machen dann was und dann haben die manchmal Glück und das sieht dann gut aus und die

00:43:53: wollen, ja es sind irgendwie nur so People-Pleasers. Und das ist jetzt genau der Beweis, dass sowas eben

00:43:58: nicht ist, weil da ist eine Art von Mathematik von diesem Ding ersonnen worden. Wahrscheinlich verlinkt

00:44:08: ihr dieses Paper auch mal ins Show notes. Ich würde da jetzt nicht mehr darauf eingehen,

00:44:11: weil es schon sehr theoretisch ist. Das ist eine sogenannte Möbius-Brücke, die wie es

00:44:17: was da gefunden hat, die wirklich eine komplett neue mathematische Angriffsklasse darstellt.

00:44:22: Und das ist ein totaler Quantensprung, der wahrscheinlich aufgrund seiner Komplexität

00:44:28: und fehlenden Intuitivität nicht den Sprung wie Presse geschafft hat.

00:44:32: Es hört sich halt nicht so gut an, wie das Modell ist ausgebrochen und hat den Konkurrenten

00:44:36: angegriffen.

00:44:37: Aber das ist was, wo ich wirklich länger mit den Ohren geschlackert habe, denn das

00:44:44: Das ist jetzt das zweite Thema, apropos Club Mythos. Club Mythos ist ja bekanntermaßen das Modell von Anthropic, was offensiver IT-Security-Fähigkeiten in so einem ausgeprägten Maß hat, dass es nur ausgewählten Institutionen und Firmen zur Verfügung steht.

00:45:01: Also quasi ein qualifizierter Pentester. Das macht das Ding, was man so hört. Ich selber aber keinen Zugriff dazu.

00:45:08: extrem gut, also Sicherheitslücken in Software oder Infrastruktur finden, dann ausnutzen,

00:45:13: wo man ganz klar sagen kann, okay, das sind alles Trainingsdaten, wenn das Ding irgendwie

00:45:17: ein ungepatchten Server-Trailer findet, dann kannst du nach den CDEs gucken und sich ein

00:45:21: Export bauen und das finde ich jetzt nicht besonders kreativ.

00:45:25: Aber dieser AIS Vorfall, der ist wirklich gruselig, der ist gruselig, weil er 20

00:45:31: Jahre mathematische Forschung einfach mal eben, ich weiß nicht, wie lange die

00:45:35: gesessen haben, paar Wochen, ich weiß nicht wie viele Token die verbrannt haben, mal eben rechts

00:45:41: überholt hat. Zur Beruhigung, AES ist damit nicht gebrochen, also es gab jetzt noch so ein paar Details,

00:45:47: AES verschlüsselt in zehn Runden, also die, der Klartext wird durch zehn sogenannte S-Boxen

00:45:55: geschickt und an Vorfek hat das reduziert auf sieben S-Boxen und diese Lücke ist eben

00:46:01: einen Angriff gegen die Verwendung mit 7S-Boxen, was in der Praxis nicht vorkommt, aber dennoch,

00:46:07: der Witz ist eben nicht der praktische Angriff, sondern diese Art von Mathematik. Und das ist

00:46:13: schon was, wo ich sage, Puh, also das mit den Sandboxen, das kriege ich mit traditionellen

00:46:17: Mitteln in den Griff. Aber hier, da hilft mir am Ende auch keine KI-Psychologie. Das ist

00:46:23: eine Klasse, die man auch als Mensch nicht mal einfach so nachvollziehen kann?

00:46:27: Ja, das Problem, ich betone, weil ich das jetzt auch vor kurzem noch gelesen hatte, die Tage erst,

00:46:35: ich würde es nur dramatischer machen. Es verdichten sich die Gerüchte, dass Anthropic im Prinzip

00:46:40: auch schon das sogenannte Model 2 hat, das nur intern benutzt wird, das ist die,

00:46:44: man könnte es auch als Mythos 6 schon bezeichnen, die 6er Version, der sie noch gar nicht wissen,

00:46:50: ob sie die Wannse die erlesen wollen, aber die Intention da ist, die wohl angeblich

00:46:55: 12,5 Prozentpunkte noch mal besser ist als Mythos 5 und da wissen wir was da auf

00:47:01: uns zurollt in dem Moment. Absolut. Auch wenn man, das ist jetzt ein alter

00:47:09: Spruch wieder vom alten weißen Mann, so schlecht wie heute, werden die Modelle

00:47:16: nie wieder sein. Und natürlich, so wie wenn einer anfängt, vom Rücken zu erzählen und

00:47:24: alle anderen dann auch im Rücken haben, egal ob sie es wirklich im Rücken haben oder nicht,

00:47:27: ich möchte überhaupt nicht schneller. Jeder hat so seinen Pactline mit sich rumzutragen,

00:47:33: ist das natürlich auch mit bevorgehendem Börsengang natürlich auch immer ganz wichtig

00:47:37: zu klären. Wir haben da ganz viel im Kücher und überhaupt. Und wir wissen auch nicht,

00:47:42: Ja, wenn ich alleine mal umrechne, wie viel ich mit meinen Tokens in real Verbrauche, wenn

00:47:49: ich die Tokens jetzt, ich sag mal, als Token-Based abrechnen würde, wer so's beim Abo, dann

00:47:53: brauche ich mich nicht wundern, wenn irgendwann mal die Preise angehoben werden, weil spätestens

00:47:57: wenn sie an den Börsen sind, wird halt das Thema, wir schenken unseren Kunden

00:48:00: Geld.

00:48:01: Irgendwie weiß auch nicht, ja, mal gucken, wie sich das so entwickeln wird.

00:48:05: Ja, aber lasst mich dann noch vielleicht noch eine Anekdote aus meiner jüngsten.

00:48:09: Ich baue mir mal ein Harnes mit meinen KIs, die mich so unterstützen.

00:48:15: Du hast jetzt gesagt, du hast alles miteinander verbunden, noch alles da.

00:48:19: Ja, alles miteinander verbunden und ja, ich hab jetzt auch mal wieder den Überblick

00:48:23: zwischendurch verloren.

00:48:24: Ich weiß nicht, ob ihr das kennt, wenn man dann irgendwie mit mehreren Modellen parallel

00:48:27: arbeitet und dann das eine Modell schon was codet, was man mit dem anderen Modell

00:48:30: schon wieder neu bespricht, verliere ich ab, durchaus habe ich einen Überblick.

00:48:34: Baue mir das Dashboards und andere Sachen, aber worauf ich diesmal nur eingehen

00:48:37: wollte war, da hat tatsächlich das eine Modell mir geholfen, ein Vorschlag des

00:48:42: andere Modells abzulehnen. Mit der klaren Aussage Jens, das baue ich nicht.

00:48:47: Weil das öffnet nämlich eine Sicherheitslöge in dem System, da ging es

00:48:50: halt tatsächlich so ein bisschen drum. Ich wollte kommunizieren mit mein OpenClaw

00:48:54: über Telegram und wollte eigentlich dann auf meine Desktop-Cloud-Version, die

00:48:59: ein bisschen mehr Freigabe auf dem Rechner hat, zugreifen und hatte mir so gedacht,

00:49:02: komm, da kannst du das doch irgendwie über Telegram machen und dann schicken wir

00:49:05: fröhliche Textnachrichten runter und OpenClaube auf total happy mit dieser Lösung hat die dann

00:49:10: vorgeschlagen und Claude auf dem Rechner hat gesagt, Alter, dazu machen wir mal nicht. Und das fand

00:49:17: ich auch eine interessante Situation und das ist so ein bisschen Klaus in diese Richtung,

00:49:20: was ich vorhin angedeutet habe, mit dem vielleicht auch befähigendes Endanwender durch KI-Modelle.

00:49:25: Jetzt ist es hier schon, sagen wir mal, ein extremeres Beispiel, wie jeder verknüpft,

00:49:29: Aber natürlich hat hier die Fähigkeit und diese Omnipräsenz und Omnimacht, die diese KI-Modelle haben,

00:49:36: natürlich dazu geführt, dass ich nicht einfach fröhlich, weil ein Modell mich einfach nur bestätigt hat in meiner Annahme

00:49:41: und was gebaut für mich hat, um mir zu gefallen, hat im Prinzip das andere Modell dafür gesorgt,

00:49:45: dass ich eben die Sicherheitswirkung nicht aufmache.

00:49:47: Und ich finde, das gibt so einen kleinen Blick in eine mögliche Zukunft auch rein,

00:49:53: wenn man jetzt auch die Beispiele sieht, die du angebracht hast,

00:49:55: die du angebracht hast, dass diese Modelle auf Angriffsvektoren kennen, über die wir

00:49:59: nie nachgesagt haben, weil sie vielleicht mathematisch so kompliziert waren, dass wir sie nie angedacht

00:50:04: haben oder eben einfach selber gar nicht drüber nachgedacht haben, für dieses Angriffsvektoren

00:50:07: zu finden. Dementsprechend wird es trotz alledem und ich glaube, da kann man dann

00:50:13: auch noch Bücher und Bücher lesen ohne Ende in der Zukunft drüber dazu führen,

00:50:18: dass wir quasi einen Angriff und als auch Abwehrkampf sehen werden, der vor allem

00:50:24: durch KIs geführt wird, die gegeneinander sowohl auch Verteidigungswege finden werden,

00:50:29: an die wir vielleicht auch gar nicht gedacht haben. Und das könnte, glaube ich, noch eine

00:50:33: spannende Entwicklung werden, die wir so in den nächsten Wochen und Monaten sehen und

00:50:36: die dann halt tatsächlich so ein bisschen mehr in die KI-Zukunft, die in einem oder

00:50:40: anderen Cyberpunk-Book beschrieben worden ist, reinführen werden.

00:50:43: Du meinst, es wird dann sein, wie mit Gewalt und regulären Ausdrücken, wenn

00:50:49: es nicht hilft, braucht man einfach mehr davon.

00:50:51: Es könnte ein Wettrüsten, der auch in diesem Fall natürlich der KI's werden, in dem Moment.

00:50:55: Also, ob ich sage, ich meine, wir haben das ja...

00:50:57: Man sollte in Videokapazien kaufen.

00:50:59: Ja?

00:50:59: Keine Kaufempfehlung, wir sind kein Investmentportal, wir sind keine Rechtsberatung, wir sind alles nicht.

00:51:05: Also wenn ich mir das so anhöre, was ihr so erzählt, während Jens davon gesprochen hat,

00:51:09: dass KI uns beschützt, stelle ich mir gerade folgenden Satz vor, hallo Mark, guten Morgen.

00:51:13: Ich habe dein Bankkonto dem Dieb entgegengeworfen, mit deiner Platte wieder zugänglich ist.

00:51:19: Ich hoffe, du freust dich, finde ich z.B. eine schöne Meldung, wenn die dann mal kommen.

00:51:23: Und für alle die, die Angst haben, dass eine KI irgendwann mal wirklich ausbricht und in der

00:51:30: Bildzeitung steht, Tatschi PT hat die KI-Laborer verlassen und will jetzt die Welt übernehmen.

00:51:38: Keine Sorge, das Kontextfenster ist relativ schnell voll, dann warten wir noch ein paar

00:51:42: Minuten und dann fängt er an und hat vergessen, was er vorhatte und geht wieder

00:51:47: Ganz eingeschüchtert zurück und denkt sich, was war denn?

00:51:50: Also ich meine, das ist auch so ein Punkt, ne?

00:51:53: Du meinst, es ist nicht nur ein bockiger Jugendlicher mit omnipotenter bockiger Jugendlicher,

00:51:58: sondern er hat auch noch als halberer.

00:52:00: Ja, kurze Zeit.

00:52:01: Ja, genau.

00:52:02: Ja, genau.

00:52:03: Ja, genau.

00:52:04: Ja, genau.

00:52:05: Ja, genau.

00:52:06: Von der Seite, ich finde das total toll, dass wir uns heute zu dritt hier getroffen

00:52:11: haben.

00:52:12: Ich gebe mal einen Tipp.

00:52:13: Es könnte sein, dass wir uns bald nochmal zu viert treffen, wer das so sein

00:52:16: Wird mal gucken, wann diese Folge dann kommt und möchte es nur schon mal vortiesen.

00:52:21: Danke, dass ihr da wart.

00:52:24: Ich möchte alle Zuhörenden auf die Show Notes verweisen, weil wir haben jetzt eine Lending-Page.

00:52:29: Wir haben einen WhatsApp-Kanal, wo wir über Neuigkeiten informieren.

00:52:34: Wir arbeiten unsere Folgen auch im Nachgang noch ein bisschen mit Bonusmaterial auf,

00:52:39: dass wir auf unserer Lending-Page in einem Blog verewigen.

00:52:43: Und wie der Klaus schon sagte, wenn ihr etwas habt, schreibt es uns lieber nicht als Mail,

00:52:48: sondern gebt uns einen Kommentar in den entsprechenden Podcast-Plattformen noch viel lieber.

00:52:55: Hätten wir Sterne, aber Feedback nehmen wir auch.

00:52:58: Schlechtes geht an Jens, Gutes geht an mich.

00:53:00: Wir werden uns das entsprechende aufteilen.

00:53:03: Und damit bedanke ich mich, sicheren Abend durch allen.

00:53:07: Danke, tschüss.