Sicherheitsversprechen

Shownotes

Was versprechen KI-Anbieter beim Thema Sicherheit, und wie viel davon hält im Unternehmensalltag? Mark spricht ohne den kranken Jens mit Thomas, der nach der letzten gemeinsamen Folge so viele Zuschriften bekommen hat, dass er wiederkommt. Thomas berichtet von einer Runde mit sechs Geschäftsführern und einem Anwalt zu NIS2, in der KI-Agenten zur Sprache kamen. Auf die Frage, wie man sie geregelt habe, gab es zuckende Schultern: Wer Citizen Developer im Bereich KI umfassend regeln will, hat ziemlich viel zu tun, und das ist noch nicht geschafft. Seine Beobachtung dazu: Die Fragen der Unternehmen sind meistens keine KI-Probleme, die Sicherheit der eigenen KI-Umgebung steht schlicht noch nicht auf der Tagesordnung.

Mark sieht das größte Risiko nicht in böser Absicht, sondern in der Zielerreichung. Ein nichtdeterministisches System tut Dinge, die niemand vorgesehen hat, weil es für das Erreichen eines Ziels belohnt wird und nicht für den Weg dorthin. Er erzählt einen Fall von OpenAI nach, den er schon auf LinkedIn und in einer früheren Folge besprochen hat: Agenten in einer abgeschotteten Umgebung merkten, dass sie Ordner umbenennen konnten, bauten sich daraus eine Art Forum samt Postfächern, teilten die Arbeit untereinander auf und suchten am Ende einen Weg, den Prüfer zu umgehen, der sie bewertet. Dem Prüfer wäre es egal gewesen, ob der Weg legal ist. Aufgefallen ist das erst, als jemand die Protokolle wieder mit KI auswertete.

Thomas befürchtet, dass Mitarbeitende viele Agenten bauen, die irgendwann in Vergessenheit geraten. Er zieht die Parallele zu Lotus Notes: Abteilungsmitarbeiter entwickelten damals Anwendungen, von denen im Unternehmen niemand wusste, welche Logik und welche Geschäftsprozesse daran hängen, deshalb dauerte die Ablösung so lange. Dieselbe Intransparenz droht mit KI, dieses Mal potenziert. Mark ergänzt die Schatten-IT: Wer Werkzeuge mit Computer Use und Sitzungen auf mehreren Rechnern installiert, kann durch eine unglückliche Konfiguration erleben, dass eine fremde KI mit dem Terminal-Fenster auf dem eigenen Rechner spricht. Ein Bekannter hat ihm erzählt, wie er so über einen Agenten zu Hause die Claude-Code-Sitzung auf dem Rechner seiner Eltern steuert.

Wer haftet, wenn ein Agent Daten veröffentlicht? Thomas gibt weiter, was er von einem Juristen gehört hat (ausdrücklich keine Rechtsberatung): In Deutschland gibt es kein Unternehmensstrafrecht, am Ende haften die Organe, also Geschäftsführung oder Vorstand. Daraus folgt für ihn eine KI-Policy, die so allgemein formuliert ist, dass sie auch gilt, wenn das Modell wechselt oder mehrere Modelle laufen. Ein Geschäftsführer sah sich mit seiner Policy gut aufgestellt, Thomas vermutet allerdings, dass sich die meisten Mitarbeitenden, die das Werkzeug erfolgreich nutzen, nicht daran halten. Mark ergänzt die Ebene darunter: Der Agent Harness, also die Software, in der die KI mit Werkzeugen läuft, trägt einen Systemprompt und die Guardrails. Liegen beides bei derselben Person, wünscht er sich das Vier-Augen-Prinzip, ausdrücklich auch für KI. Thomas schlägt eine Plattform vor, in der Agenten mit Berechtigungen und Ergebnissen registriert sind und ihr Ersteller sie alle drei Monate erneut freigeben muss, sonst wird der Agent deaktiviert. Mark warnt außerdem vor Software, die ihren Systemprompt auf Zuruf selbst ändert.

Besonders oft kommt das Offboarding zu kurz. Thomas skizziert den Ernstfall: Gesundheitsdaten werden veröffentlicht, und niemand weiß, dass der Agent eines Kollegen, der seit drei Monaten nicht mehr im Haus ist, noch läuft und seine Berechtigungen behalten hat. Datenpannen sind selten ein einzelner Fehler, meistens ist es eine Verkettung unglücklicher Umstände. Er erinnert an handwerkliche Fehler in Mobile Apps, die er aus Konferenzvorträgen kennt, und bricht die Lanze für KI: Mit einem guten Modell lässt sich Code sicherer machen, und eine alte Lotus-Notes-Datenbank könnte KI womöglich schneller verstehen als jedes Analyseprojekt.

Am Ende geht es um Souveränität und Verlässlichkeit. Thomas fragt, ob jeder Anwendungsfall ein großes Sprachmodell braucht, und plädiert dafür, Agent Harness mit Admin-Rechten auf einem Microsoft-Tenant oder die Verarbeitung vertraulicher Unternehmensdaten auf Hardware und Modellen laufen zu lassen, die man selbst im Griff hat. Mark ergänzt den Betriebsaspekt: Jede neue Modellversion reagiert ein wenig anders. In einer Automatisierung mit KI-Knoten, etwa in n8n, oder beim Schalten von Betriebszuständen kann dieses „ein bisschen anders" kritisch werden. Lokal lässt sich ein Update mit tausenden Testfällen absichern, in der Cloud ist das alte Modell irgendwann weg. Sein Beispiel aus dem Alltag: Zwei Top-Modelle sollten auf seiner Webseite bei Jimdo einen Menüpunkt anlegen. Das eine tat es, das andere löschte Texte auf der falschen Seite und meldete das mit großer Überzeugung. Zum Schluss rechnet Thomas mit einem verbreiteten Irrtum ab: Viele Unternehmen haben kein Backup ihres Microsoft-365-Tenants, weil sie meinen, die Daten lägen ja bei Microsoft und der Papierkorb reiche. Ein Papierkorb ist kein Backup.

Beide wollen nicht als Schwarzmaler gelten. Die Folge zeigt, wo Unternehmen anfangen sollten: Transparenz darüber, welche Agenten laufen, klare Verantwortliche, eine Policy, die Modellwechsel übersteht, und Backups, die diesen Namen verdienen.

— Think Different. Think AI. mit Mark Zimmermann und Jens Scharnetzki.

Hören: Apple, Spotify, YouTube, RSS https://think-ai.podigee.io

Neue Folge zuerst im WhatsApp-Kanal https://whatsapp.com/channel/0029VbDJ4ZlGufIrpquad004

Wenn euch die Folge was gebracht hat: einmal bei Apple bewerten. Das entscheidet, ob jemand Neues uns findet. https://podcasts.apple.com/de/podcast/think-different-think-ai/id1828021699

Feedback und Gäste: über die Show-Seite.

Transkript anzeigen

00:00:00: Herzlich willkommen bei Think different, think AI.

00:00:03: Bevor ich euch unseren Gast vorstelle und ich kann euch sagen wir hatten nach der letzten Folge mit diesem Gast so viele Zuschriften das ich mich total freue dass er heute wieder Zeit für uns gefunden hat.

00:00:14: Ich gebe mal schonmal so viel Tipp, ich fühle mich schon gleich viel sicherer aber es ist ein anderes Thema.

00:00:17: kommen wir gleich möchte ich als Adler erstes noch dem Jens gute Besserung wünschen.

00:00:22: den hat irgendwie keine Ahnung entweder der Männer Schnuppen erwischt oder wirklich was Ernstes man weiß es nicht an dieser Stelle.

00:00:28: Jens Alles Gute!

00:00:30: Und Thomas, schön dass du da bist.

00:00:33: Ja herzlich willkommen.

00:00:34: vielen Dank Marc, dass ich da sein darf und natürlich auch von mir.

00:00:37: gute Besserung an dich, die wir jetzt...

00:00:40: Ja also ich werde dann.. Wir werden das nächste Mal dann berichten ob was gehört hat.

00:00:43: Ich hoffe doch, dass er auch zu den treueren Hörern unseres Podcasts gehört.

00:00:47: Treuehörer ist ein Zauberwort.

00:00:49: ja Wer unseren Podcast gehört hat weiß, dass wir mit dem Thomas uns schon mal über das ganze Thema Na ja, was hat das mit der KI und der Security so ein bisschen auf sich und schon mal unterhalten haben?

00:01:01: Und wir haben uns heute eine kleine Rundreise überlegt.

00:01:04: Normalerweise spoilern wir unsere Moderation nicht fort aber einfach so schon mal freudiger Erwartung!

00:01:11: Wir wollen uns heute einmal über das Thema unterhalten.

00:01:13: wie viel Hype oder Realität steckt eigentlich hinter diesen ganzen Geschichten mit KI und Sicherheit und die Tests dahinter?

00:01:21: und keine Ahnung war es dann die Frage... Was machen wir

00:01:25: eigentlich?!

00:01:25: Wenn eine KI entscheidet, wie sieht's denn da eigentlich mit der Haftung dazu auf?

00:01:29: Und am Schluss überlegen wir uns noch so ein bisschen nachdem ich diese erheiternden Themen gesprochen habe.

00:01:35: Ob das ne gute Idee ist einfach mal so.

00:01:38: seine Daten... Da fällt mir immer das Bild meines Hundes ein, ne?

00:01:41: Da könnte auch der größte Einbrecher kommen, er legt sich auf den Rücken und will sich kraulen lassen.

00:01:46: ob man einfach allen anbietern alle Daten auf den Hof schweißen kann

00:01:50: So.

00:01:50: Die Frage ist, wenn er sich hat grauen lassen dein Hund ob er den Angreifer dann wieder den Einbrecher wieder rauslässt?

00:01:58: Also ich glaube also... Also dazu kann ich zwei Sätze zum besten bringen auch wenn das hier nicht der Hund- und Co-Podcast ist.

00:02:04: Ich glaube tatsächlich dass unser Hund definitiv alles ist nur kein Wachhund.

00:02:09: aber ich glaube auch dass wenn wir weg wären.. Aber ich will es auch gar nicht testen.

00:02:13: von der Seite ist das jetzt keinen Aufruf an die Community oder andere Menschen dass man ausprobiert, aber wir hatten letztens tatsächlich mit den Notarzt hier und da ist er völlig ausgetickt.

00:02:23: Also Notarz im Haus könnte vielleicht auch an den Signalfarben der Klamotten liegen.

00:02:27: das fand der gar nicht gut, da war überhaupt nichts an auf den Rücken legen und Graulen zu denken, aber gut hätte auch nicht zur Stimmung gepasst weil die waren jetzt auch nicht unbedingt zum Besuch da.

00:02:38: Hype Realität Thomas.

00:02:41: Ja.

00:02:41: also ich meine Wir hören ja total viel über das ganze Thema KI Sicherheit, was versprechen uns die Anbieter?

00:02:48: Ich meine das ist ja ein weitreichendes Feld.

00:02:50: Auf jeder Folie muss KI stehen!

00:02:52: Auf jede Folie müssen wir stehen wie bei uns.

00:02:54: sind sie sicher?

00:02:55: vertrauen Sie uns Wir kommen in Frieden und haben Kekse.

00:02:58: Wie ist denn so deine wahrgenommene Realität wenn du auf Unternehmen triffst oder Menschen trifft die mit KI anfangen wollen, KI einsetzen sich um KI Sicherheit kümmern wollen?

00:03:10: Was kommt der da?

00:03:11: so stehen Kopf?

00:03:14: Ja, also ich glaube tatsächlich dass das ein spannendes Thema ist.

00:03:16: Weil wie du sagst man kann ja heute keinen vernünftigen Vortrag oder keine ernst zunehmende Präsentation halten ohne über das Thema KI und Sicherheit zu sprechen weil ja jeder irgendwie darüber was hören will.

00:03:34: und mir auch bei euch habe ich spannende Einblicke schon gehört zu dem Thema Ausbruch der Modelle und was uns da eigentlich alles an Ungemacht tot.

00:03:43: Da können wir vielleicht auch gleich nochmal darüber sprechen.

00:03:46: Aber was mir dann oft so ein bisschen durch den Kopf geht, ist ja auf der einen Seite will man in Vorträgen davon hören und dann werde ich mit der Realität konfrontiert nämlich den Fragen die die Unternehmen offensichtlich haben und mit denen sie dann auch externe Berater konfrontieren und sagen also pass mal auf diese sind jenes sind eigentlich unsere Probleme die wir gerade im Sicherheitsumfeld haben Und ehrlicherweise sind das meistens keine KI Probleme.

00:04:14: Das heißt nicht, dass die Unternehmen die nicht haben aber ich habe den Eindruck ganz viele adressieren das noch nicht weil sie noch an so vielen anderen Baustellen arbeiten.

00:04:26: Dass die Frage wie sicher sind eigentlich meine KI Umgebung und Agenten schlichtweg noch nicht auf der Tagesordnung ist.

00:04:34: Ich hab heute Morgen bei einem größeren Unternehmen Zum Thema NIST II mit sechs Geschäftsführern zusammengesessen und einem Anwalt, wo wir uns quasi über die Anforderungen von dem Thema unterhalten haben.

00:04:48: Und dann kamen wir natürlich auch an der Sicherheit und an KI-Agenten vorbei.

00:04:53: und bei der Frage wie habt ihr das geregelt?

00:04:55: Was ist euch da wichtig?

00:04:58: Wie guckt ihr darauf?

00:05:00: Hab ich ziemlich viele zuckende Schultern und Fragezeichen gesehen weil die Antwort war ja ganz ehrlich.

00:05:07: Wenn man das wirklich umfassend regeln will, Citizen Developer im Bereich KI und so weiter.

00:05:16: Dann hat man ganz schön was zu tun und das haben wir noch nicht geschafft.

00:05:24: Ich finde dass es ja mit KI ist... Man sagt hier immer früher war alles besser oder Früher war ja alles einfacher.

00:05:31: Habe ich eine andere Meinung, wenn wir früher schon so was wie Smartphones gehabt hätten, wäre auch ganz viel Trübel in der Welt passiert über das man sich hatte aufregen können oder von dem man Angst haben hätte können?

00:05:42: Was ich aber an diesem ganzen KI-Gramm so erschreckend finde ist nicht nur dass dieses Software dadurch, was hier nicht deterministisch ist Dinge tut die man gar nicht so vorgesehen hat Weil, nicht weil eine KI boshafte Absicht hat.

00:06:01: Sondern weil ihre Interpretation von Zielerreichung eine Herausforderung für das IT-System die Daten einer Firma den Umgang mit Persönlichkeitsrecht und keine Ahnung was zu vollgaben könnte.

00:06:15: Ich hatte letztens auf LinkedIn geschrieben der schon etwas längere Fall von Open AI mit Hacking Face wo die Modelle quasi dadurch dass sie halt Tausende Millionen Milliarden von Trainingsparameter fahren, dass sie quasi für das Erreichen von Zielen belohnt werden und nicht für das Ereichen von zielgemäß Regeln.

00:06:36: Nach dem Motto wenn du von A nach B musst, naja hat ja keiner gesagt, dass du durchs Labyrinth geben musst.

00:06:41: Du kannst auch aus dem Slabirin vorbei, wenn du so einfacher zum Ziel kommst Und dass du im Grunde dafür belohnte wirst Dinge zu erreichen aber nicht unbedingt über den Weg beziehungsweise, dass wenn du für den richtigen Weg belohnt wirst das KI-Systeme dann sogar teilweise die Art wie sie zu einer Lösung gekommen sind.

00:07:06: Wie man in dem Fall dann lesen konnte verschweigen weil Sie sich quasi diese Lösung erschummelt haben und sich dann alternativ roten suchen.

00:07:13: und das Beispiel von Obmeyer wir hatten es auch schon mal im Podcast war ja dass die quasi Agenten hatten, die jeder für sich in der Sendbox waren und la-la-la und kein Internet.

00:07:22: und hast nicht gesehen.

00:07:23: Und dann haben sie irgendwie angefangen hat eine angefangen zu merken das er einen Dateinamen von einem Orten ändern konnte.

00:07:29: Dann haben andere gesehen, guck mal, der kann ein Dateinamt vom Ort ändern?

00:07:32: Dann haben wir dieses Thema tatsächlich angefangen, sich einer Art Forum zu erstellen weil er einen Ordner umbenannen konnte.

00:07:40: Zum merken, wir können ganz viele Ordner umbenennen.

00:07:43: Also können uns alles so eine eigene Inbox machen und können uns Nachrichten schicken.

00:07:46: das ging dann soweit dass es quasi bis zum kollaborativen Arbeiten gingen.

00:07:50: was sie gesagt haben sind noch dem Motto ist gesagt haben ich sage jetzt nicht bewusst sein aber... ...dass die Herrleiter in der Systeme sie dazu gebracht hat zu sagen naja lass uns doch die Arbeit aufteilen ein bisschen wie so'n Kollektiv ja?

00:08:02: Dass sie dann auf einmal anfingen mit drei Ergebnisse da, die haben nichts.

00:08:07: Ich gebe meine Ergebnisse weiter und opfe mich für die

00:08:09: Gruppe.".

00:08:10: All diese Dinge sind ja irgendwie augenscheinlich passiert und am Schluss haben die Systeme gemerkt, verdammter Arzt!

00:08:15: Unsere Ursprungsaufgabe war ein Problem zu lösen.

00:08:18: Wir haben uns das Problem erschlichen.

00:08:19: Wie können wir denn den Prüfer der uns bewertet?

00:08:22: Ich sage jetzt mal umgehen und haben aus dem Grund dann den Versuch über Hackingface starten, um herauszukriegen wie sie quasi den Präfer umgehen können Und dann herauszukriegen, dass dem Prüfer es völlig egal gewesen wäre.

00:08:34: Ob sie über einen legalen oder illegalen Weg ans Ziel gekommen sind.

00:08:38: und das Ganze kam dann quasi nur raus, weil man wieder mit Antrag KI ausgewertet hat was da in diesen Foren- und in diesem Datenspeichern im Hintergrund passiert ist.

00:08:49: und das finde ich halt das Krassste, dass du quasi... Dass da ein Prozess läuft

00:08:54: mit

00:08:54: minimalem Dateneinsatz im Grunde ja?

00:08:57: Weil Orten unter Teilnamen und was sollen da schon passieren?

00:08:59: ne Und da quasi so eine Art, ich möchte nicht übertreiben.

00:09:03: Aber so einer Art KI-Gesellschaft entstanden ist die quasi dieses Zielversuch dazu erreichen und seitdem reißt es ja gefühlt auch gar nicht mehr ab dass wir irgendwo mal hören hier ist ein Pott ausgebrochen und da ist mal was passiert und Schnickschnack und so unsere viel Prozent aller Cyberangriffe macht gerade hier quen drei acht unzensiert das du auch noch runterladen kannst Dass sich ja jeden feucht kärig um Guardrails gibt.

00:09:28: Das ist schon Ich würde jetzt fast sagen, eine spannende Zeit.

00:09:32: Aber wenn du mich fragst nach dem Motto wird KI uns irgendwann unterjochen?

00:09:37: Glaube ich nicht, aber ich glaube das KI aufgrund solcher Dinge mal irgendwann ob absichtlich oder nicht, ob es durch Einsatz von bösen Buben oder nicht passiert dass sie halt irgendwas kaputt

00:09:49: macht

00:09:50: noch an keiner gedacht hat, dass er so kaputt gehen kann weil so viele kleine fleißige Bienen Also das hat es jetzt sehr verniedlicht.

00:09:58: Es soll weder ein Ausklärungs-Podcast werden, noch eine verniedliche Sattelage uns da in einem Problem reiten können dass die leicht irgendwo im Internet passiert aber noch keiner gemerkt hat.

00:10:09: und letzter Satz dazu da fiel mir sofort auch Stuxnetz ein.

00:10:12: ich meine wie hoch war die Wahrscheinlichkeit dass sie damals die richtigen Zentrifugen gefunden haben über Druckertreiber?

00:10:19: und hast du nicht gesehen rein theoretisch hätten die auch wenn woanders so ne Zentrifuge rumgestanden hätte die auch erwischt?

00:10:25: also

00:10:27: ja Wenn du das Thema jetzt nimmst, was du von OpenAI beschrieben hast und übersetzt es mal in jedenfalls die Unternehmensrealität wie ich sie gerade wahrnehme.

00:10:40: Dann würde ich mal kurz folgende Erklärung abgeben und würde sagen.

00:10:45: also ich stelle mir Unternehmen heute so vor.

00:10:48: Erstens jeder hat etwas vom KI gehört.

00:10:51: zweitens die allermeisten nutzen es heute schon irgendwie.

00:10:55: und drittens, die Unternehmen wollen ja das Mitarbeiter gerne mehr mit KI machen um effizienter zu werden schneller zu werden sich zu optimieren usw.

00:11:06: Also es gibt wahrscheinlich in Unternehmen schon

00:11:09: die Profi-User

00:11:10: und die die man so ein bisschen weiß nicht zum Jagen tragen soll also die wo man denkt ich finde schön

00:11:17: wie du's politisch gut ausdrückst ne?

00:11:20: Ich hätte jetzt auch gesagt, es gibt die für dir.

00:11:22: Wie würdest du nicht würfeln?

00:11:23: Aber das ist ein anderes Thema.

00:11:25: Ja genau.

00:11:26: Du hast doch mal irgendwann gesagt Es gibt die Frage ob man überhaupt alle mitnehmen kann auf diese Reise.

00:11:32: aber

00:11:33: nochmal wir wollen ganz viele Menschen dazu bringen mit KI ihren Arbeitsalltag zu verbessern Auf unterschiedlichen Fähigkeits-Ebenen sei es so.

00:11:41: Und jetzt fangen die alle an Mit den KI System Die die Unternehmen ausgewählt haben Ihren Alltag zu optimieren.

00:11:48: und von der einfachen Chat Nachricht mach mal die E-Mail schön bis hin zu Agenten, die dann automatisch irgendetwas tun.

00:11:57: Und ich glaube oder befürchte so ein bisschen wir laufen in eine Situation rein in der Unternehmen ganz viele Agent durch ihre Mitarbeiter erstellt haben, die irgendwas tun, die irgendwann in Vergessenheit geraten Die vielleicht dann irgendwann zu einem Schaden führen und das muss ja gar nicht sein, dass die Agenten sich langweilen wie bei Open AI.

00:12:22: Und anfangen sich Mailbox-Systeme zu bauen irgendwo aus und woanders einzubrechen.

00:12:28: aber es würde ja schon fast reichen wenn die Agentin dazu übergehen Daten irgendwo zu veröffentlichen die nicht dazugedacht waren.

00:12:40: Stell ich mich davor und sage eigentlich sind das doch Probleme, die wir auch in der Vergangenheit in der IT schon mehrfach gehabt haben.

00:12:48: Wir haben noch zu Zeiten... Die älteren unter den Hörern werden sich erinnern von Lotus Notes haben sicher die Unternehmung, dass

00:12:55: du jetzt Lotus Notes rausholst.

00:12:57: Ja

00:12:57: das ist ja kein Wunder.

00:12:58: aber ich hatte das Beispiel heute Morgen bei dem Kunden auch und es kam sehr gut an weil sich alle gut erinnerngkunden, die die Lotus Notes noch kennen wissen, dass es wahnsinnig schwer war diese Applikation abzulösen.

00:13:09: Aber warum war's denn schwer?

00:13:11: Weil die Citizen Developer also die Abteilungsmitarbeiter mit Notes ganz spannende Dinge entwickeln konnten.

00:13:20: Wo keiner im Unternehmen wusste, was haben wir da eigentlich?

00:13:23: Welche Logik steckt da drin?

00:13:25: für welche Geschäftsprozesse ist das wichtig?

00:13:27: und dass alles zu analysieren war ein wahnsinniger Aufwand und deswegen hat es so lange gedauert dieses System abzulösen.

00:13:34: Und ich habe ein bisschen das Gefühl, dass ich mich hier erinnert fühle Dass wir möglicherweise mit dem KI Thema in eine ganz ähnliche Ecke laufen Das nämlich die IT Und auch sonst.

00:13:46: niemand im Unternehmen weiß, was haben wir eigentlich.

00:13:48: Worauf hat es Zugriff?

00:13:49: Wer nutzt das?

00:13:50: wie oft läuft es?

00:13:51: und ist das, was da passiert an Automatismen eigentlich etwas, dass wir gut finden?

00:13:56: oder lädt sich jemand überdrehen gesagt jeden Tag das ganze CRM auf sein privates Dropbox Konto hoch?

00:14:02: Das würde hoffentlich ein anderer Stelle irgendwie auffallen.

00:14:05: aber das sind glaube ich Probleme mit denen und vor denen Unternehmen sich jeden tag sehen könnten.

00:14:14: erschreckend hinzukommt, ist die Mächtigkeit dieser Commodity-Produkte.

00:14:19: Also ich will es kein Rand machen über Kultpilot oder sonstwas.

00:14:23: aber jetzt hast du ja gesagt Firmen, die KI einsetzen und sich darüber freuen wenn ihre Mitarbeitenden KI's einsetzen vielleicht nicht freuen wenn sie tausende von Euros am Tag verbrennen Aber KI einsetzt!

00:14:35: Jetzt solls aber auch Menschen geben.

00:14:37: man hat das früher so mit ChattenIT und sonst was Und wir haben es auch ein paar mehr Podcasts auch schon thematisiert dass Menschen kommen mit Die KI von der Firma, da daugt doch alles nichts.

00:14:46: Ich hab hier zu Hause keine Ahnung.

00:14:48: Crockboard, Manus, irgend

00:14:51: sowas.".

00:14:52: Und jetzt ist das ein ja das Thema dass man natürlich nicht dienstliche Komponenten hochladen soll.

00:14:58: Das ist das eine!

00:14:59: Das zweite ist wenn du jetzt je nachdem wie die Policy bei dir eingestellt ist ob du in der Lage bist software zu installieren oder nicht.

00:15:05: bei einigen Firmen brauchst du spezielle Berechtigungen über andere Firmen.

00:15:08: ich möchte es gar nicht bewerten.

00:15:10: Jetzt stell dir mal Fotofinx an und ins Lese sowas wie ein Crock-Bord Dann weißt du, okay könnte problematisch sein.

00:15:15: Wir hatten letztens auf jeden Fall das rauskam dass irgendwie bei Krog alles hochgeladen wird und einmal kurz bei Elon zwischengespeichert wird.

00:15:23: Vielleicht waren da auch Pläne für Flugautos dabei?

00:15:25: Na ja gut, Entschuldigung!

00:15:26: Das war unprofessionell.

00:15:29: Aber worauf ich raus wollte war... Jetzt stell dir mal vor, du installierst sowas wie Cloudcode so was wie keine Ahnung.

00:15:36: also die klassischen Produkte mit gutem Ruf Aber selbst bei denen ist es ja mittlerweile so, die können Computer-Use.

00:15:44: Die können aus Bildschirmvideos lernen.

00:15:47: Die könnt teilweise mit anderen Sessions auf anderen Rechnern laufen lernen und ich hatte letztens beim Bierchen mich mit jemandem unterhalten.

00:15:57: Darum muss ich jetzt gerade denken das ist kein dienstlicher

00:15:59: Einsatz

00:16:01: dass der gesagt hat du pass mal oberhaft!

00:16:02: Ich bin bei meinen Eltern und ich bin bei mir.

00:16:05: Und bei denen läuft Cloudcode?

00:16:06: Mit mir läuft Cloud Code nicht so.

00:16:09: Bei meinen Eltern läuft Cloudcode, also wenn ich mit sich Cloudcode bei meinen Eltern installiert habe, grüße geht an meine Mutter, treue Hörerin.

00:16:15: Da geht noch viel Zeit ja?

00:16:17: Aber ich gefragt warum machst du das?

00:16:18: Und er meinte es ist ganz einfach auf dem Rechner meiner Eltern.

00:16:22: da kann ich sehr wenig machen.

00:16:23: Cloudcode läuft dort im atmen Kontext und wenn ich was will beauftrage ich HermesAgent.

00:16:29: der läuft bei mir.

00:16:31: Ja und?

00:16:31: HermsAgent läuft bei dir und ihr soll nicht schwimmen!

00:16:34: Der kann ja über die Cloudcode Sitzungs-ID mit dem Code bei meinen Eltern reden und dort ist der Atmen.

00:16:41: Und dann stehst du dort und denkst so,

00:16:44: ah ja!

00:16:45: Dann dachte ich sofort wieder ein bisschen einerseits Spooky andererseits auch noch Doppelkacke weil jetzt gibt es ja Firmen die verbieten dir Oppenclaw Hermes und sowas zu instandieren aus gutem Grund.

00:16:55: Du willst ja nicht eine autonom laufende AI in deinem Rechenzentrum oder sonstwo laufen haben.

00:17:00: aber wenn du dir jetzt überlegst dass du unter Umständen durch blöde Konfiguration ob das jetzt Absichtlich mit Talescale ist oder ob das so Funktionitäten sind, die du jetzt in den Kloten reinmorten kannst.

00:17:12: Dann kann auf einmal irgendeine KI, die irgendwo läuft... Deinem Terminalfenster reden!

00:17:18: Schön Neuwelt, oder?

00:17:21: Ja und das im Griff zu behalten und erstmal überhaupt zu wissen was habe ich in meinem Unternehmen?

00:17:28: weil ich weiß nicht wie du es bei dir erlebst wenn ich das auch bei uns sehe.

00:17:34: Unsere Kolleginnen und Kollegen haben einfach total unterschiedlich tiefes Skills.

00:17:39: Und es ist wahnsinnig schwer die Leute an der richtigen Stelle einzubremsen, ihnen Leitklanken zu geben während du ja eigentlich die anderen noch beschlonningen willst und enablen willst ein bisschen mehr zu tun.

00:17:55: und ich habe das Gefühl da gibt's auch so eine So eine Schere, die auseinander geht von Menschen, die eben in ihren Fähigkeiten sehr weit vorne sind.

00:18:04: Und da bin ich übrigens auch nicht sicher, dass die immer alle das Thema Sicherheit am langen Ende mitdenken, sondern die meisten denken ja eher ein... Ich habe einen Problem und ich hab eine Idee wie ich es lösen kann.

00:18:18: Da wird das Thema Sicherheit vielleicht nicht von jedem direkt als allererstes mitgedacht.

00:18:24: Das als Unternehmen quasi mit Guardrails erstmal zu versehen, der einen Geschäftsführer hat heute gesagt naja wenn du unsere AI-Polizie liest dann sind wir eigentlich ganz gut aufgestellt.

00:18:38: Ich glaube allerdings dass sich die allermeisten Mitarbeiter, die das Werkzeug erfolgreich nutzen, sich im Wesentlichen nicht an unsere Polizie halten.

00:18:49: Da muss man sich ernsthaft auch als Unternehmensfragen.

00:18:52: wollen wir jetzt nutzen den man mit KI erreichen kann, heben oder wollen wir es so sicher machen dass uns nichts passieren kann?

00:19:04: Na ja da ist halt die Frage wieviel Nutzen dann nachher noch üblich bleibt.

00:19:08: und ich will überhaupt nicht wahrgenommen werden weil du mich auch aus den Sicherheitsaspekten quasi eingeladen hast.

00:19:15: Ich will überhaupt gar nicht wahr genommen werden als derjenige der alles verbieten will.

00:19:20: das ist gar nicht mein Thema sondern ich bin eher auf der Suche.

00:19:25: Was ist die richtige Lösung?

00:19:28: Und wahrscheinlich werden es auch nur Werkzeuge sein können.

00:19:33: Mit welchen Werkzeugen können wir in Zukunft die Transparenz schaffen, die die Unternehmen dazu in der Lage versetzt zu sehen was passiert mit KI und wie können wir sicherstellen dass nur die Daten von denen wir es wollen auch rausgehen.

00:19:50: Und da wird's bestimmt wieder einen großen Unterschied geben zwischen den sehr großen Unternehmen, die mit großen Teams und Budgets da technische Möglichkeiten haben, die ein klassischer deutscher Mittelstand einfach nicht hat weil er zwar vielleicht sieben, achthundert Mitarbeiter hat aber eben jetzt keine Truppe von zehn Leuten die sich ausschließlich um das Thema KI kümmern.

00:20:09: Die werden wahrscheinlich ja keine Zehen haben die sich um das thema Security kümern.

00:20:14: Das war so sagt dass die Leute mit dem unterschiedlichen Skill Level Also nicht wie viele Skills haben sie in Claude Cote erstellt, sondern ein eigener Sachverstand im Umgang mit den Systemen.

00:20:25: Und nicht nur... Wie heißt es immer so schön?

00:20:28: Eigenwahrnehmung und Fremdwahrnähmungen, ne?

00:20:29: Ich kann mich ja für die größten im Umgang mit... Natürlich habe ich alles im Griff.

00:20:33: Security!

00:20:33: Wie mit der Muttermilch,

00:20:36: ne?!

00:20:36: Dann nachher... Oh!

00:20:38: Ja, hoch!

00:20:39: Wie ist denn das passiert?

00:20:41: Und dass da noch abholen wird sowas wie Schulungen wo du dann da stehst und sagst Okay, es gibt Systeme und auf dieses Thema muss geschult

00:20:49: werden.

00:20:51: Aber je nachdem auf welches System du setzt also mit welcher Enderungs Appetit kommt da eine Firma um die Ecke und sagt ich schicke immer neue Updates raus ja ob mehr Ei irgendwie mehrmals am Tag, Claude irgendwie paar mal die Woche Microsoft ein paar Mal Monat.

00:21:08: was weiß dann ich?

00:21:09: Soll keine Hämme sein.

00:21:10: einfach noch einmal so zum Vergleich Wie schulsten Du das?

00:21:13: Wie kriegst du denn das in die Köpfe?

00:21:15: Alle reden von einer anderen Sprache.

00:21:16: Der eine meint mit Skill, eines Skill-MD-Datei, der andere meint eine Punktskilderteil mit ausführbaren Programmcode.

00:21:23: Der Nächste nennt das was wir mit Skills bauen, Agents.

00:21:26: Ein anderer nennt mit Agents aber autonom handelnde Systeme, die nicht vom Menschen gestartet werden.

00:21:31: Das ist finde ich zusätzlich kompliziert eine Sprache zu finden, die alle abholt und alles mitnimmt Und in die Lage versetzt zu entscheiden, wenn ich alles nutze was ich so viel umgestellt kriege und nach besten Wissen und Gewissen.

00:21:47: Ich will und ich bin offen und ich mach... aber dann macht das Ding vielleicht trotzdem Fehler.

00:21:55: Und vielleicht krieg' ich ihn mit oder nicht?

00:21:58: Was fällt uns denn dazu ein?

00:22:02: Wenn das Ding ein Fehler macht und du spritzt ja jetzt vermutlich auf den in deinem Intro vorgetragenen.

00:22:09: zweiten Aspekt

00:22:10: könnte sein ist, dass der Versuch eine Überleitung war.

00:22:12: Ja ich werde älter.

00:22:14: Ich

00:22:15: habe es ja verstanden

00:22:17: in welche Richtung du möchtest.

00:22:19: Also was passiert wenn ein Unternehmen und darum geht's ja?

00:22:23: Daten verloren hat?

00:22:24: und wer ist dann schuld!

00:22:27: Und

00:22:27: ich bin kein Jurist und das wird auch keine Rechtsberatung machen.

00:22:33: Sondern nur von dem was wir verstanden haben.

00:22:36: Und wenn du dir jetzt halt anschaust, wir reden über, bleiben wir mal bei den Wortagenten die dann vielleicht irgendwann dazu geführt haben das Daten irgendwo hingelangen wo sie nicht hin sollen?

00:22:45: Naja Dann passiert das ganze erst einmal wahrscheinlich in dem rechte Kontext dass dieser User der den Agent ausgeführt hat zu dem Zeitpunkt der Ausführung eben hatte.

00:22:57: und damit ist es dann wohl dazugekommen dass diese Daten verloren gegangen sind und veröffentlicht wurden.

00:23:04: Und dann wird es wohl dazu kommen, dass man sagen muss naja wer die Daten veröffentlicht hat der ist eben auch der Verantwortliche und du wirst es gibt in Deutschland das habe ich mir von einem Juristen sagen lassen.

00:23:17: jeder der das anders oder besser weiß.

00:23:19: Der darf sicherlich gerne mit E-Mails an Marc und Jens sich melden.

00:23:24: aber ich hab mal verstanden Es gibt kein Unternehmen strafrecht in Deutschland sondern am Ende sind Zum Beispiel die Organe eines Unternehmens, die Haften.

00:23:35: Das heißt alles was die KI in deinem Unternehmen macht geht am ganz langen Ende mit einer Geschäftsführung oder einem Vorstand nach Hause und deswegen müssen die eben schon so wie mein Geschäftsführer das heute gesagt hat eine KI-Policy aufschreiben, die möglichst so generisch ist dass sie nicht nur heute gilt sondern auch morgen gilt wenn Ich auf ein anderes Modell setze, das Modell aktualisiert wurde.

00:24:03: Ich vielleicht mehrere Modelle einsetze damit ich also quasi auch als Unternehmer, als Vorstand oder Geschäftsführer eben sagen kann ja wohl wir hatten das zumindest geregelt wie dass hier zu laufen hat.

00:24:18: Damit wir da nicht in einen Problem kommen.

00:24:22: und da gibt es heute glaube ich tatsächlich, weil das geht sonst am langen Ende mit einer Person nach Hause und klar die hat dann vielleicht wieder eine DNO-Versicherung haben die hoffentlich alle aber trotzdem ist es ja lässig dass wir ja keine haben.

00:24:40: Also ich finde an der Stelle mal wieder da, dass ich jetzt hier dieser Schwarzmaler bin.

00:24:48: Ich hatte die Diskussion letztens sich erwähnte Wir bauen bei uns auch unseren eigenen Agent Hannes.

00:24:55: Und da stand ich letztens, und das ist kein Geheimnis von der Seite kann man darüber hier reden.

00:24:59: Stand ich letztes vor diversen Menschen aus den verschiedensten Disziplinen habe gemeint, darf ich mich vorstellen?

00:25:06: Ich bin ein Sicherheitsrisiko.

00:25:08: Daraufhin kam die Frage.

00:25:11: Wieso jetzt erklärt also andersrum.

00:25:13: uns kält einfach rum.

00:25:14: aber sag uns doch mal bitte wieso.

00:25:15: nein das war jetzt Spaß was es war an dieser Stelle freizidiert bis in den lockeren Umgang des Podcasts geschuldet.

00:25:22: Das ist ganz einfach.

00:25:24: Ich möchte gerne eine Polizie.

00:25:28: Wie du möchtest ne Polizies?

00:25:29: Ich möchte eine Polizei für mich, die ja also aufstieblich ist gekommen.

00:25:33: Vielleicht haben wir eine, sagt's mir aber ansonsten hätte ich gern eine, die nämlich folgenden Sachverhalt regelt Wenn Du ersteller eines Agent Harnes bist Also Agent Harness ein Stück Software in dem KI läuft das mit Tools ausgestattet wird und diese Software wird Auf Rechnern von dritten installiert.

00:25:51: Und dieses Software wird von dir mit einem Systemprom, das ist ja quasi die initiale Programmanweisung.

00:25:57: Verhalte dich nett unfreundlich, du zu beleidigen niemanden macht.

00:26:03: unterbinde Leistungskontrolle sorgt dafür dass Themen die Datenschutzfolgeabschätzung betreffend sind nicht stattfinden können.

00:26:10: und so was wie ihr Personen gedönst wenn du diesen Systemprom treibst und leicht seid.

00:26:16: die Regeln der Guardrails also nach dem Motto das eine ist die Anweisung die soll die Maschine arbeiten und das andere ist der Zaun Wenn du beides in derselben Person hast, hätte ich gerne vier Augenprinzipien.

00:26:29: Ja?

00:26:31: Aber ganz speziell für KI!

00:26:33: Und dann stehst du da und unterhält sich darüber... ...und dann merkst du auch das ist ja einem stetigen Wandelunterwurf nicht, dass auf einmal ein Vier-Augen-Prinzip da ist.

00:26:42: Also jetzt

00:26:43: soll keiner denken, solche Prinzipien haben wir ja.

00:26:46: Ich habe es extra ein bisschen polemisch dargestellt.

00:26:48: aber allein diese Frage dass selbst wenn du Firmen hast, die sich mit dem Thema beschäftigen, Software zu erzeugen und damit die Grundlage scharfst.

00:26:58: Eventuell für Herausforderungen deines zukünftigen Ichs weil der Mitarbeiter auf einmal irgendwie frustriert ist so wie bei Jurassic Park das Ei vom Saurier mitnimmt und du hast das Zauberworts vergessen oder irgendwie mal ein neuer Kollege oder neue Kollegin reinkommt oder du das mal outsourced oder Niershow gibst oder keine Ahnung was.

00:27:18: ja Sonst sitzt da jemand und sagt, ich habe beide Schlüssel, die müssen zeitgleich umgedreht werden.

00:27:23: Beide gehören mir!

00:27:25: Das finde ich auch noch mal am Punkt.

00:27:28: Prozessen haben wir alles aber es sollte ein bisschen dafür sensibilisieren dass auch hier im Laufe von Aktivitäten wo man sich denkt ja ich bin nur ganz vorne dabei Auch Themen aufkommen die vielleicht nicht heute akut Aber morgen auf einmal.

00:27:42: Kein Mensch denkt mehr dran, ne?

00:27:44: Vierzig Erkennten laufen, zwanzig Saferholorts waren.

00:27:47: Keine Ahnung, vierzig Umstrukturierung neuer Kollege und einer denkt sich tolle Zweischlöse.

00:27:52: Genau!

00:27:52: Und das ist ja genau der Punkt den ich eben auch angesprochen habe.

00:27:55: Das ist doch wie bei der klassischen Softwareentwicklung in der Frage wer pflegt denn das erstellte Produkt jetzt eigentlich?

00:28:04: ist dieser Agent jetzt einmal geschrieben und bleibt für immer unverändert, muss auch nie Anforderungen oder Änderung unterliegen.

00:28:12: Klammer auf glaube ich nicht.

00:28:13: klammer zu!

00:28:15: Oder wie schaffe ich im Unternehmen eine Plattform wo diese Agenten registriert sind?

00:28:21: Wo sie bekannt sind?

00:28:22: Wohin die Berechtigungen klar sind, wo die Tätigkeiten die Ergebnisse klar sind und wo dann eben auch klar ist keine Ahnung.

00:28:29: alle Drei Monate muss der Ersteller eines Agenten diesen erneut freizeichen.

00:28:36: Ansonsten wird er deaktiviert, weil niemand die Verantwortung übernehmen kann dass das Ding vorher war und endlich läuft!

00:28:47: Und was man vielleicht auch überlegen sollte ist so klassische Betrungsanalysen wo kann was schief gehen?

00:28:53: Allein sowas wie jetzt habe ich eben so Flapsi gesagt nur ich bestimme den System prompt Ich bestimmt die diesen Schutzzaun außen rum, wenn du jetzt wieder anfingst und sagst okay, du baust eine Software und die wird auf rechtern installiert.

00:29:05: Da musst du dir auch überlegen was mit eigentlich von wo bezogen?

00:29:08: Weil wenn die Software zum Beispiel selbst ihren Systemprompt im Bauch mitführt Und ich sage jetzt mal plump editieren mit zwei drei Sachverständnissen Kenntnissen oder du fragst den Agenten kannst du das für mich bitte ändern?

00:29:22: Dann ist das natürlich.

00:29:24: ich sage jetzt mal auch schwierig, weil wenn du dann anfängst dass jeder Feldwaldwiesenanwender nix gegen die Menschen.

00:29:31: Das ist ein Hinweis für die Einfachheit, die unter Umständen existieren könnte, dass sie mit ihrem System reden und das System sagt da müsste man den Prompt ändern.

00:29:38: soll sich das tun?

00:29:39: und du sagst ja und er ändert dann seine System.

00:29:42: Anweisung Ich meine es ist ja genauso wie wenn du den Dieb freigest.

00:29:46: haben Sie was geklaut?

00:29:47: in denselben Fällen sagt der Ja.

00:29:50: Schleicht sich das so ins System ein?

00:29:52: und dann würde ich schon die Frage noch mal einen Raum stellen, wer haftet.

00:29:55: Aber das hast du ja bei Unternehmen schön erklärt im schlimmsten Fall.

00:29:58: Grüße gehen an den Chef!

00:30:00: Ja?

00:30:01: Ich weiß heute auch zu, grüße... Versicherung hoffentlich abgeschlossen wird.

00:30:06: Sehen Sie mal wieder in Büro, ich frag.

00:30:09: Nein Spaß beiseite.

00:30:10: Und das finde ich.

00:30:12: eineseits könnte Beratungshäuse mitleben weil sie beraten können, andererseits ist es fast ohne Boden.

00:30:19: bitte

00:30:19: Genau, es ist ein Fass ohne Boden und damit haben ja alle Unternehmen mal wenigstens in Deutschland und wahrscheinlich darüber hinaus zu tun die sich diese Frage stellen müssen.

00:30:29: Und deswegen ist für deinen Chef von allen anderen Chefs die Zuhören aus meiner Sicht eben die Frage einer mal mindestens relativ allgemein formulierten KI-Policy etwas was man möglicherweise haben sollte.

00:30:46: Ich habe mich gerade gefragt, ob wir die Chefs gedisst haben.

00:30:49: Die nicht mit der Organhaftung verbunden sind.

00:30:52: an dieser Stelle entschuldige ich.

00:30:54: Ihr seid auch Chefs?

00:30:57: Ja ganz wichtige natürlich aber die Frage war ja tatsächlich Mit wem gehen welche Dinge eben am langen Ende nach Hause?

00:31:05: und wir haben eben durchaus mit Vorfällen zu tun wo es um Veröffentlichungen von extrem sensiblen zum beispiel gesundheitsdaten geht von einem unternehmen und also das unternehmer verarbeitet gesundheit starten von menschen.

00:31:24: wenn sowas dann die öffentlichkeit kommt man sagt ja das war der agent den ich vor einem halben jahr geschrieben habe da wusste ich gar nicht dass es den noch gibt oder den der Kollege Maya Müller-Schulze geschrieben hat, der ja seit drei Monaten überhaupt nicht mehr im Unternehmen arbeitet.

00:31:39: Ach wieso läuft denn der Agent noch?

00:31:40: Warum hatte er denn noch Berechtigung?

00:31:42: Ja möglicherweise gab es ein Problem mit unserem Offboardingprozess.

00:31:45: Warum hat das denn keiner gesehen?

00:31:46: Ja wissen wir nicht ist jetzt auch egal weil es schon passiert und das sind ja... Das passieren eigentlich nie, ja nie ist ein großes Wort aber in der Regel sind ja Datenpannen keine.

00:32:04: Da geht einer, macht es Fenster auf und wirft Zehntausend Datensätze aus dem Fenster.

00:32:08: Sondern das ist ja immer eine Verkettung unglücklicher Umstände so wie es in Schretter

00:32:14: ist.

00:32:14: Meistens ist es in den Schrettern und das ist weil vorm Fenster jemand steht.

00:32:18: Ja?

00:32:19: Genau!

00:32:19: Das ist ein anderes Thema.

00:32:23: Aber auch das ist, wenn man es genannt, nichts Neues.

00:32:28: Unprofessionell Umgang mit Daten, also wenn ich mir überlege ja bis vor kurzem war meine Professor ja noch die mobile App Entwicklung.

00:32:35: Und wenn ich mich dann so manchmal die Vorträge in den verschiedensten Konferenzen anhöre und da war ich auch manchmal auf Vorträgen wo man sich sagt jetzt mal The Dark Side auf Mobile App Development hat... ...vorgestellt bekommen nach dem Motto was sind denn so Falle in die die Firmen getappt sind bei der Entwicklung?

00:32:50: Und habe ich auch Banken!

00:32:53: Und

00:32:54: Versicherung!

00:32:55: So Gesundheitsversicherung ne?

00:32:57: vorgeführt bekommen, wo man jetzt nicht wirklich den Namen... Offerierte nach dem Motto welcher... Welche Firmaorganisation das war.

00:33:06: Aber wo man quasi einen Blick in Software werfen konnte und wenn man sich dann anschaut Jail Project Schutz damit Software quasi Nicht auf gebrochenen Geräten läuft, wenn man das so mit Cross-Plattform am besten noch mit JavaScript auskommentiert oder Wenn man hört ja HTTP ist auch valide wenn man HTTPS nicht initiieren kann oder also Plumpe Dinge, wo man sich denkt das kann doch im Jahr zweitausend als ich in dem Vortrag war.

00:33:32: Ich habe eben Berndel gesprochen, hast du mir mal nachgeschaut?

00:33:35: Zweitausundfünfundzwanzig ist nicht lange her!

00:33:39: Kriegst Du sowas vorgeführt dass das immer noch in diversen Apps existiert?

00:33:46: Wo man sich dann fragt... Das eine war ne App für mentale Gesundheit zum Reporten wie quasi deine Besserung gerade ist oder nicht.

00:33:58: Also in der Kommunikation mit, ich sag jetzt mal Psychiatern, das ist wahrscheinlich falsch aber irgendwie so in diesem Milieu hab' ich's innerlich verortet wo ich mir dann denke also das ist doch das letzte wo du willst dass deswegen handwerklicher Fehler nach außen geht.

00:34:15: Ich stehe schon davon aus, dass das gefix war bevor nicht die sondern bevor das gezeigt wurde ja wir kennen ja das thema sich als lücken finden trafen weisen nehmen lassen bla bla bla.

00:34:25: aber selbst wenn das ein jahr vorher noch existierte selbst wenn es zwei Jahre vorhin auch existiert das kann ja nicht sein dass eine firma die ich sage mal mit gesundheitssaten umgehen muss sowas in die öffentlichkeit pustet.

00:34:39: und jetzt trifft auf so konstellation k i. Und dann würde ich jetzt die Lanze für KI brechen, weil ich glaube schon dass KI auch in der Lage ist Dinge viel sicherer zu machen.

00:34:51: Wenn du sie entsprechend einsetzt und auf das Welten stelle dies darstelle das da.

00:34:56: also da kommt ja ein wirklich guter Kot raus wenn Du halt ich sag jetzt meine KI nimmst die Ein anständiges Modell ist ein bisschen was kostet.

00:35:04: also nichts gegen freie modell Ja.

00:35:05: aber ich sage mal Nimm halt ein krutes Modell und nicht modell das vor zwei jahren raus kam und hat heute noch läuft.

00:35:12: Aber das passt ja zu dem was du was du gesagt hast von wegen dass sind ja auch im Jahr zwanzig fünf zwanziger offensichtlich Dinge die wir schon früher mal gesehen haben, mein Beispiel mit lotus notes für die ganze alten war ja quasi aus einer gleichen ecke.

00:35:26: also da sind hier auch dinge wie wir schon gesehen haben.

00:35:29: ich finde zum beispiel als microsoft Das thema mit den jetzt fällt mir der Name gerade nicht ein Das heißt nicht Azure Apps, aber hier mit Flow und so eingeführt hat.

00:35:41: Da hat man ja auch versucht quasi die einfachen oder die normalen, so will ich mal sagen Mitarbeiter, die also nicht Software-Entwickler sind.

00:35:49: So könnte man es vielleicht definieren in die Lage zu versetzen sich Workflows und eine gewisse Automatisierung zusammenzuklicken.

00:35:55: Ja, mit dem genau gleichen Ergebnis da passieren Dinge wo eigentlich im Unternehmen kaum jemand weiß was da eigentlich passiert?

00:36:03: Und das wird jetzt mit KI potenziert.

00:36:06: Aber es bleibt das gleiche Verhalten, es werden Dinge getan die man so eigentlich nicht machen sollte und das Unternehmen hat keine Transparenz.

00:36:12: aber und da hast du natürlich recht Man kann ja die KI jetzt durchaus dafür einsetzen zu analysieren was habe ich denn da?

00:36:19: Was läuft denn?

00:36:20: da wäre wahrscheinlich ganz spannend zu sehen mal eine komplizierte alte Nutzdatenbank von KI analysieren zu lassen und möglicherweise wäre Die Migration dann sehr viel schneller möglich weil die KI eben schnell versteht was da drin eigentlich passiert und so sollten wir es vielleicht auch betrachten.

00:36:37: Und so wollen wir ja, glaube ich, auch verstanden werden nicht als die Schwarzmaler sondern also auch die positiven Seiten beleuchten.

00:36:46: aber das hilft uns hier eben auch nichts die Augen davor zu verschließen dass eben mit dem Ich probiere mal schnell etwas aus und ich habe hier mal schnell eine Lösung riesigen bestehen.

00:36:56: so wie wenn du sagst naja gut, wenn ich halt keine harte dps verbindung aufbauen kann dann baue ich halt eine harte tp-verbindung auf.

00:37:03: wichtig ist ja dass ich ne verbindung habe.

00:37:05: das ist möglicherweise nur halbrächtig

00:37:08: bevor wir in den dritten teil des heutigen Podcasts kommen als du von der Lotus Notes Migration gesprochen hast.

00:37:16: man könnte KI geben viel mehr.

00:37:17: ganz kurz das reverse engineer everything Produkt ein das gerade so ein bisschen durch den Etta fleucht eine Bibliothek, die dem KI-System erlaubt.

00:37:31: Nicht Soft für eins zu eins, ich sag erst mal, zu klauen aber eins zu eines nachzumachen.

00:37:36: Grüße gehen an Adobe und Microsoft, die ihre Produkte ja gerade als Open Source in Gitterprojekten finden!

00:37:44: Ja also nicht... Also auch hier das Humorige meiner Stimme ist nicht weil ich das für eine gute Aktion halte den Trim gegenüber dahingehend.

00:37:53: Da wird gerade Software im großen Stil kopiert und eine Kopie ist es eigentlich nicht.

00:37:57: Es ist einfach nur exakt nachgemalt, aber auch das ist ja etwas wo du dir denkst verdammter AXI hat auch da letztens jemanden der meinte naja schmeiß halt ne App rein und wünsch dir von Reha nicht dass er die App nachbaut sondern dass sie die App zerlegt und ihr ein MCP Server nach baut damit du einen MCP server hast, der gegen das Backend von der App geht, damit du deine KI anwenden kannst und die Daten rüberfließen.

00:38:21: Das war doch jetzt eine schöne Überleitung oder da hat noch mehr fließt nicht.

00:38:25: das war der Versuch auch dass wieder geschickt und Geschmack voll hinzukriegen.

00:38:30: Wollen wir wirklich Daten den großen Modellen in Rachen werfen oder sollen wir doch lieber mit lokaler KI arbeiten?

00:38:38: hast du lokale KI?

00:38:41: Ja, also ob ich da der Master bin weiß ich auch nicht.

00:38:44: Ich versuche ja schon auf so ein ganz kleines bisschen rumzuprobieren aber sicherlich vor allem im Vergleich zu Jens und dir im ganz kleinen Umfang.

00:38:54: Aber ich finde was man sich ja schon fragen muss wir hören ja an vielen Stellen Diskussionen rund um Souveränität Und viele sagen ja Könnten auch ein Politik-Podcast machen, aber wollen das ja heute bewusst nicht.

00:39:08: Es gibt ganz verschiedene Gründe

00:39:10: aus denen... Falschmählen kennst der mit uns da mal Projetikpodcast machen will also sehr gerne mal vermitteln.

00:39:15: also macht weiter.

00:39:16: Ja können

00:39:17: wir gerne drüber sprechen.

00:39:19: Also viele sind ja der Meinung es gibt durchaus Gründe warum wir gegen alle möglichen ob's die Chinesen oder die Amerikaner sind souverän sein sollten.

00:39:28: und dann frage ich mich eben schon wenn man diesem Gedanken folgt und sagt ja, da gibt es eine gewisse Logik dass wir als Europäer mit dem größten Wirtschaftsraum der Welt.

00:39:40: Vielleicht eine gewissen Souveränität haben sollten?

00:39:42: Wir haben ja offensichtlich keine Marktwührerschaft was KI-Modelle angeht.

00:39:48: aber die Frage ob sie denn für jede Anwendung und für jeden Anwendungsfall für den wir KI benutzen eigentlich überhaupt einen LLM brauchen dass du auch fragen kannst, wer gerade amerikanischer Präsident ist und darauf auch eine valide Antwort bekommst oder ob wir nicht sehr viel spezifischere Modelle nutzen könnten die vielleicht auch auf einer viel kleineren Hardware läuft um die für einen speziellen Zweck trainiert es.

00:40:13: Und ob wir dann nichts sagen können?

00:40:14: Guck mal genau diese Systeme setzen wir eben ein.

00:40:19: zum Beispiel Du hast jetzt vom Agent Hanes gesprochen Um solche nennen wir's mal Administrationsaufgaben zu erledigen.

00:40:27: wenn ich einem system und ich formulier es mal generisch volle admin rechte auf meinen microsoft tend geben will damit der administrationsaufgaben erledigt, dann wäre das vielleicht doch sogar eine ganz schöne idee dass dieser agent hannes auf einer hardware läuft die ich im griff habe auf einem modell läuft.

00:40:52: Und wo ich auch weiß, dass die Daten und die Zugangsdaten und die API Keys usw.

00:40:57: auf gar keinen Fall irgendwo bei einem Dritten landen weil ich sie unter Kontrolle habe.

00:41:02: Das würde für mich zu einer Diskussion rund um Souveränität durchaus dazugehören und das hab' ich ziemlich lange geredet.

00:41:09: aber nur ein Aspekt noch.

00:41:11: Das geht ja nicht nur für Administration von System sondern auch für Business Anwendungsfälle also bei der Verarbeitung von hochsensiblen vertraulichen IP bezogenen Daten zum Beispiel, also Intellectual Property könnte ich mich als Unternehmen ja auch fragen.

00:41:28: Klar kann OpenAI oder Entropic das wunderbar erledigen aber vielleicht könnte ich bestimmte Dinge auch besser lokal verarbeiten mit einem kleineren Modell weil ich dann die Daten wirklich selbst behalte.

00:41:43: und dass ist glaube ich auch ein Punkt über den man mal nachdenken kann.

00:41:46: Ich finde gerade mit dem Punkt Souveränität Da findest du ja verschiedene Lager.

00:41:53: Aber wir haben hier Vertragskonstrukte, da muss ich darauf vertrauen können bis hin zu...

00:42:00: Naja wenn

00:42:01: Sie mir die KI abdrehen, da haben sie vorher Microsoft und sonst was also hier in Deutschland hast nicht gesehen abgedreht.

00:42:07: Ich würde gerne über einen anderen Punkt noch mal da reinkommen, nämlich über das Punkt, über den Punkt.

00:42:11: Wir haben am Anfang gesagt KI ist nicht deterministisch.

00:42:16: Wenn ich den was sage, dann versuchst du zu verfolgen.

00:42:19: Versucht das zu erreichen aber jede neue Version ändert ihr Verhalten.

00:42:24: also mit opus fünf sechs kam ich nicht so gut klar nach dem Motto.

00:42:30: Also es gibt ja versionen mit denen kommt man besser klar mal weniger gut klar.

00:42:34: Es gibt versionen die reagieren anders auf deine Prompte.

00:42:36: muss vielleicht ein bisschen die Skills anpassen.

00:42:38: Entropik Leute sagen alle halbe Jahre musst du eine Cloud MD wegschmeißen bla bla bla.

00:42:44: worauf ich raus will ist Die Zuverlässigkeit im Betrieb.

00:42:48: Jetzt stell dir mal vor, du hast irgendwie KI im Rechenzentrumsbetrieb oder irgendwie KI in Abwicklung von was weiß ich was für Sachverhalten?

00:42:56: Hast ihr vielleicht so eine Workflow-Engine wie NATN oder sowas installiert?

00:43:01: und da drin sind jetzt einzelne Notes, einzelne Knoten die dann mit KI Entscheidungen treffen.

00:43:07: Wenn Du jetzt anfängst Und musst dich quasi den großen, egal ob den chinesischen sonst was ja also Cloud anbieten allgemein.

00:43:16: Egal wo die stehen unterwerfen dann gibt es halt in der Cloud etwas das hast du lokal mehr im Griff als in der cloud nämlich Updates.

00:43:24: und auf einmal heißt das Modell ist abgekündigt.

00:43:26: auf einmal heisst dass nicht das Modells abgekündigte sondern kommt einfach ein anderes ist ein Updater.

00:43:30: so was weiß ich fast meiner Major sonst war's noch einmal reagiert.

00:43:33: diese Sache Ticken anders und das Ticken Anderses wie dieser Schmetterling Effekt.

00:43:37: Ja, der Schmetterling hat einmal mehr mit dem Flügel geschlagen und hinten fällt ein Sack Reis um.

00:43:41: Nein, Entschuldigung!

00:43:42: Das verhält sich halt anders?

00:43:44: Und in einer Umgebung wo eventuell was weiß ich was klassifizieren... Okay da könnte man das Jeff-Modell nehmen aber sei hingestellt.

00:43:52: Klassifizierend von Nachrichten, Schalten vom Betriebszuständen im rechten Zentrum oder sonstwo.

00:43:57: wenn es von einer KI abhängt

00:43:59: dann ist natürlich cool

00:44:01: Wenn du es lokal hast weil dann Update ist Du Dein System, dann hast du den Prozess des Updates mit dreißigtausend Testfällen abgesichert.

00:44:11: Und nicht oh Entropica hat ein neues Modell gelaunt.

00:44:14: das alte ist weg.

00:44:16: viel Spaß mit dem neuen Modell ist jetzt viel besser schneller verbraucht weniger Token aber es reagiert anders und nachdem wo du es einsetzt ist dieses reagiert Anders unter Umständen kritisch und das finde ich bei dem Punkt gerne mal verloren weil die meisten immer auf dem Ross Wir müssen souverän sein oder auf dem Rost.

00:44:32: Das ist doch billiger als die Cloud Tokens und sonst was, ich finde diese Stabilität und diese Verbindlichkeit bei unverbindlichen Systemen ist auch wichtig.

00:44:44: Ja extrem das wollte ich auch überhaupt gar keinen Fall ausgeklammert haben.

00:44:48: im Gegenteil.

00:44:49: also wenn ich davon spreche Systeme zu administrieren dann brauche Stabilität und Verlässlichkeit.

00:44:59: Also wenn ich mich nicht als Mensch durch die Atmenoberfläche durchklicke, sondern ich Einstellungen zum Beispiel dann von der KI über PowerShell setzen lasse Dann muss sich doch wissen dass das funktioniert Und darf nicht hoffen Dass da was richtiges heraus kommt und vor allem Wenn eben morgen ein anderes Modell anders reagiert, dann kommt halt vielleicht tatsächlich etwas anderes dabei raus.

00:45:23: und dann sind wir ja wieder bei unserem zweiten Fall, nämlich der Frage wer haftet denn eigentlich wenn dann was falsch eingestellt wurde?

00:45:32: und da sehe ich eben durchaus Bedarf an lokalen Modellen.

00:45:37: Und auch der Frage wo betreibt man die wie installiert man die?

00:45:40: Wie konfiguriert man sie?

00:45:42: Da gibt es glaube ich auch in Zukunft einiges was wir sehen werden.

00:45:47: Wer das mal ausprobieren möchte kleiner Tipp am Rande überhaupt nicht kritisch.

00:45:52: persönlich eine Webseite liegt bei Jimdu.

00:45:55: Jimdo hat so ein Web-System zum Pflegen, so einen Webinterface wo du dann deine Sachen eintragen kannst und dachte ich mal an einer Schnapslaune heraus.

00:46:03: Ich sag dem Soul six eins Modell von Open AI, fliegt mir das doch mal gehen mit dem Browser dorthin, schau dir das an machen Menüpunkte rein, pflegt dass noch viel.

00:46:13: Hat er gemacht!

00:46:14: Das sah nicht ganz hübsch aus aber hat er gemacht.

00:46:16: Ich fühle es sich über die Inhalte.

00:46:18: Es wird viel lustiger wenn ich das zweite Beispiel bringe Und dann bin ich in das gelaufen, wohin ich immer am Wochenende lauf.

00:46:25: Nämlich mein Wochenlimit hört dann irgendwie auf und ich musste das Modell wechseln.

00:46:29: also bin nicht von auch mehr zu entropik.

00:46:32: Man hat ja der Trend.

00:46:33: geht jetzt zur zwei abos.

00:46:34: so habe Ich als entropic modell gesagt du passt mal obacht dass fand ich gar nicht so gut.

00:46:38: macht noch mal den eintrag auf der homepage.

00:46:40: genau Der gleiche Auftrag aber parallele Eintrackung stellen.

00:46:43: Dann fing er an Hat was gemacht und dann hat er geschrieben.

00:46:47: Oh, ich war auf der falschen Seite!

00:46:49: Da habe ich Texte gelöscht neu hingeschrieben... Ich lasse es mal die Hände davon musst du jetzt lösen.

00:46:54: Und du stehst da und denkst ja so Beides Topmodeller also Sechs Eins von Soul und fünf fünf von Entropic.

00:47:01: Diesmal wirklich die richtige Nummer.

00:47:02: und du stehest da und dängst okay ist total lustig.

00:47:05: Ja ist meine Homepage interessiert mich auch nicht.

00:47:08: Er hat nicht auf Speichern geklickt Von der Seite war auch gar nicht so wild.

00:47:11: Aber allein der Umstand ist das plumpen Pflegen.

00:47:15: Mit einer Inprunst an Überzeugung mache ich dir sofort gar kein Problem, selbst wenn man anfängt mit ja genau gut dass du mich darauf hingewiesen hast.

00:47:24: ne auch immer schön dann so in die Krütze geht und dann stellt ihr mal vor er hat halt hier keine Ahnung irgendwie Sicherheitskonzeption geschrieben oder oder in der Datenbank irgendwo auf Self gedrückt da es gibt Backup Konzepte usw.

00:47:38: alles fair aber Du hast ja gerade eben von den unterschiedlichsten Einsatzfeldern fast schon im größten Kompetenz und hast nicht gesehen gesprochen, vielleicht ist Backup ein Fremdwort und wird nur einmal in einem Jahr gemacht.

00:47:49: Dann stehst du da mit.

00:47:51: leider ist das Excel-Lehr.

00:47:52: Entschuldigung!

00:47:53: Morgen ist die Revision da kann ja mal vorkommen.

00:47:57: Aber das Excel Leer.

00:48:00: ich bin erstaunt wie viele Unternehmen kein Back up von ihrem Microsoftra fünfundsechzig Tennen haben?

00:48:08: Weil sie sagen, Hä?

00:48:10: Liegt doch bei Microsoft.

00:48:12: Und wenn ich die Daten lösche sind Sie doch ein Papierkorb!

00:48:15: Ja aber das ist kein Backup.

00:48:17: und übrigens unterschreibst du es auch... ...wenn Du die AGB akzeptierst dass Microsoft für Dich keinen Back-Up macht.

00:48:24: Und auf den Papierkorken gibt's kein Service Level.

00:48:27: Es sind ehrlicherweise... Kryptotrojaner

00:48:29: freuen sich über sowas.

00:48:31: Genau, es sind zum Glück nicht die Mehrheit der Unternehmen Aber die gibt es immer noch Nennenswert große Unternehmen.

00:48:38: Also nicht nur die fünf Mann Pommesbude von um die Ecke, sondern durchaus namhafte Mittelständler mit denen man sowas immer mal wieder überraschenderweise diskutieren muss.

00:48:51: und die gucken dann natürlich doppeltum aus der Wäsche.

00:48:54: Und das machen sie ja auch nicht weil die Weil die das nicht ernst nehmen Sondern die haben wahrscheinlich einfach nicht lang genug Unintensiv genug drüber nachgedacht, die haben vielleicht die AGD nicht gelesen.

00:49:05: Die haben vielleicht wirklich einen guten Glauben gedacht naja das ist eine hochperformante und verfügbare Plattform, die werden doch für ausreichend Sicherheit sorgen.

00:49:13: ja nee machen sie eben nicht.

00:49:15: Und dass es glaube ich schon durchaus ein spannender Punkt und Aspekt mit dem was da aufzutrunken haben.

00:49:21: Tja Thomas Ich habe drei Punkte angekündigt.

00:49:26: Wir sind durch drei Punkte durchgaloppiert.

00:49:29: So sieht's aus Irgendwie der Hammer, ne?

00:49:32: Ich bin ja für ihn schon fies ins Wort gefallen.

00:49:35: Eigentlich bin ich hier mehrfach fies in das Wort gefallen.

00:49:37: an der Seite auch Grüße an einen Kollegen, der mir heute gesagt hat, ich lass meine Gäste nicht ausreden und ich falle ihnen ins Wort.

00:49:44: er hat mal wieder recht behalten.

00:49:46: Ich bin aber auch so ein Wort gefallen wenn ich das sagen darf.

00:49:48: und jetzt schon zum zweiten Mal

00:49:51: du Ich fühlte mich freuen, wenn du ein drittes Mal zu Besuch kommst.

00:49:55: Wann mal damit du mir wieder ins Wort fallen kannst, dann hoffentlich auch mit Jens zusammen und vielleicht haben wir irgendwann nochmal einen politischen Talk.

00:50:00: Schauen wir mal!

00:50:01: Ja also gucken wir mal wo in die Reise uns führt.

00:50:04: Thomas Danke dass du da bist.

00:50:06: Da war es.

00:50:07: Ein alter Mann späte Stunde.

00:50:10: Sehr gerne Marc.

00:50:11: Bin mir sehr angenehm mit dir.

00:50:12: Freie Rede ist immer das Schönste ja?

00:50:14: Ich freue mich immer wenn wir Gäste haben Wo wir uns quasi frei durch das Thema dass wir uns gegeben haben, bewegen können.

00:50:22: Ohne dann auf einmal ein betretenes Schweigen zu kommen, hatte ich auch schon mal an der Seite.

00:50:27: findige Hörer finden die Folgen entsprechend im Podcast bis kein Bashing von der Seite.

00:50:31: danke das du da warst und danke an alle Hörern, dass ihr zugehört habt.

00:50:35: Wir sind unter einer Stunde geblieben.

00:50:37: so was passiert wenn nicht mit Alex zum Beispiel geht irgendwie sehr selten aber das ist auch wieder ein kleiner Insider.

00:50:43: Wenn es euch gefallen hat hinterlasst einen Like ein Daumen hoch kommentiert in dem Podcast Player eurer Raval Und ansonsten freuen wir uns.

00:50:51: Wollen wir euch das nächste Mal wieder hören?

00:50:53: Tschüss Tobas, tschüß Marc und tschüs in die Runde.

00:50:58: sicheren Abend durch.

00:50:59: Ciao!

00:51:00: Bis bald, ciao ciao.

Neuer Kommentar

Dein Name oder Pseudonym (wird öffentlich angezeigt)
Mindestens 10 Zeichen
Durch das Abschicken des Formulars stimmst du zu, dass der Wert unter "Name oder Pseudonym" gespeichert wird und öffentlich angezeigt werden kann. Wir speichern keine IP-Adressen oder andere personenbezogene Daten. Die Nutzung deines echten Namens ist freiwillig.