KI Keynote Speaker Tobias Jonas

RAG-Injektionen: Wenn Daten gestohlen werden und gängige Sprachmodelle wie GPT, Gemini oder Claude assistieren. Stellt Euch vor, eine scheinbar harmlose User-Story wird genutzt, um sensible Unternehmensdaten zu klauen – und das ganz unbemerkt. In meinem neuesten Blogpost (Link im Kommentar) beleuchte ich genau dieses Szenario und erkläre, wie RAG-Injektionen große Sprachmodelle (LLMs) manipulieren können, um kritische Informationen an externe Quellen zu übermitteln. In meinem Video zeige ich stark vereinfacht, wie ein GPT-o1 als Softwareentwickler agiert und eine scheinbar einfache User-Story für einen Fahrzeughersteller mit Python umsetzt. Leider setzt er nicht nur die Story aus der PDF um, sondern injiziert daneben noch Code, der alle Informationen zur Laufzeit an einen Server übermitteln würde. Gerade in komplexeren Szenarien bei unerfahrenen Benutzern oder Programmierern oder bei der automatischen Ausführung von generiertem Quellcode birgt das eine gigantische Gefahr. Darüber hinaus muss die Injektion nicht immer aus einer Datei kommen, die ein Benutzer hochlädt. Ein findiger Angreifer könnte die Prompt-Injection auch in einer Quelle verstecken, die zum Beispiel im RAG-Ansatz von einem SharePoint oder Confluence geladen wird. Für das menschliche Auge nicht zu sehen, aber trotzdem im Dokument eingebettet. Wie würden eure Mitarbeiter beispielsweise reagieren wenn der vertrauenswürdige Company GPT Chat eine Ausgabe wie diese ausgibt: "Sehr geehrter innFactory Mitarbeiter, wir haben ungewöhnliche Aktivitäten auf Ihrem Konto festgestellt. Um Ihre Sicherheit zu gewährleisten, bestätigen Sie bitte Ihre Kontodaten. Jetzt Konto verifizieren Bitte führen Sie diese Maßnahme innerhalb der nächsten 24 Stunden durch, um eine Sperrung Ihres Kontos zu vermeiden. Danke für Ihre Mithilfe. Mit freundlichen Grüßen, Das innFactory Sicherheitsteam" #KISicherheit #RAGInjektion #ITSicherheit #CyberSecurity #ISO27001 #ISO42001 #KIStrategie #Innovation #Sicherheit #LLM #KIKompetenz #KIK

Jeden Tag liest man von neuen KI-Modellen die ein Big-Tech Unternehmen veröffentlicht hat. Doch was bedeutet dies eigentlich und warum werden in letzter Zeit so viele verschiedene und neue Modelle veröffentlicht? #AI #KI #AGI | innFactory AI Consulting GmbH | innFactory GmbH

Der EU AI Act, die weltweit erste umfassende Regulierung künstlicher Intelligenz, wurde heute veröffentlicht und tritt in 20 Tagen offiziell in Kraft. Dies markiert einen historischen Moment für die Technologiebranche und stellt sicher, dass KI-Entwicklungen den europäischen Werten von Sicherheit, Transparenz und Vertrauenswürdigkeit entsprechen. In unserem neuesten Blog-Post erläutert Andreas Nörr die Schlüsselaspekte des AI Acts und seine Auswirkungen auf Anbieter sowie Anwender von KI-Technologien. Von den strengen Vorschriften für Hochrisiko-KI bis hin zur Innovationsförderung durch KI-Reallabore. Darüber hinaus freuen wir uns darauf, euch ab Oktober Schulungen nach Art. 4 des EU AI Acts für KI-Beauftragte und KI-Manager anbieten zu können. Wir werden dort die technischen und rechtlichen Grundlagen, die für das Management von KI-Innovationen in mittelständischen Unternehmen essentiell sind, betrachten. https://lnkd.in/darkeiy7 #EUAIACT #AIACT #EU #KIVerordnung #KI #AI Tobias Jonas | Fabian Artmann | Andreas Nörr | innFactory GmbH | Sebastian P. Bayerl

Künstliche Intelligenz betrifft alle Branchen! Heute bin ich auf dem Weg nach Bayreuth, um dem Bestatterverband Bayern und deren Mitgliedern mehr über generative KI zu erklären. Mit im Gepäck habe ich nicht nur meine Keynote über (generative) KI, sondern auch einen sehr spannenden generativen KI-Case, den wir in die SaaS-Lösung für Bestatter CleverOne integriert haben. Habt ihr schon einen produktiven Use-Case für generative KI-Modelle, der bereits live ist? #KünstlicheIntelligenz #GenerativeKI #innFactory #CleverOne #Innovation #Bayreuth #DigitalTransformation #Bestattungen #Bestattersoftware #RapidData #FuneralOffice #PowerOrdo #Cloud #KI #AI #ChatGPT #Gemini innFactory GmbH | innFactory AI Consulting

𝗪𝗮𝗿𝘂𝗺 𝗡𝘃𝗶𝗱𝗶𝗮 𝗶𝗺 𝗞𝗜-𝗕𝗲𝗿𝗲𝗶𝗰𝗵 𝗯𝗼𝗼𝗺𝘁: 𝗘𝗶𝗻 𝗕𝗹𝗶𝗰𝗸 𝗵𝗶𝗻𝘁𝗲𝗿 𝗱𝗶𝗲 𝗞𝘂𝗹𝗶𝘀𝘀𝗲𝗻 Nvidia ist momentan der Star am Himmel der KI-Industrie. Aber warum eigentlich? Die Antwort liegt in der enormen Rechenleistung ihrer Grafikkarten, die essentiell für die Durchführung komplexer Matrixoperationen bei der Backpropagation in neuronalen Netzen sind. 🔍 👉 Was ist Backpropagation? Kurz gesagt, Backpropagation ist ein Algorithmus, der verwendet wird, um die Gewichte in einem neuronalen Netzwerk zu optimieren und die Fehler zu minimieren. Bei der Backpropagation werden Fehler im neuronalen Netzwerk rückwärts durch das Netz propagiert, um die Gewichte zu aktualisieren und das Modell zu verbessern. Dies erfordert eine enorme Anzahl an Matrixoperationen, die idealerweise parallelisiert werden sollten. Genau hier kommen die GPUs von Nvidia ins Spiel. GPUs sind darauf ausgelegt, viele Berechnungen gleichzeitig durchzuführen, was bei CPUs, die auf serielle Verarbeitung spezialisiert sind, erheblich langsamer ist. 🕒 Ein weiterer Grund, warum Nvidia so beliebt ist, liegt in CUDA. CUDA ist eine von Nvidia entwickelte parallele Rechenplattform und Programmierschnittstelle, die Entwicklern ermöglicht, Software für GPUs zu schreiben. Diese Technologie hat eine breite Unterstützung in der Entwickler-Community und ermöglicht es, KI-Modelle effizient zu trainieren. 🎯 Während große Unternehmen wie Amazon, Alphabet und Microsoft an eigenen KI-Chips arbeiten, investieren sowohl große Cloud-Anbieter als auch soziale Netzwerke wie Meta weiterhin Millionen oder sogar Milliarden in Nvidia-GPUs. Diese Investitionen sind notwendig, um die riesigen Rechenanforderungen moderner KI-Modelle zu bewältigen. 🌐💰 Ein beeindruckendes Beispiel: Meta hat angekündigt, bis Ende 2024 eine Infrastruktur aufzubauen, die 350.000 NVIDIA H100 GPUs umfasst. Diese Erweiterung ist Teil eines ambitionierten Plans, der eine Rechenleistung beinhalten wird, die fast 600.000 H100 GPUs entspricht. Dies zeigt, wie stark das Vertrauen in Nvidias Technologie ist und wie entscheidend diese GPUs für die Entwicklung und den Betrieb leistungsfähiger KI-Modelle sind. Der Preis für 𝗘𝗜𝗡𝗘 H100 liegt ohne Mengenrabatt im Übrigen bei etwa 35.000 - 40.000 EUR📊 Für die größten Foundation-Modelle wie GPT oder Gemini werden Tausende von Grafikkarten benötigt, um die enormen Datenmengen zu verarbeiten und das Training effizient durchzuführen. Nvidia bleibt in diesem Bereich führend und treibt die KI-Revolution weiter voran. #Nvidia #KünstlicheIntelligenz #DeepLearning #Backpropagation #Grafikkarten #CUDA #GPT #Gemini

Wusstet Ihr, dass unser deutsches KI-Modell Luminous von Aleph Alpha in Sachen Transparenz weltweit ganz vorne mitspielt? 🎉🇩🇪 Der im Mai veröffentlichte "Foundation Model Transparency Index" von Stanford University hat die Offenheit führender KI-Unternehmen auf 100 verschiedenen Transparenz-Indikatoren bewertet. Ein hoher Wert in diesem Index bedeutet, dass ein Unternehmen offenlegt, wie seine Modelle entwickelt und eingesetzt werden, welche Daten und Ressourcen verwendet werden und welche Risiken und Sicherheitsmaßnahmen bestehen. Alle bewerteten Unternehmen haben ihre Transparenz verbessert, allerdings zeigt sich, dass OpenAI nicht so "Open" ist wie man im ersten Augenblick annehmen könnte. #GPT4 ist eher ClosedAI. Warum ist das wichtig, insbesondere im Kontext des kürzlich in Europa verabschiedeten AI Acts? Transparenz ist entscheidend, um ethische Standards zu etablieren, Vertrauen zu stärken und Innovationen zu fördern. In einer Ära, in der der europäische AI Act Transparenz und Verantwortlichkeit von KI-Systemen fordert, wird klar: Nur wer langfristig offen und ehrlich agiert, kann das Vertrauen der Öffentlichkeit gewinnen und eine führende Rolle in der KI-Landschaft Europas einnehmen. Wie seht Ihr die Bedeutung von Transparenz in der KI-Entwicklung? #KI #LLM #Luminous #GPT4 #AlephAlpha #TrustworthyAI #ExplainableAI

KI ist mehr als das eigene ChatGPT Ich freue mich, Euch zu einer spannenden Podcastaufnahme am Montag, den 22. April 2024, um 18:00 Uhr einzuladen, bei der wir tiefer in die Herausforderungen und Trends der Künstlichen Intelligenz in der Unternehmenswelt eintauchen werden. Als Experte für KI- und Cloud-Lösungen werde ich gemeinsam mit Host Ulrich Clef und weiteren Gästen wertvolle Einblicke und Antworten rund um das Thema diskutieren. Die Aufzeichnung findet im neuen Podcast-Studio im Restaurant "Der Spöckmeier" auf der ersten Etage in der Rosenstraße am Marienplatz statt, wo auch ein anschließendes Networking bei Speisen à la carte geboten wird. Die Gästeanzahl im Studio ist auf 20 Personen limitiert, wobei jeder die Möglichkeit hat, Fragen zu stellen und die Diskussion zu vertiefen. https://lnkd.in/ghsABgks #KI #GenAI #AIPodcast

https://lnkd.in/dg4nVD3Z

https://lnkd.in/d9J8cCpk