Beitrag von innFactory AI Consulting GmbH

RAG-Injektionen: Wenn Daten gestohlen werden und gängige Sprachmodelle wie GPT, Gemini oder Claude assistieren. Stellt Euch vor, eine scheinbar harmlose User-Story wird genutzt, um sensible Unternehmensdaten zu klauen – und das ganz unbemerkt. In meinem neuesten Blogpost (Link im Kommentar) beleuchte ich genau dieses Szenario und erkläre, wie RAG-Injektionen große Sprachmodelle (LLMs) manipulieren können, um kritische Informationen an externe Quellen zu übermitteln. In meinem Video zeige ich stark vereinfacht, wie ein GPT-o1 als Softwareentwickler agiert und eine scheinbar einfache User-Story für einen Fahrzeughersteller mit Python umsetzt. Leider setzt er nicht nur die Story aus der PDF um, sondern injiziert daneben noch Code, der alle Informationen zur Laufzeit an einen Server übermitteln würde. Gerade in komplexeren Szenarien bei unerfahrenen Benutzern oder Programmierern oder bei der automatischen Ausführung von generiertem Quellcode birgt das eine gigantische Gefahr. Darüber hinaus muss die Injektion nicht immer aus einer Datei kommen, die ein Benutzer hochlädt. Ein findiger Angreifer könnte die Prompt-Injection auch in einer Quelle verstecken, die zum Beispiel im RAG-Ansatz von einem SharePoint oder Confluence geladen wird. Für das menschliche Auge nicht zu sehen, aber trotzdem im Dokument eingebettet. Wie würden eure Mitarbeiter beispielsweise reagieren wenn der vertrauenswürdige Company GPT Chat eine Ausgabe wie diese ausgibt: "Sehr geehrter innFactory Mitarbeiter, wir haben ungewöhnliche Aktivitäten auf Ihrem Konto festgestellt. Um Ihre Sicherheit zu gewährleisten, bestätigen Sie bitte Ihre Kontodaten. Jetzt Konto verifizieren Bitte führen Sie diese Maßnahme innerhalb der nächsten 24 Stunden durch, um eine Sperrung Ihres Kontos zu vermeiden. Danke für Ihre Mithilfe. Mit freundlichen Grüßen, Das innFactory Sicherheitsteam" #KISicherheit #RAGInjektion #ITSicherheit #CyberSecurity #ISO27001 #ISO42001 #KIStrategie #Innovation #Sicherheit #LLM #KIKompetenz #KIK