Gegenüberstellung von Antworten durch Copilot und ChatGPT gibt Hinweise zur gezielteren Anwendung

Anlässlich der neuen Gesetzgebung zu Legalisierung des Cannabis Konsums in Deutschland gab es im privaten Kontext die Diskussion, wie "in Sichtweite" genau zu verstehen ist. Die Antwort einer spontane Nutzung des Microsoft Copilots führte zu diesem Artikel. Der Artikel stellt den Versuch dar, verschiedene Fragemöglichkeiten und zugehörige Antworten mit Copilot oder direkter ChatGPT-Nutzung Gegenüberzustellen und daraus Hinweise für eine gezieltere Verwendung abzuleiten. Im Dokument

sind die jeweiligen Prompts und Antworten dokumentiert. Im Vergleich reichen die Antworten von "das Thema verfehlt" bis hin zu "konkret inklusive Quellenangaben". Zusammenfassend stellen sich die Antworten für mich so dar:

1. Insgesamt unbrauchbar – Antwort Copilot (Browser, Einstellung Ausgewogen): Diese Antwort ist vermeintlich sehr detailliert und informativ. Sie bietet eine umfassende Erklärung des Schulrechts und der Bedeutung von “in Sichtweite von Schulen”. Sie betont auch, dass das Schulrecht in Deutschland Ländersache ist und daher variieren kann. Beides gibt keine Antwort auf die eigentliche Frage sondern würde einen unbedarften Nutzenden sogar in diesem Kontext Fehlkonzepte vermitteln. Die Antwort schlug auch eine Nachfrage zur Definition von ‘Sichtweite’ vor, die zu einem weiteren Information-Overload ohne guten Beitrag zur Klärung des Sachverhaltes beiträgt.
2. Gut brauchbar – Antwort Copilot (Browser, Einstellung Genau): Diese Antwort ist präzise und direkt. Sie gibt eine klare Definition von “in Sichtweite von Schulen” und betont den Schutz von Kindern und Jugendlichen. Die Antwort belegt Aussagen mit Quellen.
3. Sehr gut brauchbar – Antwort Copilot (Mobile iOS-App, GPT-4 aktiviert): Diese Antwort ist ähnlich wie die vorherige, aber sie enthält zusätzliche Informationen über das Ziel des neuen Gesetzes, den illegalen Cannabis-Markt einzudämmen und den Gesundheitsschutz zu verbessern.
4. Bedingt brauchbar – Antwort GPT-4 Turbo-Preview: Diese Antwort ist allgemeiner und weniger spezifisch. Sie betont die Komplexität der Definition von “Sichtweite” und schlägt vor, den genauen Gesetzestext zu konsultieren oder rechtlichen Rat einzuholen.
5. Bedingt brauchbar – Antwort GPT-3.5 Turbo: Diese Antwort ist ähnlich wie die vorherige, aber sie bietet eine allgemeinere Erklärung und betont die Notwendigkeit, die genaue Auslegung bei den zuständigen Behörden oder Rechtsanwälten zu erfragen.

Dieser Vergleich bestärkt mich in bereits vorher weniger expliziten Eindrücken. Generell scheint die Standardeinstellung "Ausgewogen" von Copilot im Browser kein guter Standard zu sein. Hier erhalte ich vom eigentlichen Sachverhalt ablenkende Informationen und keine Klärung der ursprünglichen Fragestellung. Im Vergleich dazu sind die Antworten von ChatGPT 4 und 3.5 deutlich geeigneter. Sie können zwar den konkreten Sachverhalt naturgemäß nicht vollständig beantworten – die Modelle beinhalten keine aktuellen Informationen, aber geben eine gute Grundlage durch generelle, für den Kontext der Fragestellung spezifische Konzepte. Die klarste Antwort kam durch Copilot mit der Einstellung "Genau". Sie beinhaltet eine konkrete Angabe, belegt diese mit Quellen und gibt Informationen zur Absicht des Gesetzgebers. Hier profitiert Copilot durch die Möglichkeit aktuelle Internet-Quellen einzubeziehen.

Fazit

Im Alltag scheinen die Antworten direkt von GPT (3.5, 4) in Lernkontexten spannen zu sein. Sie liefern keine direkte Antwort, aber ermächtigen durch die Lieferung von korrekten im Sachverhalt für die Beantwortung zu anzuwendenden Konzepten, Lernende dazu diesen Schritt selbst zu gehen.

Copilot profitiert durch die Einbeziehung von aktuellen Quellen aus dem Internet und beantwortet so die Frage direkt. Ein gute Wahl, wenn es "lediglich" um die direkte Beantwortung geht. Aber, ich werde in Zukunft niemals die Standardeinstellung "ausgewogen" verwenden, diese liefert tendenziell Fehlkonzepte und Ablenkungen. Die mobile iOS-App mit dem GPT-4 Modell ist gleichermaßen gut brauchbar.

Dies bringt mich zu der Frage, wie es euch ergeht? Ist dies eine singuläre Erfahrung meinerseits oder wie ist euer Eindruck der Qualitäten von Copilot, insbesondere in der Einstellung "Ausgewogen"?