Vollständiger Leitfaden zum Erkennen von KI-Chatbot-Plagiaten

KI-Chatbots wie ChatGPT beschränken sich nicht nur auf die Beantwortung Ihrer Fragen. Sie können menschenähnliche E-Mails, Anschreiben, Essays, Gedichte, Blogbeiträge und vieles mehr schreiben.

KI-Schreiben ist wie ein Chamäleon – es kann sich so gut in jede andere Art des Schreibens einfügen, dass es Ihnen schwer fällt, den Unterschied zu erkennen.

Das macht es uns Menschen leider unglaublich schwer zu erkennen, wenn eine KI statt einer Person etwas geschrieben hat. Sicher, wir könnten alle den Rat von Sherlock Holmes befolgen und „das Unmögliche eliminieren“, aber wer hat schon Zeit dafür?

Was ist, wenn ich Ihnen sage, dass der obige Absatz von einer KI geschrieben wurde? Ja, ich habe YouWrite gebeten, eine kurze Einführung für diesen Beitrag zu schreiben, und das ist das Ergebnis. Ziemlich überzeugend oder? Das ist das Problem, es ist zu überzeugend, als dass irgendjemand es als seine eigene Arbeit präsentieren könnte, um davon zu profitieren.

KIs formulieren den Inhalt nicht einfach um; sie lernen das Thema und präsentieren es in einer natürlichen Sprache mit RLHF. Das bedeutet, dass sich die generierten Inhalte weder wie ein Roboter zum Lesen anfühlen, noch mit online verfügbaren Daten verglichen werden können, um Plagiate zu finden.

Das Erfassen von KI-generierten Inhalten ist nicht einfach, und ich werde Ihnen keine falsche Hoffnung machen, dass Sie sie mit 100 % Genauigkeit erfassen können. Mit ein wenig Detektivarbeit und etwas Hilfe von KI-Schreiberkennungstools können Sie jedoch die meisten Werke der KI erfassen.

Im Folgenden finden Sie manuelle Methoden zur Erkennung von KI-Plagiaten sowie einige automatische Tools.

KI-Plagiate manuell erkennen 🕵️

ChatGPT ist nicht einmal ein großes Problem, wenn es um KI-Plagiate geht. Es gibt viele alternative Tools, die auf der gleichen GPT-3-Technologie basieren und zum Schreiben entwickelt wurden. Diese sind sehr fortschrittlich und speziell dafür gemacht, menschenähnliche Inhalte zu erstellen, die schwer zu fangen sind.

Automatische Erkennungstools sind je nach Art, Länge und Komplexität des Inhalts ein Hit oder Miss. Zumindest derzeit ist es also der beste Weg, die Punkte manuell zu verbinden, um herauszufinden, ob der Artikel von der KI generiert wurde oder nicht.

Im Folgenden habe ich einige allgemeine Hinweise aufgelistet, nach denen Sie suchen könnten, um KI-generierte Inhalte zu erfassen.

#1. Veraltete Informationen

ChatGPT und andere GPT-3-basierte KI hatten Ende 2021 einen Wissensschnitt. Obwohl einige KI-Bots eine eingebaute Suchmaschine haben, um nach den neuesten Informationen zu suchen, verlassen sie sich immer noch auf alte Daten, um lange Inhalte zu schreiben Essays oder Blogbeiträge.

Wenn Sie bemerken, dass der Artikel ständig über veraltete Daten spricht, insbesondere vor 2021, dann könnte es sich um KI-generierte Daten handeln.

Im folgenden Screenshot habe ich YouWrite gebeten, mir etwas über die jüngste FIFA-Weltmeisterschaft zu erzählen, und das ist dabei herausgekommen.

Es spricht von der Weltmeisterschaft 2018 statt von der jüngsten 2022. Obwohl das Tool aktualisiert wurde, um über aktuelle Ereignisse wie die Weltmeisterschaft 2022 zu sprechen, verwendet es zum Schreiben langer Posts immer noch die veralteten Daten, auf denen es aufbaut.

#2. Verwendet dieselbe Satzstruktur für Beschreibungen

Beim Schreiben von Beschreibungen mehrerer Produkte/Apps verwendet die KI normalerweise dieselbe Satzstruktur, die sie bearbeitet, um sie an die Beschreibung eines Produkts anzupassen. Die Beschreibungen beginnen normalerweise mit demselben Wort, wie The, It, A oder dem Produktnamen. Die Beschreibungen haben auch einen dedizierten Fokus, den sie wiederholen.

Zum Beispiel habe ich ChatGPT unten gebeten, mir etwas über „Websites für Dateneingabejobs“ zu erzählen. Sie können sehen, dass alle Beschreibungen mit „A“ beginnen und einen strengen Fokus haben.

Ich habe auch YouChat dieselbe Frage gestellt, und es hat dasselbe getan und den Namen jeder Website am Anfang wiederholt, und die Beschreibungen selbst sehen aus wie eine umformulierte Version von jeder.

Wenn der Artikel, den Sie analysieren, eine ähnliche Beschreibung enthält, ist dies eine großartige Möglichkeit, KI-Schreiben zu verstehen.

#3. Verwendet kurze Sätze

Für die meisten Zuschreibungen verwendet die KI einzeilige Sätze mit höchstens einem einzelnen Komma. Vielleicht versuchen sie, die Wahrscheinlichkeit von Fehlern zu minimieren, aber sie vermeiden es, lange Sätze zu schreiben, die die Verwendung von Doppelpunkten, Semikolons oder dicken horizontalen Linien erfordern könnten.

Ich weiß, dass dies nicht der beste Hinweis ist, um KI-Schreiben zu erwischen, aber es ist eine Überlegung wert, Ihren Verdacht weiter zu beweisen.

#4. Kann falsche Angaben machen

Bei komplexen Fragen, die normalerweise eine Art Anweisung beinhalten, kann die KI die Absicht nicht verstehen und falsche Informationen liefern. Ich spreche hier nicht von veralteten Informationen, sie sagen Ihnen nur selbstbewusst die falschen Informationen, wenn sie das Thema nicht verstehen.

Zum Beispiel habe ich YouWrite gebeten, mir zu sagen, „wie man ein Android-Telefon ohne PC rootet“. Es hat mir immer noch Methoden gezeigt, die den Einsatz eines PCs irgendwann im Unterricht beinhalten.

#5. Fügt keine persönliche Meinung hinzu

Wenn KI über etwas spricht, spricht sie nur über bekannte Fakten. Im Gegensatz zu Menschen wird es nicht über seine persönlichen Erfahrungen damit sprechen. Obwohl KIs angewiesen werden können, einen praktischen Aufsatz zu erstellen, vermeiden sie dies standardmäßig.

Wenn Sie bemerken, dass der Artikel nur über bekannte Fakten spricht, ist es eine gute Chance, dass er von einer KI geschrieben wurde. Wenn Sie beispielsweise über eine App sprechen, wird über deren Funktionen gesprochen, anstatt darüber, wie reibungslos die Navigation ist oder wie die App tatsächlich verwendet wird.

#6. Kurze Erläuterungen

Da KIs durch das derzeit verfügbare Wissen begrenzt sind, neigen sie dazu, kurze Erklärungen und Beschreibungen zu schreiben. Wenn sie über ein bestimmtes Thema sprechen – wie z. B. Android-Rooting – halten sie die Erklärung meiner Erfahrung nach in maximal 2-3 Absätzen. Und für Dinge wie Apps oder Produkte überschreitet die Beschreibung normalerweise nicht 1 Absatz.

Menschen können ausführlich über etwas schreiben, einschließlich Funktionen, Einschränkungen, persönliche Erfahrungen, Preise usw. Andererseits konzentriert sich die KI normalerweise auf die Hauptfunktionen oder Highlights, sodass die Beschreibung auch kurz ist. Wenn der Ausbilder nach weiteren Details fragt, erhöht sich die Wahrscheinlichkeit falscher Informationen erheblich.

#7. Überprüfen Sie die Geschichte des Autors

Wenn Sie als Lehrer oder Webmaster Zugriff auf frühere Arbeiten oder Aufgaben des Autors haben, ist es möglicherweise eine gute Idee, diese mit dem Artikel zu vergleichen, dem Sie misstrauisch gegenüberstehen. Es ist höchst unwahrscheinlich, dass der Autor einen ähnlichen Schreibstil wie eine KI hat. Obwohl die KI den Schreibton ändern kann, sind die von ihr gewählten Stile eher generisch und können Ihren Ton nicht kopieren.

Nehmen wir das Beispiel des KI-generierten Absatzes im Intro dieses Beitrags. Jeder, der meine vorherigen Posts gelesen hat, kann leicht erkennen, dass mein Schreibstil im Vergleich zu ihm völlig anders ist.

Sie können einfach 2-3 frühere Werke des Autors lesen und sehen, ob es zum Schreibstil des verdächtigen Artikels passt.

Tools zur Erkennung von KI-Plagiaten

Es gibt eine Reihe von Tools, die KI-geschriebene Inhalte erkennen können. Ihre Genauigkeit ist jedoch unterschiedlich und kann je nach Art des Inhalts und der Länge versagen.

Ich habe diese Tools mit verschiedenen Arten von Inhalten getestet, die von ChatGPT, GPT-3 Playground, WriteSonic, Rytr und YouWrite generiert wurden. Sie haben es geschafft, alle Arten von Inhalten zu erkennen, die von ChatGPT und GPT-3 Playground generiert wurden.

Obwohl sie gemischte Ergebnisse für dedizierte Schreibwerkzeuge hatten, konnten sie interessanterweise alle YouWrite nicht erkennen. Ich vermute, das liegt daran, dass YouWrite menschenähnliche Fehler macht, um eine Erkennung zu vermeiden.

Ich empfehle Ihnen, diese Tools neben der manuellen Überprüfung des Inhalts zu verwenden. Analysieren Sie zunächst den Inhalt mit einem dieser Tools und suchen Sie dann manuell nach Hinweisen, um den Verdacht weiter zu bestätigen.

Nachfolgend liste ich diejenigen auf, die die besten Ergebnisse lieferten und am einfachsten zu verwenden sind:

Hinweis: Zur Demonstration werde ich generierten Text von WriteSonic zu „Vorteilen von Mangos“ verwenden.

#1. Inhalt im Maßstab

Ich fand den KI-Inhaltsdetektor von Content At Scale für die meisten der von mir durchgeführten Tests am genauesten. Sie können bis zu 2500 Zeichen pro Scan scannen und eine prozentuale Vorhersage treffen, die die tatsächliche oder gefälschte Inhaltsdichte anzeigt.

Bei Inhalten, die zu über 60 % gefälscht sind, kann man davon ausgehen, dass sie von KI-Inhalten geschrieben wurden, zumindest die meisten davon. Im folgenden Screenshot können Sie sehen, dass 96 % der Inhalte gefälscht sind, die ich vollständig mit KI generiert habe.

#2. GPTZero

Wenn Sie genau sehen möchten, welche Inhalte von der KI generiert werden, ist GPTZero eine gute Option. GPTZero bewertet keine Inhalte. Stattdessen werden genau die Inhalte hervorgehoben, die wahrscheinlich von KI generiert werden.

Obwohl es Ratlosigkeits- und Burstiness-Scores anzeigt, um eine Vorstellung von der Zufälligkeit im Text zu bekommen, unterstützt es, was noch wichtiger ist, 5000 Zeichen pro Scan und kann auch Dateien hochladen. Das Scannen großer Inhalte trägt erheblich zur Verbesserung der Genauigkeit bei.

#3. GPT-2 Ausgangsdetektor

Die Macher von ChatGPT bieten auch einen Bot an, um ihre eigene Arbeit zu erkennen. Da sich GPT-2 und GPT-3 nur in den für das Training verwendeten Gesamtdaten unterscheiden, funktioniert dieser GPT-2-Detektor auch gut für GPT-3-basierte KIs.

Es gibt keine Begrenzung, wie viele Inhalte gescannt werden können, daher ist es perfekt für die Erkennung sehr langer KI-generierter Inhalte. Ich fand auch seine Genauigkeit gut, insbesondere für von ChatGPT generierte Inhalte. Es ist jedoch ein bisschen verloren in Vorhersagen, also betrachten Sie seine Ergebnisse nur, wenn mehr als 50 % des Inhalts als Fälschung angezeigt werden.

#4. Writer AI Content Detector

Die Ergebnisse des Writer AI Content Detector sind fragwürdig, wenn Inhalte von KI-Schreibtools erkannt werden, aber es funktioniert hervorragend für von ChatGPT generierte Inhalte. Sie können 1500 Zeichen pro Scan scannen und sogar die URL des Inhalts hinzufügen, wenn er bereits veröffentlicht wurde.

Für meinen Test-KI-generierten Text hieß es, dass 94 % des Inhalts von Menschen generiert sind, was im Vergleich zu anderen Tools ziemlich abweicht. Trotzdem lohnt es sich, ChatGPT-Inhalte zu erkennen, insbesondere wenn sie bereits veröffentlicht wurden.

#5. Entwurf & Ziel

Ein einfaches, aber leistungsstarkes KI-Schreiberkennungstool. Meiner Erfahrung nach lieferte Draft & Goal ähnliche Ergebnisse wie Content At Scale, aber es gibt keine Begrenzung der Wortzahl, sodass Sie lange Texte scannen können. Die Scanzeit verlängert sich jedoch je nachdem, wie viel Inhalt Sie scannen.

Für meinen Beispieltext heißt es, dass 94 % des Textes KI-generiert sind.

Meine Gedanken 💭

Ich persönlich denke, dass KI-Hilfe eine großartige Möglichkeit ist, Schreibblockaden zu beseitigen, alle Informationen an einem Ort zu erhalten und Inspiration zu finden. Es sollte jedoch niemals das menschliche Schreiben ersetzen, da KI auf das bereits bekannte Wissen beschränkt ist.

Sie können auch einige der besten Tools zur Plagiatsprüfung erkunden, um das Kopieren zu verhindern.