ChatGPT beantwortet mehr als die Hälfte der Fragen zur Softwareentwicklung falsch.
ChatGPT beantwortet über die Hälfte der Fragen zur Softwareentwicklung falsch.
ChatGPT’s Fähigkeit, zu jeder Zeit auf jede Frage konversationelle Antworten zu liefern, macht den Chatbot zu einer praktischen Ressource für Ihre Informationsbedürfnisse. Trotz der Bequemlichkeit sollten Sie ChatGPT jedoch nicht für Software Engineering-Anfragen verwenden, wie eine neue Studie ergab.
Vor dem Aufkommen von KI-Chatbots war Stack Overflow die Anlaufstelle für Programmierer, die Rat für ihre Projekte benötigten. Stack Overflow hatte ein Frage-Antwort-Modell ähnlich wie ChatGPT.
Außerdem: Wie man den neuen KI-Trainings-Webcrawler von OpenAI daran hindert, Ihre Daten aufzunehmen
Bei Stack Overflow mussten Sie jedoch auf eine Antwort warten, während Sie bei ChatGPT keine Wartezeit haben.
Als Folge haben viele Softwareingenieure und Programmierer ihre Fragen an ChatGPT gerichtet. Da keine Daten vorlagen, die zeigen, wie effektiv ChatGPT bei der Beantwortung solcher Fragen ist, wurde das Dilemma in einer neuen Studie der Purdue University untersucht.
- Apple versucht, genügend M3s für das nächste Jahr zu garantieren | ...
- Disney will auch gegen das Teilen von Passwörtern vorgehen
- Disney erhöht den Preis für werbefreies Hulu und Disney Plus
Um herauszufinden, wie effizient ChatGPT bei der Beantwortung von Software Engineering-Anfragen ist, gaben die Forscher ChatGPT 517 Stack Overflow-Fragen und untersuchten die Genauigkeit und Qualität der Antworten.
Außerdem: Wie man ChatGPT zum Schreiben von Code verwendet
Die Ergebnisse zeigten, dass von den 512 Fragen 259 (52%) der Antworten von ChatGPT falsch waren und nur 248 (48%) richtig. Darüber hinaus waren ganze 77% der Antworten ausführlich formuliert.
Trotz der erheblichen Ungenauigkeit der Antworten zeigten die Ergebnisse, dass die Antworten in 65% der Fälle umfassend waren und alle Aspekte der Frage behandelten.
Um die Qualität der ChatGPT-Antworten weiter zu analysieren, baten die Forscher 12 Teilnehmer mit unterschiedlichen Kenntnisständen in der Programmierung um ihre Einsichten zu den Antworten.
Außerdem: Microsofts Red Team überwacht KI seit 2018. Hier sind fünf wichtige Erkenntnisse
Obwohl die Teilnehmer in verschiedenen Kategorien Stack Overflow-Antworten gegenüber ChatGPT bevorzugten, wie aus dem Diagramm ersichtlich, gelang es ihnen in 39,34% der Fälle nicht, falsche ChatGPT-generierte Antworten korrekt zu identifizieren.
Laut der Studie führten die gut formulierten ChatGPT-Antworten dazu, dass die Benutzer falsche Informationen in den Antworten übersehen.
“Benutzer übersehen falsche Informationen in ChatGPT-Antworten (39,34% der Zeit) aufgrund der umfassenden, gut formulierten und humanoiden Einsichten in den ChatGPT-Antworten”, schrieben die Autoren.
Außerdem: Wie ChatGPT Ihren vorhandenen Code umschreiben und verbessern kann
Die Generierung plausibel klingender, aber falscher Antworten ist ein großes Problem bei allen Chatbots, da dies die Verbreitung von Fehlinformationen ermöglicht. Neben diesem Risiko sollten die niedrigen Genauigkeitswerte ausreichen, um die Nutzung von ChatGPT für diese Art von Anfragen zu überdenken.
