Un nou studiu aruncă o umbră asupra fiabilității ChatGPT, relevând o performanță modestă în evaluarea ipotezelor științifice. Cercetarea, realizată recent, subliniază limitele actuale ale inteligenței artificiale (IA) în domeniul înțelegerii conceptuale și al raționamentului complex. Rezultatele sugerează o abordare prudentă în utilizarea acestui tip de tehnologie pentru decizii importante.
Performanța ChatGPT: departe de perfecțiune
Studiul a pus la încercare capacitățile ChatGPT de a evalua corectitudinea a peste 700 de ipoteze științifice. Cercetătorii au adresat aceeași întrebare de zece ori pentru fiecare ipoteză, pentru a testa coerența răspunsurilor. Rezultatele inițiale, obținute în 2024, indicau o acuratețe de 76,5%. Într-un test ulterior, realizat în 2025, precizia a crescut ușor, atingând 80%.
Cu toate acestea, ajustările pentru a elimina efectul ghicirii aleatorii au dezvăluit o imagine mai puțin favorabilă. Performanța IA s-a dovedit a fi doar cu aproximativ 60% mai bună decât șansa, sugerând mai degrabă o notă mediocră decât o performanță impresionantă. Sistemul a avut dificultăți deosebite în identificarea afirmațiilor false, reușind să le eticheteze corect doar în 16,4% din cazuri.
Inconsistențe îngrijorătoare în răspunsuri
Pe lângă acuratețe, studiul a scos la iveală și un nivel semnificativ de inconsistență în răspunsurile ChatGPT. Chiar și atunci când a fost confruntat cu aceeași întrebare de zece ori, modelul a oferit răspunsuri identice în doar 73% din cazuri. Profesorul Cicek, autorul principal al studiului, a subliniat importanța acestei constatări: „Nu vorbim doar despre acuratețe, vorbim despre inconsistență, pentru că dacă pui aceeași întrebare iar și iar, obții răspunsuri diferite”.
Acesta a exemplificat prin citarea unor situații în care ChatGPT a oferit răspunsuri contradictorii la aceeași întrebare, alternând între „adevărat” și „fals”, deși solicitarea era identică. Astfel, cercetătorii avertizează asupra riscurilor asociate cu încrederea excesivă în IA pentru luarea deciziilor.
Recomandări pentru utilizatori și lideri
Pe baza acestor rezultate, cercetătorii recomandă prudență în utilizarea informațiilor generate de IA, în special în domenii care necesită raționament complex. De asemenea, ei subliniază necesitatea unei instruiri specifice pentru a înțelege mai bine capacitățile și limitele sistemelor de IA.
Un sondaj din 2024 a arătat că consumatorii sunt reticenți să achiziționeze produse promovate cu accent pe IA. Autorii studiului sugerează că liderii din mediul de afaceri să verifice cu atenție informațiile generate de aceste sisteme. Studiul se aliniază cu alte cercetări anterioare, care au exprimat rezerve cu privire la entuziasmul exagerat legat de IA.
