Challenges in using the language models of the OpenAI platform in the context of evaluating student solutions to project tasks from the field of computer programming

Autor ovog istraživanja godinama svjedoči tome kako je motivacija studenata za kontinuirani rad relativno niska. Kako bi povećali motivaciju studenata za samostalni rad, nastavnici na Visokom učilištu Algebra odlučili su posljednjih godina promijeniti pristup. Umjesto inzistiranja da studenti uče za ispit u određeno vrijeme, dobili su niz projekata koje su trebali samostalno implementirati. Rezultati istraživanja pokazali su da postoji napredak u kasnije ostvarenim rezultatima u odnosu na tradicionalne ispite. S druge strane, pojavom moćnih i besplatnih ili vrlo pristupačnih jezičnih modela kao što su oni platforme OpenAI, nastavnici se susreću sa izazovima jer studenti mogu koristiti takve modele kako bi riješili projektni zadatak, što je u suprotnosti s etičkim kodeksom. Svrha ovoga istraživanja je utvrditi kakve rezultate je sposoban postići jezični model platforme OpenAI, ako mu se zada projektni zadatak iz određenoga kolegija. Definirana su 2 istraživačka pitanja. Kakav rezultat postiže jezični model na OpenAI platformi kada mu se zada projektni zadatak iz kolegija Java web programiranje i postoji li razlika u rezultatima u odnosu na postignute rezultate studenata (Q1)? Postoji li razlika u rezultatima koje postiže jezični model u odnosu na prirodni jezik na kojem mu je zadan projektni zadatak (hrvatski ili engleski) (Q2)? Analiza rezultata pokazala je da je u određenim slučajevima jezični model sposoban riješiti ispit za prolaznu ocjenu bez dodatnih intervencija korisnika, iako su postignuti rezultati značajno slabiji od rezultata koje postižu studenti. Bolje rezultate jezični model postiže ako mu se ispit zada na engleskom jeziku u odnosu na rezultate na hrvatskom jeziku.