Kako „razmišljaju“ veliki jezični modeli i možemo li im vjerovati

Politehnika Pub Date : 2023-12-18 DOI:10.36978/cte.7.2.2

Jasminka Dobša

{"title":"Kako „razmišljaju“ veliki jezični modeli i možemo li im\nvjerovati","authors":"Jasminka Dobša","doi":"10.36978/cte.7.2.2","DOIUrl":null,"url":null,"abstract":"Cilj rada je pokušati, u kontekstu testiranja modela ChatGPT na studentskim zadacima iz područja statistike, prepoznati slučajeve u kojima veliki jezični modeli pokazuju slično ponašanje ljudskom razmišljanju, a u kojima „razmišljaju“ na drugačiji način te identificirati prilike, rizike i ograničenja kod primjene umjetne inteligencije u nastavi. Analizirat će se mogućnosti i ograničenja velikih jezičnih modela te načini na koje se u ovom brzo rastućem području nastoji nadići postojeće pristranosti i nedostatke. U radu će se testirati chatbot na temelju velikoga jezičnoga modela GPT-4 ChatGPT u znanju uvodnog statističkog kolegija koji se predaje na drugoj godini studija studentima informatičkog studija. Testiranje je provedeno ručnim unošenjem 170 kviz pitanja iz područja statistike u preglednik ChatGPT-a. Pitanja su podijeljena u tri kategorije: teorijska pitanja u kojim se reproducira znanje, teorijska pitanja u kojim se testira razumijevanje područja i zadaci. Kviz pitanja su postavljena na hrvatskom jeziku i analizirani su odgovori dobiveni na hrvatskom jeziku. Uspoređena je točnost rješavanja kviz pitanja za studente i ChatGPT po kategorijama pitanja korištenjem Wilcoxonovog testa sume rangova. Rezultati pokazuju da ChatGPT daje statistički bolje rezultate od studenata u kategorijama teorijskih pitanja u kojima se traži reprodukcija znanja i razumijevanje, dok su kod rješavanja zadataka studenti uspješniji, ali razlika u točnosti nije statistički značajna (p<0,01).","PeriodicalId":32796,"journal":{"name":"Politehnika","volume":" 14","pages":""},"PeriodicalIF":0.0000,"publicationDate":"2023-12-18","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Politehnika","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.36978/cte.7.2.2","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}

引用次数: 0

Abstract

Cilj rada je pokušati, u kontekstu testiranja modela ChatGPT na studentskim zadacima iz područja statistike, prepoznati slučajeve u kojima veliki jezični modeli pokazuju slično ponašanje ljudskom razmišljanju, a u kojima „razmišljaju“ na drugačiji način te identificirati prilike, rizike i ograničenja kod primjene umjetne inteligencije u nastavi. Analizirat će se mogućnosti i ograničenja velikih jezičnih modela te načini na koje se u ovom brzo rastućem području nastoji nadići postojeće pristranosti i nedostatke. U radu će se testirati chatbot na temelju velikoga jezičnoga modela GPT-4 ChatGPT u znanju uvodnog statističkog kolegija koji se predaje na drugoj godini studija studentima informatičkog studija. Testiranje je provedeno ručnim unošenjem 170 kviz pitanja iz područja statistike u preglednik ChatGPT-a. Pitanja su podijeljena u tri kategorije: teorijska pitanja u kojim se reproducira znanje, teorijska pitanja u kojim se testira razumijevanje područja i zadaci. Kviz pitanja su postavljena na hrvatskom jeziku i analizirani su odgovori dobiveni na hrvatskom jeziku. Uspoređena je točnost rješavanja kviz pitanja za studente i ChatGPT po kategorijama pitanja korištenjem Wilcoxonovog testa sume rangova. Rezultati pokazuju da ChatGPT daje statistički bolje rezultate od studenata u kategorijama teorijskih pitanja u kojima se traži reprodukcija znanja i razumijevanje, dok su kod rješavanja zadataka studenti uspješniji, ali razlika u točnosti nije statistički značajna (p<0,01).

查看原文本刊更多论文

大语言模型是如何 "思考 "的？

该建议的目的是，在对统计领域的学生作业测试 ChatGPT 模型的背景下，尝试识别大型语言模型与人们的思维相似但 "思维 "方式不同的情况，并确定在该环境中使用人工智能的问题、风险和局限性。通过对Języčnih模型的分析，我们可以发现，人工智能在使用过程中会产生偏差。在此基础上，我们通过 GPT-4 ChatGPT 模型和学生信息统计工具对聊天机器人进行了测试。测试是通过手动回答 ChatGPT 电子表格中统计领域的 170 道问答题进行的。问题分为三类：再现知识的理论问题、测试对学科领域理解的理论问题和作业。测验问题用克罗地亚语设置，答案用克罗地亚语分析。通过 Wilcoxon 秩和检验确定学生和 ChatGPT 根据问题类别提出的测验问题的准确性。学生和 ChatGPT 的测试结果显示，学生的重复性和准确性都很好，但学生的答题准确率却很低，而学生的答题准确率却很低（P<0,01）。

本文章由计算机程序翻译，如有差异，请以英文原文为准。

求助全文

约1分钟内获得全文求助全文

来源期刊

Politehnika

自引率

0.00%

发文量

审稿时长

12 weeks