Bolette Sandford Pedersen, Nathalie C. Hau Sørensen, S. Olsen, Sanni Nimb
{"title":"Evaluating language understanding in Danish LLMs based on semantic dictionaries","authors":"Bolette Sandford Pedersen, Nathalie C. Hau Sørensen, S. Olsen, Sanni Nimb","doi":"10.7146/nys.v1i65.145394","DOIUrl":"https://doi.org/10.7146/nys.v1i65.145394","url":null,"abstract":"In this paper, we describe how we have generated a number of evaluation datasets – a so-called benchmark – in order to evaluate certain reasoning and understanding capacities of Danish language models. We hypothesize that the semantic knowledge already given in existing Danish dictionaries can be conceived as a ‘ground truth’ for the semantics of the Danish vocabulary. Our method therefore regards turning the semantic dictionaries into a number of evaluation datasets that can be used for testing how well the models understand Danish. More specifically, we examine how well the models i) understand synonymy and semantic association between concepts, ii) make inferences in relation to conceptual knowledge and inheritance structures from super-con-cept to sub-concepts, iii) make correct inferences in relation to acts and events, iv) disambiguate correctly when words have multiple meanings, and v) treat ‘sentiment’, i.e. positive and negative connotation, in running text. We test our datasets on ChatGPT 3.5 turbo and ChatGPT 4.0 and find that the models are challenged in an adequate manner even if ChatGPT 4.0 does perform very well on several of the datasets.","PeriodicalId":509280,"journal":{"name":"NyS, Nydanske Sprogstudier","volume":"77 11","pages":""},"PeriodicalIF":0.0,"publicationDate":"2024-07-10","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"141662803","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"Nogle iagttagelser af retoriske træk i danske hadbeskeder","authors":"Liv Moeslund Ahlgren","doi":"10.7146/nys.v1i64.141691","DOIUrl":"https://doi.org/10.7146/nys.v1i64.141691","url":null,"abstract":"Hadbeskeder er hadefulde, forhånende eller generelt chikanerende beskeder, som sendes til offentligt kendte personer, men på trods af at de efterhånden er et grundvilkår for disse personer, findes der meget lidt sprogvidenskabeligt funderet forskning i dem. I dette studie analyseres 49 autentiske hadbeskeder, og beskedernes retoriske træk og overordnede kommunikative formål kortlægges. Det vurderes, at beskedernes kommunikative formål er at nedværdige modtageren, at gøre gengæld (retaliation) og at manipulere afsenderen og modtagerens magtforhold. Der identificeres 17 retoriske træk, hvoraf hadbeskederne altid indeholder enten Fordømme karaktertræk, Verbal disciplinering, Kritisere opførsel i konkret situation eller Ønske modtager ondt. De fleste af trækkene bidrager til de overordnede kommunikative formål. Udover at give en forståelse af, hvordan hadbeskeder sprogligt er opbygget, kan resultaterne pege på nogle af de sociale og emotionelle mekanismer, der ligger bag beskedernes tilblivelse.","PeriodicalId":509280,"journal":{"name":"NyS, Nydanske Sprogstudier","volume":"68 7","pages":""},"PeriodicalIF":0.0,"publicationDate":"2023-12-11","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"139183720","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"The Danes and the English language – then and now","authors":"Jacob Thøgersen, Bent Preisler","doi":"10.7146/nys.v1i64.141695","DOIUrl":"https://doi.org/10.7146/nys.v1i64.141695","url":null,"abstract":"","PeriodicalId":509280,"journal":{"name":"NyS, Nydanske Sprogstudier","volume":"78 4","pages":""},"PeriodicalIF":0.0,"publicationDate":"2023-12-11","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"139184169","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"Replik: Ny dansk fonetik og IPA","authors":"Ruben Schachtenhaufen","doi":"10.7146/nys.v1i64.141694","DOIUrl":"https://doi.org/10.7146/nys.v1i64.141694","url":null,"abstract":"","PeriodicalId":509280,"journal":{"name":"NyS, Nydanske Sprogstudier","volume":"40 5","pages":""},"PeriodicalIF":0.0,"publicationDate":"2023-12-11","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"139183835","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"Some perspectives on rhetorical moves in Danish hate messages","authors":"Liv Moeslund Ahlgren","doi":"10.7146/nys.v1i64.141699","DOIUrl":"https://doi.org/10.7146/nys.v1i64.141699","url":null,"abstract":"","PeriodicalId":509280,"journal":{"name":"NyS, Nydanske Sprogstudier","volume":"357 2","pages":""},"PeriodicalIF":0.0,"publicationDate":"2023-12-11","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"139183277","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"Danskerne og det engelske sprog – dengang og nu","authors":"Jacob Thøgersen, Bent Preisler","doi":"10.7146/nys.v1i64.141688","DOIUrl":"https://doi.org/10.7146/nys.v1i64.141688","url":null,"abstract":"I denne artikel undersøger vi hvordan danskeres selvoplevede kompetencer i, kontakt med og holdninger til det engelske sprog har ændret sig fra tiden omkring årtusindskiftet til i dag. Metoden er to spørgeskemasurveys med repræsentativ respondentudvælgelse i henholdsvis 1995–1996 og 2022. Surveyet, der blev gennemført i 1995–1996, er det som lå til grund for Preislers undersøgelse Danskerne og det engelske sprog (1999). Surveyet i 2022 blev gennemført inden for forskningsprojektet English and Globalisation in Denmark (Enida) og var (stort set) en gentagelse af Preislers undersøgelse. I begge surveys er respondenterne stillet de samme spørgsmål for at holde så mange ting som muligt konstante og sikre sammenligningsgrundlaget. Resultaterne viser at 1) yngre generationer rapporterer at de har højere kompetencer end ældre; og at en persons oplevelse af egne kompetencer er relativt stabil livet igennem. Med andre ord er danskernes engelskkompetencer blevet højere i takt med at de generationer der kan mindre engelsk, forsvinder og nye, engelskstærkere, generationer kommer til. 2) kontakten med engelsk er generelt øget, også i den enkeltes levetid, og det er især den ’produktive’ kontakt (tale og skrive) der er øget, mere end den ’receptive’ (høre og se). 3) danskeres holdninger til engelsk er blevet mere yderliggående, både i positiv og (især) i negativ retning. Ud over at fremlægge resultater overvejer vi de samfundshistoriske forhold som har forårsaget forandringerne, og vi diskuterer om det overhovedet er muligt at undersøge holdninger to gange med det samme spørgeskema.","PeriodicalId":509280,"journal":{"name":"NyS, Nydanske Sprogstudier","volume":"21 12","pages":""},"PeriodicalIF":0.0,"publicationDate":"2023-12-11","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"139183936","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}
{"title":"Kan man måle opfattelsen af andetsprogets lyde?","authors":"Camilla Søballe Horslund, Jonas Villumsen","doi":"10.7146/nys.v1i64.141692","DOIUrl":"https://doi.org/10.7146/nys.v1i64.141692","url":null,"abstract":"At lære et andetsprogs udtale er svært. Ifølge det dominerende paradigme i andetsprogsfonologien er årsagen til dette, at lørnere forveksler lyde fra andetsproget med lyde fra modersmålet, også selvom disse er forskellige. Dette fænomen undersøges ofte i fonologiske test, hvor lørnere bedes identificere eller skelne mellem ord, der indeholder de problematiske sproglyde. Formålet med sådanne tests er at generalisere om opfattelsen af selve lydene, også selvom det ofte faktisk er ord, deltagerne lytter til. Men kan man adskille opfattelsen af enkelte lyde fra genkendelsen af de ord, de indgår i? Denne diskussionsartikel argumenterer for, at eksisterende fonologiske test står over for tre udfordringer: (1) at ekskludere ordgenkendelse fra testen; (2) at ekskludere skriftsproglige indflydelser i testen; (3) at balancere 1 og 2 med, hvor meget testens procedure afspejler normal taleopfattelse. Der argumenteres for, at alment anvendte test, eksemplificeret med studier af danske lørnere af engelsk, opfylder disse tre krav dårligt, hvilket kan lede til fejlfortolkninger, der kan skævvride vores forståelse af lørneres processering af andetsprogets lyde.","PeriodicalId":509280,"journal":{"name":"NyS, Nydanske Sprogstudier","volume":"67 5","pages":""},"PeriodicalIF":0.0,"publicationDate":"2023-12-11","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":null,"resultStr":null,"platform":"Semanticscholar","paperid":"139183166","PeriodicalName":null,"FirstCategoryId":null,"ListUrlMain":null,"RegionNum":0,"RegionCategory":"","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":"","EPubDate":null,"PubModel":null,"JCR":null,"JCRName":null,"Score":null,"Total":0}