天真贝叶斯与信息增益和 smote 优化在聊天 GPT 应用程序用户情感分析中的应用

Haikal Hidayatullah, P. Purwantoro, Yuyun Umaidah
{"title":"天真贝叶斯与信息增益和 smote 优化在聊天 GPT 应用程序用户情感分析中的应用","authors":"Haikal Hidayatullah, P. Purwantoro, Yuyun Umaidah","doi":"10.36040/jati.v7i3.6887","DOIUrl":null,"url":null,"abstract":"ChatGPT yang dikembangkan oleh OpenAI yaitu aplikasi chatbot dengan rekor pertumbuhan tercepat ketika mencapai 100 juta pengguna aktif dua bulan setelah aplikasi ini diluncurkan. Keberhasilan aplikasi ini menyebabkan timbulnya berbagai macam komentar dari penggunanya di media sosial seperti Twitter. Komentar yang diberikan pengguna dapat dimanfaatkan oleh pengembang untuk meningkatkan kualitas aplikasi sesuai dengan kebutuhan pengguna karena komentar dapat berisi ulasan atau permasalahan ketika pengguna menggunakan aplikasi. Akan tetapi, mengolah informasi dari sejumlah besar komentar secara manual tidak memungkinkan dilakukan. Oleh karena itu, penelitian ini menerapkan analisis sentimen dengan pendekatan machine learning menggunakan algoritma Naïve Bayes dengan optimasi Information Gain dan SMOTE untuk mengolah informasi dari komentar-komentar pengguna. Data yang digunakan pada penelitian ini terdiri dari 721 komentar pengguna aplikasi ChatGPT yang dikumpulkan dari media sosial Twitter selama periode bulan Maret 2023 hingga April 2023. Hasil evaluasi menunjukkan bahwa model Opt2 menjadi model terbaik dengan nilai akurasi sebesar 87.20% dan nilai F1-score sebesar 84.74%. Selain itu, hasil evaluasi menunjukkan bahwa metode optimasi Information Gain dan SMOTE mampu meningkatkan nilai akurasi, recall dan F1-score dengan rata-rata peningkatan yang didapat sebesar 6.25% untuk nilai akurasi, 23.9% untuk nilai recall, dan 25.44% untuk nilai F1-score. Temuan penelitian ini menunjukkan bahwa meskipun aplikasi ChatGPT membantu pengguna dalam menyelesaikan tugas-tugas pengguna, pengembang perlu meningkatkan kualitas respons jawaban dari aplikasi dan menangani error yang terjadi saat pengguna menggunakan ChatGPT","PeriodicalId":329787,"journal":{"name":"JATI (Jurnal Mahasiswa Teknik Informatika)","volume":"29 1","pages":""},"PeriodicalIF":0.0000,"publicationDate":"2023-10-20","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":"{\"title\":\"PENERAPAN NAÏVE BAYES DENGAN OPTIMASI INFORMATION GAIN DAN SMOTE UNTUK ANALISIS SENTIMEN PENGGUNA APLIKASI CHATGPT\",\"authors\":\"Haikal Hidayatullah, P. Purwantoro, Yuyun Umaidah\",\"doi\":\"10.36040/jati.v7i3.6887\",\"DOIUrl\":null,\"url\":null,\"abstract\":\"ChatGPT yang dikembangkan oleh OpenAI yaitu aplikasi chatbot dengan rekor pertumbuhan tercepat ketika mencapai 100 juta pengguna aktif dua bulan setelah aplikasi ini diluncurkan. Keberhasilan aplikasi ini menyebabkan timbulnya berbagai macam komentar dari penggunanya di media sosial seperti Twitter. Komentar yang diberikan pengguna dapat dimanfaatkan oleh pengembang untuk meningkatkan kualitas aplikasi sesuai dengan kebutuhan pengguna karena komentar dapat berisi ulasan atau permasalahan ketika pengguna menggunakan aplikasi. Akan tetapi, mengolah informasi dari sejumlah besar komentar secara manual tidak memungkinkan dilakukan. Oleh karena itu, penelitian ini menerapkan analisis sentimen dengan pendekatan machine learning menggunakan algoritma Naïve Bayes dengan optimasi Information Gain dan SMOTE untuk mengolah informasi dari komentar-komentar pengguna. Data yang digunakan pada penelitian ini terdiri dari 721 komentar pengguna aplikasi ChatGPT yang dikumpulkan dari media sosial Twitter selama periode bulan Maret 2023 hingga April 2023. Hasil evaluasi menunjukkan bahwa model Opt2 menjadi model terbaik dengan nilai akurasi sebesar 87.20% dan nilai F1-score sebesar 84.74%. Selain itu, hasil evaluasi menunjukkan bahwa metode optimasi Information Gain dan SMOTE mampu meningkatkan nilai akurasi, recall dan F1-score dengan rata-rata peningkatan yang didapat sebesar 6.25% untuk nilai akurasi, 23.9% untuk nilai recall, dan 25.44% untuk nilai F1-score. Temuan penelitian ini menunjukkan bahwa meskipun aplikasi ChatGPT membantu pengguna dalam menyelesaikan tugas-tugas pengguna, pengembang perlu meningkatkan kualitas respons jawaban dari aplikasi dan menangani error yang terjadi saat pengguna menggunakan ChatGPT\",\"PeriodicalId\":329787,\"journal\":{\"name\":\"JATI (Jurnal Mahasiswa Teknik Informatika)\",\"volume\":\"29 1\",\"pages\":\"\"},\"PeriodicalIF\":0.0000,\"publicationDate\":\"2023-10-20\",\"publicationTypes\":\"Journal Article\",\"fieldsOfStudy\":null,\"isOpenAccess\":false,\"openAccessPdf\":\"\",\"citationCount\":\"0\",\"resultStr\":null,\"platform\":\"Semanticscholar\",\"paperid\":null,\"PeriodicalName\":\"JATI (Jurnal Mahasiswa Teknik Informatika)\",\"FirstCategoryId\":\"1085\",\"ListUrlMain\":\"https://doi.org/10.36040/jati.v7i3.6887\",\"RegionNum\":0,\"RegionCategory\":null,\"ArticlePicture\":[],\"TitleCN\":null,\"AbstractTextCN\":null,\"PMCID\":null,\"EPubDate\":\"\",\"PubModel\":\"\",\"JCR\":\"\",\"JCRName\":\"\",\"Score\":null,\"Total\":0}","platform":"Semanticscholar","paperid":null,"PeriodicalName":"JATI (Jurnal Mahasiswa Teknik Informatika)","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.36040/jati.v7i3.6887","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}
引用次数: 0

摘要

由 OpenAI 开发的 ChatGPT 是有记录以来增长最快的聊天机器人应用程序,在推出两个月后,其活跃用户就达到了 1 亿。这款应用的成功引发了用户在 Twitter 等社交媒体上的各种评论。开发人员可以利用用户提供的评论,根据用户需求改进应用程序的质量,因为评论可能包含用户使用应用程序时的评论或问题。然而,手动处理来自大量评论的信息是不可能的。因此,本研究利用带有信息增益和 SMOTE 优化的奈夫贝叶斯算法,采用机器学习方法进行情感分析,以处理用户评论信息。本研究使用的数据包括 2023 年 3 月至 2023 年 4 月期间从 Twitter 社交媒体收集的 721 条 ChatGPT 应用程序用户评论。评估结果表明,Opt2 模型是最佳模型,准确率为 87.20%,F1 分数为 84.74%。此外,评估结果表明,信息增益和 SMOTE 优化方法能够提高准确率、召回率和 F1 分数,准确率平均提高了 6.25%,召回率平均提高了 23.9%,F1 分数平均提高了 25.44%。本研究的结果表明,虽然 ChatGPT 应用程序可以帮助用户完成用户任务,但开发人员需要提高应用程序的回答质量,并处理用户使用 ChatGPT 时出现的错误。
本文章由计算机程序翻译,如有差异,请以英文原文为准。
PENERAPAN NAÏVE BAYES DENGAN OPTIMASI INFORMATION GAIN DAN SMOTE UNTUK ANALISIS SENTIMEN PENGGUNA APLIKASI CHATGPT
ChatGPT yang dikembangkan oleh OpenAI yaitu aplikasi chatbot dengan rekor pertumbuhan tercepat ketika mencapai 100 juta pengguna aktif dua bulan setelah aplikasi ini diluncurkan. Keberhasilan aplikasi ini menyebabkan timbulnya berbagai macam komentar dari penggunanya di media sosial seperti Twitter. Komentar yang diberikan pengguna dapat dimanfaatkan oleh pengembang untuk meningkatkan kualitas aplikasi sesuai dengan kebutuhan pengguna karena komentar dapat berisi ulasan atau permasalahan ketika pengguna menggunakan aplikasi. Akan tetapi, mengolah informasi dari sejumlah besar komentar secara manual tidak memungkinkan dilakukan. Oleh karena itu, penelitian ini menerapkan analisis sentimen dengan pendekatan machine learning menggunakan algoritma Naïve Bayes dengan optimasi Information Gain dan SMOTE untuk mengolah informasi dari komentar-komentar pengguna. Data yang digunakan pada penelitian ini terdiri dari 721 komentar pengguna aplikasi ChatGPT yang dikumpulkan dari media sosial Twitter selama periode bulan Maret 2023 hingga April 2023. Hasil evaluasi menunjukkan bahwa model Opt2 menjadi model terbaik dengan nilai akurasi sebesar 87.20% dan nilai F1-score sebesar 84.74%. Selain itu, hasil evaluasi menunjukkan bahwa metode optimasi Information Gain dan SMOTE mampu meningkatkan nilai akurasi, recall dan F1-score dengan rata-rata peningkatan yang didapat sebesar 6.25% untuk nilai akurasi, 23.9% untuk nilai recall, dan 25.44% untuk nilai F1-score. Temuan penelitian ini menunjukkan bahwa meskipun aplikasi ChatGPT membantu pengguna dalam menyelesaikan tugas-tugas pengguna, pengembang perlu meningkatkan kualitas respons jawaban dari aplikasi dan menangani error yang terjadi saat pengguna menggunakan ChatGPT
求助全文
通过发布文献求助,成功后即可免费获取论文全文。 去求助
来源期刊
自引率
0.00%
发文量
0
×
引用
GB/T 7714-2015
复制
MLA
复制
APA
复制
导出至
BibTeX EndNote RefMan NoteFirst NoteExpress
×
提示
您的信息不完整,为了账户安全,请先补充。
现在去补充
×
提示
您因"违规操作"
具体请查看互助需知
我知道了
×
提示
确定
请完成安全验证×
copy
已复制链接
快去分享给好友吧!
我知道了
右上角分享
点击右上角分享
0
联系我们:info@booksci.cn Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。 Copyright © 2023 布克学术 All rights reserved.
京ICP备2023020795号-1
ghs 京公网安备 11010802042870号
Book学术文献互助
Book学术文献互助群
群 号:481959085
Book学术官方微信