Analisis Komparatif Pengukuran Kemiripan Artikel Ilmiah menggunakan Jaccard dan Levenshtein serta Blocking

JuTISI (Jurnal Teknik Informatika dan Sistem Informasi) Pub Date : 2023-08-11 DOI:10.28932/jutisi.v9i2.6414

Muhammad Rizqi Nur, Gandhi Surya Buana, Nur Aini Rakhmawati

{"title":"Analisis Komparatif Pengukuran Kemiripan Artikel Ilmiah menggunakan Jaccard dan Levenshtein serta Blocking","authors":"Muhammad Rizqi Nur, Gandhi Surya Buana, Nur Aini Rakhmawati","doi":"10.28932/jutisi.v9i2.6414","DOIUrl":null,"url":null,"abstract":"Mesin pencarian artikel telah memudahkan akademisi melakukan studi literatur. Namun, mudah bukan berarti akurat. Untuk topik niche tertentu, hasil pencarian sering kali belum sesuai. Snowballing dapat dilakukan untuk mengatasi ini, tapi terbatas pada artikel awal yang dimiliki, khususnya akses penulis ketika artikel dibuat. Sebagai alternatif, database artikel menyediakan rekomendasi artikel relevan dari sebuah artikel, tapi terbatas pada database itu saja. Sebuah alat untuk mencari artikel mirip tanpa tergantung database tertentu akan sangat membantu, tapi sebelum itu, metode pengukuran kemiripan artikel yang tepat perlu dicari. Penelitian ini bertujuan melakukan pengukuran kemiripan artikel berdasarkan judul, penulis, dan keyword menggunakan Weighted Jaccard Measure dan Levenshtein distance dan mengevaluasinya. Penelitian ini juga membandingkan kinerja dengan ditambahkannya blocking dengan overlap blocking dan penghilangan stop words. Hasil pengukuran dengan Jaccard cukup buruk, tapi hasil pengukuran dengan Levenshtein + Jaccard cukup baik. Selain itu, ditemukan bahwa menitikberatkan pembobotan pada judul menghasilkan hasil terbaik. Overlap blocking dan penghilangan stop words justru meningkatkan waktu pemrosesan secara signifikan. Overlap blocking bisa mengurangi jumlah pengukuran hingga hampir setengahnya dengan jumlah overlap=1, tapi jumlah overlap di atas 1 akan membuang banyak pasangan yang seharusnya mirip. Penghilangan stop words meningkatkan kinerja Jaccard dan Levenshtein tapi perlu penyesuaian threshold.","PeriodicalId":485106,"journal":{"name":"JuTISI (Jurnal Teknik Informatika dan Sistem Informasi)","volume":"86 1","pages":"0"},"PeriodicalIF":0.0000,"publicationDate":"2023-08-11","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"JuTISI (Jurnal Teknik Informatika dan Sistem Informasi)","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.28932/jutisi.v9i2.6414","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}

引用次数: 0

Abstract

Mesin pencarian artikel telah memudahkan akademisi melakukan studi literatur. Namun, mudah bukan berarti akurat. Untuk topik niche tertentu, hasil pencarian sering kali belum sesuai. Snowballing dapat dilakukan untuk mengatasi ini, tapi terbatas pada artikel awal yang dimiliki, khususnya akses penulis ketika artikel dibuat. Sebagai alternatif, database artikel menyediakan rekomendasi artikel relevan dari sebuah artikel, tapi terbatas pada database itu saja. Sebuah alat untuk mencari artikel mirip tanpa tergantung database tertentu akan sangat membantu, tapi sebelum itu, metode pengukuran kemiripan artikel yang tepat perlu dicari. Penelitian ini bertujuan melakukan pengukuran kemiripan artikel berdasarkan judul, penulis, dan keyword menggunakan Weighted Jaccard Measure dan Levenshtein distance dan mengevaluasinya. Penelitian ini juga membandingkan kinerja dengan ditambahkannya blocking dengan overlap blocking dan penghilangan stop words. Hasil pengukuran dengan Jaccard cukup buruk, tapi hasil pengukuran dengan Levenshtein + Jaccard cukup baik. Selain itu, ditemukan bahwa menitikberatkan pembobotan pada judul menghasilkan hasil terbaik. Overlap blocking dan penghilangan stop words justru meningkatkan waktu pemrosesan secara signifikan. Overlap blocking bisa mengurangi jumlah pengukuran hingga hampir setengahnya dengan jumlah overlap=1, tapi jumlah overlap di atas 1 akan membuang banyak pasangan yang seharusnya mirip. Penghilangan stop words meningkatkan kinerja Jaccard dan Levenshtein tapi perlu penyesuaian threshold.

查看原文本刊更多论文

用Jaccard、Levenshtein和Blocking对科学文章相似性的比较分析

博文搜索引擎使学者更容易进行文献研究。然而，容易并不意味着准确。对于一个特定的利基主题，搜索结果往往是不合适的。雪球可以解决这个问题，但仅限于早期的文章，尤其是作者在撰写文章时的接触。相反，文章数据库从一篇文章中提供相关文章推荐，但仅限于该数据库。在不依赖于特定数据库的情况下查找类似文章的工具是很有帮助的，但在此之前，需要找到正确匹配文章的方法。本研究的目的是用固定的雅克德测量和远方的Levenshtein来测量文章的相似性。本研究还比较了它的性能加上阻滞剂和阻滞剂和停止文字遗漏。Jaccard的测量效果很差，但是Levenshtein + Jaccard的测量效果也很好。此外，研究发现，在标题上强调闯入会产生最好的结果。阻隔和消除言语只会显著增加处理时间。覆盖覆盖可以将测量数字减少到几乎一半以上的覆盖数=1，但超过1的覆盖数将丢弃许多应该匹配的对。停止词语消除提高了Jaccard和Levenshtein的性能，但需要调整threshold。

本文章由计算机程序翻译，如有差异，请以英文原文为准。

求助全文

约1分钟内获得全文求助全文

来源期刊

JuTISI (Jurnal Teknik Informatika dan Sistem Informasi)

自引率

0.00%

发文量