Part of Speech Tagging Pada Teks Bahasa Indonesia dengan BiLSTM + CNN + CRF dan ELMo

Abstract

Part of Speech Tagging atau POS Tag merupakan salah satu proses untuk mengelompokkan kata berdasarkan kelas kata seperti: kata benda, kata kerja, atau kata sambung. Kegunaan POS Tag antara lain dapat bermanfaat pada analisis sentimen, pengenalan entitas bernama, dan konversi teks ke suara. Dalam melakukan POS Tag, jika dilakukan secara manual dapat menghabiskan banyak waktu, oleh karena itu dibuatlah sistem berbasis machine learning untuk mengotomatisasi proses ini.  Pada penelitian ini, dilakukan POS Tag dengan menerapkan transfer learning dengan model Embedding from Language Model (ELMo). Model ELMo cukup populer digunakan pada dataset bahasa Inggris karena dapat memberi hasil akurasi yang memuaskan namun pada dataset bahasa Indonesia belum ada paper yang membahas tentang model ini. Melalui penelitian ini ingin dilihat bagaimana performa ELMo pada dataset bahasa Indonesia. Model yang digunakan untuk menyelesaikan masalah POS Tag adalah model berbasis BiLSTM. Pada penelitian ini, juga ingin dilihat bagaimana performa model jika ditambahkan CNN setelah BiLSTM. Selain itu, juga diteliti bagaimana performa dari tiap lapisan ELMo. Dari penelitian ini diperoleh bahwa metode BiLSTM + CNN + CRF dengan embedding ELMo lapisan pertama memiliki akurasi terbaik, dengan nilai 95.62%. Selain itu, diperoleh bahwa penambahan CNN setelah BiLSTM dapat meningkatkan akurasi serta mengurangi overfitting pada masalah POS Tag bahasa Indonesia.