Web Scraping Situs Berita Menggunakan Bahasa Pemograman Python

Journal of Students‘ Research in Computer Science Pub Date : 2022-05-30 DOI:10.31599/jsrcs.v3i1.1514

Muhammad Ramadan Fikri, Rahmadya Trias Handayanto, Dadan Irwan

{"title":"Web Scraping Situs Berita Menggunakan Bahasa Pemograman Python","authors":"Muhammad Ramadan Fikri, Rahmadya Trias Handayanto, Dadan Irwan","doi":"10.31599/jsrcs.v3i1.1514","DOIUrl":null,"url":null,"abstract":"Currently, the rapid development of technology provides innovation, one of which is the technique of obtaining information from portal websites, termed web scrapers. This application provides data needs in the form of information where the process of retrieving information from sites will later be taken to observe behavior and perceptions to get the right market segmentation. Most data collection is currently still done manually, as a result, this method has several system limitations, namely the length of the data collection process so that it slows down the performance of market segment analysis. The risk is not getting the right market segmentation. To solve this problem, a web scraping news site is needed. In this study, web scraping news sites were created using the python programming language and the flask library to display web scraping. In addition, the Selenium library is used to simplify application creation, facilitate interaction with the Web and provide facilities to control a web browser. This program can retrieve data based on keywords, where the results are in the form of the title, posting date, summary, then collect the data that has been taken into a csv file extension automatically. \n Keywords: Internet, News, Python, Scraping, Website \n \nAbstrak \nSaat ini, perkembangan pesat teknologi memberikan inovasi, salah satunya adalah teknik memperoleh informasi dari situs web portal, yaitu web scraper. Aplikasi ini menyediakan kebutuhan data berupa informasi dimana proses pengambilan informasi dari situs-situs nantinya diambil untuk diamati perilaku dan persepsi untuk mendapatkan segmentasi pasar yang tepat. Kebanyakan pengambilan data saat ini masih dilakukan secara manual, akibatnya cara ini memiliki beberapa keterbatasan system yaitu lamanya proses pengumpulkan data sehingga memperlambat kinerja analisa segmen pasar. Resikonya adalah tidak mendapatkannya segementasi pasar yang tepat. Untuk mengatasi masalah tersebut diperlukan web scraping situs berita. Pada penelitian ini, web scraping situs berita dibuat dengan menggunakan bahasa pemrograman python dan library flask untuk tampilan web scraping. Selain itu, library Selenium digunakan untuk mempermudah pembuatan aplikasi, mempermudah interaksi dengan Web dan menyediakan fasilitas untuk mengontrol suatu peramban web. Program ini dapat mengambil data berdasarkan kata kunci, dimana hasilnya berupa judul, tanggal postingnya, rangkuman, lalu mengumpulkan data yang telah di ambil ke file berekstensi csv secara otomatis. \nKata kunci: Berita, Internet, Python, Scraping, Website","PeriodicalId":132318,"journal":{"name":"Journal of Students‘ Research in Computer Science","volume":"49 1","pages":"0"},"PeriodicalIF":0.0000,"publicationDate":"2022-05-30","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"2","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Journal of Students‘ Research in Computer Science","FirstCategoryId":"1085","ListUrlMain":"https://doi.org/10.31599/jsrcs.v3i1.1514","RegionNum":0,"RegionCategory":null,"ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"","JCRName":"","Score":null,"Total":0}

引用次数: 2

Abstract

Currently, the rapid development of technology provides innovation, one of which is the technique of obtaining information from portal websites, termed web scrapers. This application provides data needs in the form of information where the process of retrieving information from sites will later be taken to observe behavior and perceptions to get the right market segmentation. Most data collection is currently still done manually, as a result, this method has several system limitations, namely the length of the data collection process so that it slows down the performance of market segment analysis. The risk is not getting the right market segmentation. To solve this problem, a web scraping news site is needed. In this study, web scraping news sites were created using the python programming language and the flask library to display web scraping. In addition, the Selenium library is used to simplify application creation, facilitate interaction with the Web and provide facilities to control a web browser. This program can retrieve data based on keywords, where the results are in the form of the title, posting date, summary, then collect the data that has been taken into a csv file extension automatically. Keywords: Internet, News, Python, Scraping, Website Abstrak Saat ini, perkembangan pesat teknologi memberikan inovasi, salah satunya adalah teknik memperoleh informasi dari situs web portal, yaitu web scraper. Aplikasi ini menyediakan kebutuhan data berupa informasi dimana proses pengambilan informasi dari situs-situs nantinya diambil untuk diamati perilaku dan persepsi untuk mendapatkan segmentasi pasar yang tepat. Kebanyakan pengambilan data saat ini masih dilakukan secara manual, akibatnya cara ini memiliki beberapa keterbatasan system yaitu lamanya proses pengumpulkan data sehingga memperlambat kinerja analisa segmen pasar. Resikonya adalah tidak mendapatkannya segementasi pasar yang tepat. Untuk mengatasi masalah tersebut diperlukan web scraping situs berita. Pada penelitian ini, web scraping situs berita dibuat dengan menggunakan bahasa pemrograman python dan library flask untuk tampilan web scraping. Selain itu, library Selenium digunakan untuk mempermudah pembuatan aplikasi, mempermudah interaksi dengan Web dan menyediakan fasilitas untuk mengontrol suatu peramban web. Program ini dapat mengambil data berdasarkan kata kunci, dimana hasilnya berupa judul, tanggal postingnya, rangkuman, lalu mengumpulkan data yang telah di ambil ke file berekstensi csv secara otomatis. Kata kunci: Berita, Internet, Python, Scraping, Website

查看原文本刊更多论文

使用 Python 编程语言对新闻网站进行网络抓取

当前，技术的飞速发展带来了创新，其中之一就是从门户网站获取信息的技术，即网页抓取技术。此应用程序以信息的形式提供数据需求，从站点检索信息的过程将在稍后用于观察行为和感知，以获得正确的市场细分。目前大多数数据收集仍然是手工完成的，因此，这种方法有几个系统局限性，即数据收集过程的长度，从而减慢了市场细分分析的性能。风险在于没有得到正确的市场细分。为了解决这个问题，需要一个网页抓取新闻网站。在本研究中，使用python编程语言和flask库创建web抓取新闻网站来显示web抓取。此外，Selenium库还用于简化应用程序的创建，促进与Web的交互，并提供控制Web浏览器的工具。这个程序可以检索基于关键字的数据，其中的结果是在标题，发布日期，摘要的形式，然后收集数据，已采取的csv文件扩展名自动。关键词:互联网，新闻，Python，抓取，网站摘要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要，网站概要applikasi ini menyediakan kebutuhan data berupa informasi dimana processing pengambilan informasi dari situs-situs nantinya diambil untuk diamati peraku persepi untuk mendapatkan segmentasi pasar yang tepat。Kebanyakan pengambilan data saat ini masih dilakukan secara manual, akibatnya cara ini memoriliki beberapa keterbatasan系统yitu lamanya处理pengumpulkan数据seinga memperlambat kinerja analyisa segmen pasar。Resikonya adalah tidak mendapatkannya segementasi pasar yang tepat。Untuk mengatasi masalah tersebut diperlukan网站抓取sitberita。网页抓取sitberita dibudengan menggunakan bahasa pemprogramming python dan library flask untuk tampilan网页抓取。Selain itu, library硒库、硒库、硒库、硒库、硒库、硒库、硒库、硒库。程序ini整理孟山都数据，如:dasarkan kata kunci, dimana hasilya berupa judul, tanggal postingnya, rangkuman, lalu孟山都数据，yang telah, di山都数据，如:filekekstensi, csv secara otomatis。Kata kunci: Berita，互联网，Python，抓取，网站

本文章由计算机程序翻译，如有差异，请以英文原文为准。

求助全文

约1分钟内获得全文求助全文

来源期刊

Journal of Students‘ Research in Computer Science

自引率

0.00%

发文量