크롤링

1. 크롤링(Crawling) 이란,웹 크롤러(Web Craler) 또는 스크레이퍼(scraper)라고 불리는 프로그램이나 스크립트를 사용하여 인터넷상의 웹페이지에서 데이터를 자동으로 수집하는 과정을 말합니다.주로, 검색 엔진이 웹사이트를 탐색하고 색인(Index)에 추가하기 위해 사용하는 기술이며, 특정 주제나 데이터를 수집해 분석하는 데에도 활용됩니다.크롤링은 HTML, CSS, JAVASCRIPT로 구성된 웹페이지 구조를 파싱(Parsing)하여 원하는 정보를 추출하고, 이를 활용 가능한 데이터 형식으로 저장합니다. 크롤링 시에는 웹사이트의 이용약관과 로봇 배제 표준(Robots.txt)을 준수하여 법적, 윤리적 문제를 방지해야 합니다.예) https://www.melon.com/robots.txt..

2024.12.06