데이터 크롤링1 크롤링(Crawling) 다양한 정보 자원을 자동화된 방법으로 수집해서 분류 및 저장하는 것. 크롤링(crawling)은 웹 크롤링(web crawling) 또는 데이터 크롤링(data crawling)으로도 불린다. 웹의 다양한 정보를 자동으로 검색하고 데이터로 추출하기 위해 사용한다. 크롤링을 수행하는 소프트웨어(SW)인 크롤러(crawler)는 웹페이지를 돌아다니며 어떤 데이터가 어디에 있는지 색인(index)을 만들어서 데이터베이스(DB)에 저장한다. HTML 페이지에서 관련 하이퍼링크(hyperlink)를 찾아 데이터를 분류하고 저장하는 작업을 반복한다. 파이선(Python)을 크롤링 분야에 주로 사용하고 있다. 크롤링 기술이 악용돼 정보를 무단 복제하게 되면 지식재산권 침해 문제가 발생할 수 있다. 크롤링으로 취득한 .. 2023. 9. 20. 이전 1 다음 반응형
