크롤링(crawling)이란?
검색 결과를 긁어오는 것
검색엔진에서도 사용함
검색엔진에서 크롤링을 담당하는 AI가 크롤러임
각 검색엔진의 크롤러
네이버 크롤러
https://help.naver.com/service/5626/contents/15214?lang=ko
구글 크롤러
https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers?hl=ko
크롤링 신청 방법