말랑말랑제리스타일

파이썬에서 크롤링에 대표적으로 사용되는 패키지인 Beautiful Soup과 셀레니움의 용도별 차이를 확인하고 Beuriful Soup만으로 크롤링이 가능한 페이지와 셀레니움이 필요한 페이지 예시를 봅시다. 파이썬 Beutiful Soup의 한계와 셀레니움의 필요성 파이썬에서 가장 사용하기 쉬운 크롤링 패키지가 바로 beautiful Soup일 텐데요. 파이썬 beautiful Soup에는 명확한 한계가 존재합니다. 사실 예전에도 Beutiful Soup의 한계에 대해 설명한 적이 있는데요. 간단히 설명하면 웹페이지의 자바스크립트로 생성된 파트는 크롤링이 불가능하다는 거죠. 쉽게 말하면 스크롤을 내려야 나오는 부분이나, 화면이 움직이는 부분, 계속해서 내용이 바뀌는 댓글 창 등은 Beutiful Soup..

파이썬 BeautifulSoup으로 크롤링에 입문하는 분들이 굉장히 많죠. 하지만 파이썬 BeutifulSoup으로 크롤링을 하기에는 궁극적인 한계가 있습니다; 바로 Javascript로 생성된 부분을 크롤링할 수 없다는 거죠. 파이썬 BeautifulSoup으로 가져올 수 있는 데이터와 없는 데이터 앞서 말한 것처럼 파이썬 BeautifulSoup으로는 JavaScript로 생성된 파트는 크롤링이 불가능합니다. 예를 들면 어떤 내용이 있을까요? 다음 영화의 평점을 예로 한번 들어보겠습니다. https://movie.daum.net/moviedb/grade?movieId=136532 스파이더맨: 어크로스 더 유니버스 Daum영화에서 자세한 내용을 확인하세요! movie.daum.net 이 링크를 파이썬에..

일단 폴더 명처럼 제가 직접 만든 초간단 구글 이미지 크롤링 프로그램입니다 일단 이 구글 이미지 크롤링 프로그램의 사용 대상은 개발과 관련없는 일반유저이기에 exe 실행파일로 만들었습니다 아래 링크로 들어가서 맨위에있는 이미지크롤링프로그램 다운로드를 눌러 다운로드가 가능합니다 https://marvelheroface.netlify.app/downloads 마블히어로 마블히어로닮은꼴 marvelheroface.netlify.app 주의하실점은 크롬이 설치되어있어야합니다 크롬 드라이버를 사용하기 때문에 크롬이 깔려있어야 이 구글 이미지 크롤링 프로그램 사용이 가능하며 가능하면 크롬 최신버전 사용을 권장합니다 참고로개발환경은 크롬 96.0 버전입니다 프로그램을 다운받으면 압축파일이있는데 그안에 exe 파일이 ..