말랑말랑제리스타일

파이썬에서 크롤링에 대표적으로 사용되는 패키지인 Beautiful Soup과 셀레니움의 용도별 차이를 확인하고 Beuriful Soup만으로 크롤링이 가능한 페이지와 셀레니움이 필요한 페이지 예시를 봅시다. 파이썬 Beutiful Soup의 한계와 셀레니움의 필요성 파이썬에서 가장 사용하기 쉬운 크롤링 패키지가 바로 beautiful Soup일 텐데요. 파이썬 beautiful Soup에는 명확한 한계가 존재합니다. 사실 예전에도 Beutiful Soup의 한계에 대해 설명한 적이 있는데요. 간단히 설명하면 웹페이지의 자바스크립트로 생성된 파트는 크롤링이 불가능하다는 거죠. 쉽게 말하면 스크롤을 내려야 나오는 부분이나, 화면이 움직이는 부분, 계속해서 내용이 바뀌는 댓글 창 등은 Beutiful Soup..

파이썬 BeautifulSoup으로 크롤링에 입문하는 분들이 굉장히 많죠. 하지만 파이썬 BeutifulSoup으로 크롤링을 하기에는 궁극적인 한계가 있습니다; 바로 Javascript로 생성된 부분을 크롤링할 수 없다는 거죠. 파이썬 BeautifulSoup으로 가져올 수 있는 데이터와 없는 데이터 앞서 말한 것처럼 파이썬 BeautifulSoup으로는 JavaScript로 생성된 파트는 크롤링이 불가능합니다. 예를 들면 어떤 내용이 있을까요? 다음 영화의 평점을 예로 한번 들어보겠습니다. https://movie.daum.net/moviedb/grade?movieId=136532 스파이더맨: 어크로스 더 유니버스 Daum영화에서 자세한 내용을 확인하세요! movie.daum.net 이 링크를 파이썬에..