
beautifulsoup로 웹 스크래핑을 하다 비동기 요청을 하는 웹에서는 데이터가 받아지지 않음을 깨닫고 셀레니움을 사용해보았다. 하지만 셀레니움을 사용하며 맞닥드린 문제가 hidden으로 숨겨져 있고 LazyLoading이 걸려있는 페이지는 src의 경로를 반환하는 것이 아닌 base64로 엔코딩이 된 바이너리 타입이 반환되는것을 확인했다. 이를 해결하기 위해 온갖 사이트를 돌아다녀봤지만 마땅한 해답을 찾지 못하던 와중 innerHTML로 모든 HTML코드를 반환받아봤다. 뜻밖에도 src가 아닌 data-original-src로 경로가 설정되어있는 모습을 확인할 수 있었다. 그렇게 get_attribute('data-original-src') 로 반환을 받은 결과 야호 해결이다 최종 코드 from s..