쿠키 동의 팝업메시지가 나타나는데 추출할 수 있나요?
웹데이터를 추출하려고 할 때 특정 웹사이트들은 쿠키 수집에 동의하는지 묻는 팝업창을 띄우는 경우가 있습니다. 이 경우에도 리스틀리로 웹데이터 수집은 가능합니다.
쿠키 수집을 묻는 팝업창은 무시하고, 일반적인 그룹 추출 기능을 이용해서 웹데이터를 수집하면 되거든요.
위의 사례처럼 쿠키 설정에 동의를 묻는 팝업창이 나타난다고 해도 걱정하실 것 없습니다. 자동클릭을 설정해서, 해당 쿠키 팝업메시지를 끄지 않으셔도 되고요.
일반적으로 팝업레이어들은 (쿠키, 프로모션 등) 자동클릭을 통해 따로 리스틀리가 버튼을 눌러주지 않아도, 뒤편에 정보가 전부 로딩되어 잘 나타납니다.
리스틀리가 HTML 을 불러와서 수집해주는 방식이기 때문인데요. "팝업 버튼" 을 누르지 않아도 이미 정보가 HTML source 에 나타나니까 추출이 가능한 원리입니다.
그러나 뉴욕타임즈처럼, 강제로 팝업메시지가 나타나면서 뒤편의 정보를 공개하지 않는 웹사이트라면 추출이 어렵습니다.
본문 일부만 보여주고 [Continue Reading] , 로그인, 혹은 결제를 진행해야 나머지 정보를 보여주는 경우를 뜻하는데요.
이 경우에는 팝업메시지를 무시하고 그룹추출을 하려고 해도 실패하게 됩니다. 해당 웹사이트에서 정보를 의도적으로 나타내지 않고 있기 때문이죠.
그렇기 때문에 먼저 팝업 레이어를 사라지도록 해결하신 뒤 추출 시도를 하시는 것을 권해드립니다.