프록시 서버를 추가하는 법

[초간단 따라하기]

  1. 프록시 서버가 왜 필요한가?
  2. 프록시 설정 추가
  3. 재추출(Refresh) 실행

1. 프록시 서버가 왜 필요한가?

아래는 미국에 있는 영업점들을 보여주는 페이지입니다.

문제는 이 페이지가 AWS, Azure, Google Cloud 와 같은 호스팅 서비스로부터 들어오는 요청을 허용하지 않는데 있습니다. 데이터 추출이 실패하면, Listly는 추출 상태를 FAIL 로 설정하고 실패 당시의 화면을 캡쳐합니다.

아래는 실패 당시 캡쳐된 화면입니다. “Access Denied” (접근 거부).

그리고 캡쳐 화면의 HTML 소스도 확인할 수 있습니다.

2. 프록시 설정 추가

원하는 데이터의 설정(Setting) 아이콘을 클릭합니다.

  • 프록시 서버 정보를 얻는 방법
    구글에서 “무료 프록시 서버” 또는 “Free proxy server” 을 검색하면 쉽게 찾을 수 있습니다. 본 예제에서도 똑같은 방식으로 무료 프록시 서버 정보를 얻었고, 수많은 IP 목록 중에 하나를 선택했습니다. 일반적으로 무료 프록시 서버는 상태가 불안정한 (연결이 자주 끊기는) 경우가 많으므로 추출이 성공하기 위해서는 몇 번의 실패와 재시도가 필요합니다.

3. 재추출(Refresh) 실행

원하는 데이터의 재실행(Refresh) 아이콘을 클릭합니다. 성공적으로 추출이 완료되었습니다!