Cloudflare 우회와 DataDome 캡차 처리를 기존 크롤러에 연결

인증 처리: Cloudflare JS Challenge, Turnstile, 지원되는 DataDome 슬라이더·퍼즐 캡차와 Imperva / Incapsula 인증 흐름을 처리합니다.

프록시 연결: IP를 순환하는 주거용·데이터센터 프록시, HTTP/SOCKS5 또는 자체 프록시를 사용하세요. 지역, IP, 세션을 일관되게 유지합니다.

요청 설정: TLS 지문, User-Agent, HTTP 헤더를 세션과 대상 사이트에 맞게 설정할 수 있습니다.

개발자 연동: cURL, Python, Go, Node.js, Java 요청 예제를 기존 데이터 수집 프로그램에 적용할 수 있습니다.

응답 처리: 프로토콜 수준의 요청으로 HTML 또는 JSON을 받은 뒤 상태와 내용을 확인하고 파서로 전달하세요.

Scrapingbypass web access and proxy workflow

핵심 제품과 연동 기능

인증 처리, 프록시 연결, AI 도구 연동.

AI 코딩 도구, 터미널 작업, 워크플로에서 API를 호출하세요. 도구에 맞는 연동 방식을 선택할 수 있습니다.

  • 코딩 도구Cursor · VS Code · Cline
  • CLI 에이전트Claude Code · Codex · OpenClaw
  • 워크플로n8n · Dify
연동 방식 선택
AI 코딩 도구, 터미널, 워크플로와 API의 연결 구성도
  1. 요청 설정

    대상·매개변수·프록시 설정

  2. 인증 및 연결

    인증을 처리하고 경로 선택

  3. HTML / JSON 받기

    응답 상태와 내용 확인

  4. 데이터 파싱

    기존 파서로 데이터 추출

HTTP API 코드 예제

Cloudflare JS Challenge와 DataDome 챌린지를 처리하는 V2(s) Part 모드. 전체 코드 예제 보기

request.sh
#!/usr/bin/env bash
set -euo pipefail
: "${CLOUDBYPASS_APIKEY:?Set CLOUDBYPASS_APIKEY first}"
: "${CLOUDBYPASS_PROXY:?Set CLOUDBYPASS_PROXY first}"
headers=$(mktemp)
body=$(mktemp)
trap 'rm -f "$headers" "$body"' EXIT

curl --fail-with-body --silent --show-error --max-time 130 \
  --dump-header "$headers" --output "$body" \
  "https://api.cloudbypass.com/your/path" \
  --header "x-cb-apikey: $CLOUDBYPASS_APIKEY" \
  --header "x-cb-host: example.com" \
  --header "x-cb-version: 2" \
  --header "x-cb-proxy: $CLOUDBYPASS_PROXY" \
  --header "x-cb-part: 0" \
  --header "x-cb-timeout: 120"

if ! grep -iq '^x-cb-status: *ok[[:space:]]*$' "$headers"; then
  cat "$body" >&2
  exit 1
fi
cat "$body"
API Key
CLOUDBYPASS_APIKEY
고정 IP 또는 세션 유지 프록시
CLOUDBYPASS_PROXY
대상 사이트
example.com
실행 환경
Bash + cURL 7.76+

V1은 기본 회전 프록시를 제공합니다. V2(s)에는 고정 IP 또는 세션 유지 프록시가 필요합니다. V2s는 x-cb-version: 2s로 스트리밍 응답을 지원합니다.

Turnstile은 x-cb-sitekey를 설정하고 대상 요청에서 토큰이 필요한 위치에 [cf_token]을 넣어야 합니다.

같은 세션 파티션에서는 프록시를 유지하세요. 동시 실행 작업마다 다른 x-cb-part(0–999)를 사용하세요.

API 문서




Cloudbypass 연동 프로세스

1.계정 생성

Cloudbypass API 계정 생성: 지금 가입

Cloudbypass Proxy 계정 생성: 지금 가입

계정은 통합 운영. 하나만 가입하면 됨. 가입 후 30일 내 콘솔 로그인 → “ 🎁 체험 이벤트 ”에서 포인트·트래픽 스타터 팩 수령.

2.코드 생성기

코드 생성기로 Cloudflare 또는 DataDome 요청을 설정하고 테스트하세요. 두 서비스는 동일한 연동 로직과 요청 코드를 사용합니다. 프록시 IP, 쿠키, 세션을 일관되게 유지하세요.

V1: 동적 IP 풀 내장. 접근 가능하면 프록시 설정 불필요.
V2(s): 고정 IP 또는 유효기간 IP 필요. Cloudbypass 동적 IP 사용 시 유효기간 10분 이상 권장. (예시 이미지)

기술 지원: API 문서 또는 지원 문의.

3.Cloudbypass API 연동

테스트한 요청 코드를 기존 앱에 통합하세요. Cloudflare와 DataDome은 동일한 API 연동 로직과 호출 방식을 사용합니다. 응답 상태와 내용을 확인한 뒤 파싱, 페이지 이동 또는 자동화를 진행하세요.

4.요금제 선택

테스트를 마친 후 사용량에 맞는 요금제를 선택하세요. Cloudflare와 DataDome은 같은 API 크레딧을 공유하며 동일한 차감 규칙과 요금 체계가 적용됩니다. 가격 보기

프록시 트래픽: 【동적 데이터센터 IP / 동적 주거용 IP】

Cloudflare와 DataDome 인증 처리는 API 크레딧을 사용하며 일부 흐름에는 프록시도 필요합니다. API 크레딧과 프록시 트래픽은 별도로 과금됩니다. 프록시 연결은 CAPTCHA 처리를 대신하지 않습니다.

Cloudbypass API Cloudflare JS Challenge 처리




Cloudflare bot verification 대응

Cloudflare와 DataDome을 위한 웹 스크래핑 API

인증 처리와 업무 데이터 분석을 분리하세요. Cloudflare JS Challenge, Turnstile과 지원되는 DataDome 슬라이더·퍼즐 캡차를 처리하고 해당 흐름을 연결한 뒤 응답에서 필요한 데이터를 추출합니다.

  • Cloudflare·DataDome 인증 처리

    Cloudflare와 DataDome은 동일한 API 연동 로직과 요청 코드를 사용합니다.

  • HTML / JSON 응답 확인

    상태와 내용을 확인해 차단 페이지나 캡차 페이지가 아닌지 확인한 뒤 파서에 전달하세요. HTML을 가져오는 것과 업무 데이터를 추출하는 것은 다른 작업입니다.

  • 요청 헤더 유연한 설정

    Referer 및 커스텀 Header 설정으로 대상 사이트 보안 정책에 최적화.

  • 요청 Body 파라미터 설정

    다양한 요청 방식 지원, JSON Payload 및 폼 데이터 유연한 전달.

  • Query 파라미터 처리

    검색·페이지네이션·필터링 등 URL Query 기반 수집 시나리오 대응.

  • HTTP/SOCKS5 프록시 연동

    외부 프록시 호환, 동적 IP 풀 연계로 익명성 및 지역 기반 접근 지원.

Cloudbypass API 시작하기

Python, Go, Node.js, Java 또는 cURL로 연동

표준 HTTP 요청과 공통 연동 로직 및 요청 코드로 Cloudflare와 DataDome을 처리하며 기존 수집 프레임워크를 유지할 수 있습니다. 프록시 IP, 쿠키, 세션을 일관되게 유지하고 응답 상태와 내용을 확인하세요.

  • cURL CLI 호출

    원라인 명령으로 접근 테스트 가능, 빠른 초기 검증.

  • Python SDK

    requests·aiohttp 호환, 비동기 고동시성 Web 스크래핑에 적합.

  • Go SDK

    Go 동시성 모델 기반, 대규모 트래픽 처리에 최적화.

  • Node.js SDK

    백엔드 서비스 및 자동화 환경에서 고속 요청 처리.

  • Java API 연동

    엔터프라이즈 환경에 적합한 멀티스레드 안정성 제공.

  • TypeScript 지원

    정적 타입 정의로 안정적인 데이터 수집 워크플로 구성.

Cloudbypass API 시작하기


Cloudbypass API 요청 방식: HTTP API 및 Proxy 모드



Cloudflare CAPTCHA 대응

Cloudflare·DataDome의 지문, IP와 세션 관리

인증 중에는 TLS 지문, User-Agent, 헤더, 쿠키와 프록시 IP를 일관되게 유지하세요. DataDome 캡차 반복이나 403·429 응답을 조사할 때는 대상 사이트 응답, 연결 경로와 세션 설정을 함께 확인하세요.

  • anti-bot 메커니즘 대응

    최신 봇 탐지 로직에 대한 프로토콜 레벨 처리 지속 업데이트.

  • Cloudflare 검증 전 시나리오 지원

    JS Challenge부터 고강도 Turnstile CAPTCHA까지 포괄.

  • WAF / CDN 다계층 호환

    Imperva, Akamai 등 주요 보호 플랫폼과 연동.

  • Referer 파라미터 설정

    트래픽 유입 경로 시뮬레이션으로 엄격한 검증 정책 대응.

  • User-Agent 제어

    데스크톱·모바일 UA 전환 지원, 이상 탐지 리스크 감소.

  • Headless 모드 지원

    프로토콜 레벨 headless 동작 처리로 성능과 접근성 균형 유지.

Cloudbypass API 시작하기

여러 플랫폼에서 HTTP API 연결

Windows, macOS, Linux 또는 클라우드 프로그램에서 지원되는 Cloudflare·DataDome 인증 흐름을 HTTP 요청으로 호출합니다. 접근 계층은 HTML이나 JSON을 가져오고 앱은 분석, 재시도와 작업 예약을 담당합니다.

  • Windows 환경 지원

    로컬 개발·디버깅 및 소규모 수집 작업에 적합.

  • macOS 개발·운영

    Apple Silicon 포함 전 플랫폼 호환, 개발 생산성 향상.

  • Linux 서버 환경

    Docker 컨테이너 및 수평 확장 최적화.

  • CentOS 엔터프라이즈

    전통 IDC 환경에서 장시간 안정적 운영.

  • iOS 네트워크 요청

    모바일 App 분석 및 데이터 접근 지원.

  • Android 프록시 연동

    자동화 도구 기반 요청 전송 안정화.

Cloudbypass API 시작하기



프로토콜 요청 방식: 고동시성·저자원

Cloudflare 및 DataDome 웹 수집 워크플로

인증 처리와 프록시 세션을 연결해 데이터 수집 워크플로에 통합하세요.

  1. 대상 페이지
  2. 인증 처리Cloudflare · DataDome
  3. 콘텐츠 반환
Cloudflare 등 인증 메커니즘 대응이 필요하고 안정적인 Web 스크래핑을 유지해야 하는 모든 사이트에 적합

적용 시나리오

Cloudflare·DataDome 인증이 있는 사이트의 데이터 수집

허용된 상품 가격, 재고나 티켓 정보 수집에는 지원되는 DataDome 캡차 처리와 적절한 프록시를 조합할 수 있습니다. 지역과 세션을 일관되게 유지한 뒤 페이지 이동과 분석을 진행하세요.

이커머스 리테일 데이터 수집

이커머스 플랫폼과 독립몰을 포괄. 상품 업데이트 추적, 경쟁사 비교, 가격·프로모션 모니터링, 리뷰·트렌드 분석 지원. 운영팀의 시장 변화 파악과 상품·가격 의사결정 효율 개선.

마케팅·광고 데이터 수집

퍼포먼스·그로스 팀 대상. 경쟁사 광고 소재, 랜딩 페이지 변화, 키워드 트렌드 지속 추적. 재사용 가능한 인사이트와 크리에이티브 자산 축적, 집행 최적화와 전략 검증 지원.

소셜 미디어 콘텐츠 데이터 수집

콘텐츠 피드와 인터랙션 데이터 수집. 트렌드·이슈 추적, 인플루언서 선별, 여론 모니터링 지원. 확산 패턴 분석으로 콘텐츠 운영 효율 향상.

영상·이미지 에셋 데이터 수집

영상·이미지 콘텐츠 아카이빙, 태깅, 인기도 추적 지원. 검색 가능한 에셋 저장소 구축으로 제작 사이클 단축 및 결과물 일관성 확보.

콘텐츠 정보 데이터 수집(뉴스·소설)

콘텐츠 플랫폼 업데이트 집계. 이슈 추적, 주제별 정리, 챕터 동기화 지원. 추천 학습, 콘텐츠 운영, 리서치를 위한 구조화 자산 구축.

금융 시장 데이터 수집(주식·외환·암호자산)

주식, 지수, 외환, 원자재, 암호자산 시세 수집. 실시간·과거 가격, 차트 지표, 뉴스 연계로 백테스트·모니터링·퀀트 전략 지원.

채용·인재 데이터 수집

채용 플랫폼과 기업 공고 데이터 수집. 수요, 기술 트렌드, 보상 변화 분석으로 채용 전략과 인력 구조, 산업 리서치 지원.

부동산·로컬 서비스 데이터 수집

매물·로컬 서비스 정보 통합. 지역 시세 모니터링, 상권 분석, 입지 평가 지원으로 수요·가격 변동 파악과 전환 효율 개선.

여행·비자·티켓 데이터 수집

항공·숙박·티켓·비자 규정 통합 및 변화 추적. 가격·정책 변동 환경에서도 데이터 가용성 유지로 기획·의사결정 지원.

쿠폰·프로모션 데이터 수집

쿠폰·혜택 정보 수집. 프로모션 트렌드 추적, 효과 분석, 가격 전략 최적화로 추천·캠페인 성과 개선.

물류·공급망 데이터 수집(해운·항로·컨테이너)

해운 노선, 선박 일정, 항만, 컨테이너 동향, 운임 정보 수집. 추적·이상 감지로 리드타임과 비용 변동 예측성 향상.

보안·리스크 인텔리전스 데이터 수집

사기 방지·보안 운영을 위한 리스크 IP·도메인, 이상 징후, 평판 데이터 집계. 정책 평가와 경보 연계로 오남용 리스크 감소 및 시스템 안정성 확보.

Cloudbypass 제품 FAQ

사용 중 자주 묻는 질문과 답변. 추가 문의는 고객 지원으로 연결

플랜 포인트는 어떻게 차감되나요?

Cloudflare와 DataDome은 하나의 API 크레딧 잔액과 동일한 차감 규칙 및 요금 체계를 공유합니다. 사용량에 맞는 요금제를 선택하세요. 프록시 트래픽은 별도로 과금됩니다.

V1과 V2(s)는 요청이 성공할 때마다 API 크레딧 1개를 차감합니다.

V2(s)가 인증 처리에 성공하면 크레딧 2개를 추가로 차감합니다. 지원되는 Cloudflare JS Challenge, Cloudflare Turnstile, DataDome 및 Incapsula 인증에 적용됩니다.

요청이 실패하면 기본 요청 크레딧은 차감하지 않습니다. 단, 인증 성공 시 차감된 크레딧 2개는 이후 응답이 실패해도 환불되지 않습니다.

유효한 세션을 재사용하면 인증 반복을 줄일 수 있지만, 성공한 요청마다 크레딧 1개는 계속 차감됩니다. 같은 세션의 후속 요청이 무료인 것은 아닙니다.

크레딧은 요금제 유효 기간 안에 사용하세요. 각 패키지의 만료일은 별도로 관리되며, 먼저 만료되는 크레딧부터 차감합니다.

표준 HTTP 요청과 공통 연동 로직 및 요청 코드로 Cloudflare와 DataDome을 처리하며 기존 수집 프레임워크를 유지할 수 있습니다. 프록시 IP, 쿠키, 세션을 일관되게 유지하고 응답 상태와 내용을 확인하세요. 지원 여부는 대상 사이트와 인증 종류에 따라 다릅니다. 먼저 호환성을 테스트하세요. 공통 요금제가 모든 대상에 대한 접근을 보장하지는 않습니다.

Cloudflare와 DataDome은 동일한 API 연동 로직과 요청 코드를 사용합니다.

대상 사이트로 보낼 HTTP 요청 본문을 그대로 전달하면, API가 x-cb-host로 1:1 포워딩합니다.
코드 생성기로 cURL, JavaScript, TypeScript, Java, Python 등 요청 코드를 바로 생성할 수 있습니다.
Cloudbypass API 및 Cloudbypass Proxy 예제: 바로 보기

V2(s)는 JS 폴링 처리(= JS 렌더링 가능) 포함.
V2(s)는 기본 프록시가 없으며 Cloudbypass Proxy 구매가 필요합니다. V1은 동적 프록시가 포함됩니다.

Cloudflare Cookie(세션)를 파티션 단위로 분리 관리합니다. verification 이후 세션이 활성화되며, 활성화 후에는 프록시 IP/지문 설정이 10분간 고정됩니다(세션 기간 중 신규 challenge 발생 최소화 목적). 계정 로그인 세션은 별도 관리가 필요합니다.
part 범위는 0~999로, 최대 1000개 파티션 사용 가능. 첫 성공 요청 후 해당 part는 프록시 IP가 잠기며, 다른 프록시를 쓰려면 part 값을 변경하면 됩니다. 잠금 시간은 10분이며, 성공 요청 시 타이머가 갱신됩니다.

코드 생성기에 대상 URL을 넣고 먼저 V1로 테스트합니다.
V1로 실패하면 V2(s)로 테스트합니다. V2(s)는 별도 IP 구성이 필요하며, 콘솔에서 테스트용 프록시 트래픽이 제공됩니다. Cloudbypass Proxy 콘솔에서 IP를 추출하고, IP 유효시간은 10분 이상 설정을 권장합니다.

현재 모든 플랜의 최대 동시 요청은 30 req/s 입니다.

포인트 잔액 부족(INSUFFICIENT_BALANCE) 상태입니다.

Cloudbypass API 콘솔에서 구매: https://console.cloudbypass.com/#/api/login 또는 고객 지원을 통해 테스트 포인트를 요청할 수 있습니다.

에러 메시지:
"code": "CHALLENGE_LOCK_OCCUPIED"
"message": "The current part is being challenged, please wait for the lock to be released."

원인:
동일한 part가 여러 스레드에서 동시에 사용됨
여러 사용자가 동일 계정으로 동일 part를 동시에 사용함
이전 요청이 verification lock을 점유한 상태(타임아웃/수동 중단 등으로 미완료)

해결:
lock 해제 후 다시 요청
part 변경(범위 0~999)

해결:
1. IP 추출 시 유효시간을 10분으로 설정
2. 국가/지역 IP 변경(여러 국가 IP를 로테이션 권장. 단일 국가만 사용하면 제한될 수 있음)

대부분 프록시 IP 설정이 필요합니다. API 모드 또는 프록시 모드 중 하나로 사용하세요. 현재 프록시 모드는 HTTP 프로토콜만 지원합니다.

현재 Selenium/Puppeteer는 미지원입니다. 브라우저 실행이 아닌 브라우저 요청 시뮬레이션 방식입니다. 필요 시 browser fingerprinting 도구와 함께 사용할 수 있습니다.

지원되는 DataDome 슬라이더 및 퍼즐 CAPTCHA에는 Cloudflare와 동일한 API 연동 로직과 요청 코드를 사용할 수 있습니다. API 크레딧과 요금 체계도 공통입니다. 프록시 IP, 쿠키, 세션을 유지하고 응답 내용을 검증하세요. 자세한 내용은 DataDome 캡차 처리 API를 확인하세요. 프록시는 연결 경로만 제공하며 CAPTCHA 처리를 대신하지 않습니다.

월 정액 플랜이 있나요?

월 정액은 제공하지 않습니다. 트래픽 패키지 과금이며 기간 제한 없이 사용 가능합니다. 필요한 만큼 구매해 사용하세요. 트래픽은 만료되지 않습니다.

Alipay, USDT 등 결제를 지원합니다.

동적 IP 프록시 트래픽 사용량 = 업로드 + 다운로드 데이터

아래 서비스로 확인하세요: http://ipinfo.cloudbypass.com

동적 주거용 프록시와 동적 데이터센터 프록시 2종 제공.
필요한 프록시 유형을 한 곳에서 구매할 수 있습니다.

현재 HTTP 및 SOCKS5 프록시 프로토콜을 지원합니다.

기본 과금은 트래픽 패키지 방식입니다. 동적 주거용/데이터센터 IP 모두 트래픽 패키지로 제공되며 만료가 없습니다. 가입 후 무료 체험으로 성능을 확인한 뒤 구매할 패키지를 결정할 수 있습니다.

중국 대륙 IP 환경에서는 프록시 서비스에 직접 연결할 수 없습니다.
홍콩 등 해외 서버/네트워크 환경에서 사용하세요.

PC는 글로벌 VPN 가속기 사용 가능
모바일은 라우터 기반 해외 네트워크 환경 구성 권장
해외 네트워크 구성이 어려우면 구매를 중단해 주세요. 중국 대륙 직결 환경에 대해서는 환불이 제공되지 않습니다.

Cloudbypass API 사용자 리뷰

Cloudbypass API 사용자 후기

체험 이벤트
+ API 크레딧 200
+ 동적 IP 프록시 트래픽
지금 받기 ›