CloudflareとDataDomeの検証を、既存スクレイピングに組み込む

検証処理:Cloudflare JS Challenge、Turnstile、対応する DataDome のスライダー・パズル認証、Imperva / Incapsula の検証フローを処理します。

プロキシ接続:住宅・データセンタープロキシの IP ローテーション、HTTP/SOCKS5、独自のプロキシに対応。地域、IP、セッションの整合性を保ちます。

リクエスト設定:TLS フィンガープリント、User-Agent、HTTP ヘッダーをセッションと対象サイトに合わせて設定できます。

開発者向け連携:cURL、Python、Go、Node.js、Java のリクエスト例を既存のデータ収集プログラムに組み込めます。

レスポンス処理: プロトコルレベルのリクエストで HTML または JSON を取得し、ステータスと内容を確認してから解析します。

Scrapingbypass web access and proxy workflow

主要製品と連携機能

検証処理、プロキシ接続、AI ツールとの連携。

JS Challenge、Turnstile、WAF のセッション検証を処理し、既存の収集・解析フローを維持します。

  • JavaScript 検証 · Turnstile
  • セッションとリクエスト設定を維持
製品を見る

対応するスライダー・パズル認証を処理し、セッションを維持して応答内容を確認します。

  • スライダー・パズル認証
  • 応答ステータスと内容を確認
製品を見る

AI 開発ツール、ターミナルのタスク、ワークフローから API を利用。ツールに合う連携方法を選べます。

  • 開発ツールCursor · VS Code · Cline
  • CLI エージェントClaude Code · Codex · OpenClaw
  • ワークフローn8n · Dify
連携方法を選ぶ
AI 開発ツール、ターミナル、ワークフローと API の連携図
  1. リクエスト設定

    対象・パラメーター・プロキシを設定

  2. 検証と接続

    検証を処理し、接続先を選択

  3. HTML / JSON を取得

    ステータスと内容を確認

  4. データを解析

    既存のパーサーでデータを抽出

HTTP API のコード例

Cloudflare JS Challenge と DataDome に対応する V2(s) Part モード。 コード例をすべて見る

request.sh
#!/usr/bin/env bash
set -euo pipefail
: "${CLOUDBYPASS_APIKEY:?Set CLOUDBYPASS_APIKEY first}"
: "${CLOUDBYPASS_PROXY:?Set CLOUDBYPASS_PROXY first}"
headers=$(mktemp)
body=$(mktemp)
trap 'rm -f "$headers" "$body"' EXIT

curl --fail-with-body --silent --show-error --max-time 130 \
  --dump-header "$headers" --output "$body" \
  "https://api.cloudbypass.com/your/path" \
  --header "x-cb-apikey: $CLOUDBYPASS_APIKEY" \
  --header "x-cb-host: example.com" \
  --header "x-cb-version: 2" \
  --header "x-cb-proxy: $CLOUDBYPASS_PROXY" \
  --header "x-cb-part: 0" \
  --header "x-cb-timeout: 120"

if ! grep -iq '^x-cb-status: *ok[[:space:]]*$' "$headers"; then
  cat "$body" >&2
  exit 1
fi
cat "$body"
API Key
CLOUDBYPASS_APIKEY
固定 IP またはセッション維持型プロキシ
CLOUDBYPASS_PROXY
対象サイト
example.com
実行環境
Bash + cURL 7.76+

V1 はローテーションプロキシを標準で使用します。V2(s) は固定 IP またはセッション維持型プロキシが必要です。V2s は x-cb-version: 2s でストリーミング応答に対応します。

Turnstile では x-cb-sitekey を指定し、対象のリクエストでトークンが必要な箇所に [cf_token] を設定します。

同じセッション区画ではプロキシを変更しないでください。並列処理ごとに異なる x-cb-part(0–999)を使用します。

API ドキュメント

Cloudbypass 導入フロー

1.アカウント登録

Cloudbypass API アカウント登録:新規登録

Cloudbypass Proxy アカウント登録:新規登録

アカウントは共通です。どちらか一方の登録で利用できます。登録後 30 日以内に管理画面へログインし、「 🎁 トライアル 」ボタンからクレジット/トラフィックのスターターパックを受け取ってください。

2.コードジェネレーター

コードジェネレーターで Cloudflare または DataDome のリクエストを設定・テストします。両者は同じ連携ロジックとコードを使用します。プロキシ IP、Cookie、セッションを統一してください。

V1:動的 IP プール内蔵。アクセスできる場合はプロキシ設定は不要。
V2(s):固定 IP または期限付き IP の設定が必要。Cloudbypass の動的 IP を使う場合は有効期限を 10 分以上に設定してください。(図参照)

技術的な確認は API ドキュメント、または サポート窓口 へ。

3.Cloudbypass API を組み込み

テスト済みのリクエストコードをアプリに組み込みます。Cloudflare と DataDome は同じ API 連携ロジックと呼び出し方法を使用します。応答の状態と内容を確認してから、解析、ページ送り、自動化を進めてください。

4.プラン購入

テストが完了したら、利用量に合わせてプランを選んでください。Cloudflare と DataDome は同じ API クレジットを共有し、共通の消費ルールと料金体系が適用されます。料金を見る

プロキシのトラフィックは:【動的 データセンター IP/動的 レジデンシャル IP】

Cloudflare と DataDome の検証処理は API クレジットを消費し、一部のフローではプロキシも必要です。クレジットとプロキシ通信量は別々に課金されます。プロキシ接続だけでは CAPTCHA 処理を代替できません。

Cloudbypass API Cloudflare challenge 対応フロー




Cloudflare bot verification 対応

Cloudflare・DataDome に対応するスクレイピング API

認証処理と業務データの解析を分離します。Cloudflare JS Challenge、Turnstile、対応する DataDome のスライダー・パズル認証を処理し、各フローを接続してからレスポンスのデータを解析します。

  • Cloudflare・DataDome の認証処理

    Cloudflare と DataDome は同じ API 連携ロジックとリクエストコードを使用します。

  • HTML / JSON レスポンスの確認

    ステータスと本文を確認し、ブロック画面や認証画面でないことを確かめてから解析します。HTML の取得と業務データの抽出は別の処理です。

  • リクエストヘッダー柔軟設定

    Referer や各種 Header を指定し、サイト側の検証条件に適合。

  • リクエストボディ制御

    JSON Payload やフォームデータなど、多様な送信形式に対応。

  • Query パラメータ対応

    検索・ページング・フィルタ用途の URL クエリを正確に処理。

  • HTTP / SOCKS5 プロキシ連携

    外部プロキシと併用し、匿名性や地域条件を考慮したアクセスを実現。

Cloudbypass API を利用開始

Python、Go、Node.js、Java、cURL で接続

標準 HTTP リクエストと共通の連携ロジック・コードで Cloudflare と DataDome を処理し、既存の収集フレームワークをそのまま利用できます。プロキシ IP、Cookie、セッションを統一し、応答の状態と内容を確認してください。

  • cURL コマンド実行

    ワンライナーで挙動確認可能。迅速な検証と導入に最適。

  • Python SDK(公式対応)

    requests / aiohttp に対応し、高並列なデータ抽出を支援。

  • Go SDK(高並列設計)

    型安全かつ高性能。大規模処理向け。

  • Node.js SDK

    バックエンドや自動化環境に適合した高速リクエスト処理。

  • Java API 連携

    エンタープライズ開発向け。マルチスレッド環境に対応。

  • TypeScript 対応

    型定義を備え、安定したモダンな開発フローを実現。

Cloudbypass API を利用開始


Cloudbypass API リクエストモード(HTTP API / Proxy)



CAPTCHA / bot verification 対応

Cloudflare・DataDome の指紋、IP、セッション管理

認証中は TLS フィンガープリント、User-Agent、ヘッダー、Cookie、プロキシ IP の整合性を保ちます。DataDome の認証ループや 403、429 を調べる際は、対象サイトの応答、通信経路、セッション設定を併せて確認します。

  • anti-bot 対策の継続更新

    最新の識別ロジックに合わせたプロトコルレベル処理。

  • Cloudflare 検証全般に対応

    JS Challenge から Turnstile CAPTCHA までカバー。

  • WAF / CDN 多層防御互換

    Imperva、Akamai など主要防御基盤に対応。

  • Headless モード

    レンダリングと効率を両立したプロトコル挙動。

  • Referer パラメータ制御

    トラフィック流入経路を再現。

  • User-Agent 設定

    PC / モバイル環境を切り替え可能。

Cloudbypass API を利用開始

各種プラットフォームから HTTP API に接続

Windows、macOS、Linux、クラウドのプログラムから、対応する Cloudflare・DataDome の処理を HTTP で呼び出せます。アクセス層で HTML や JSON を取得し、解析、再試行、タスク管理はアプリ側で行います。

  • Windows 環境対応

    ローカル検証から中規模タスクまで柔軟に運用可能。

  • macOS 開発 / 本番環境

    Apple Silicon を含む環境で快適に動作。

  • Linux サーバー最適化

    Docker やクラスタ構成に対応。

  • CentOS 対応

    オンプレミス環境での安定運用を支援。

  • iOS ネットワークリクエスト

    アプリ解析用途のプロトコル転送。

  • Android プロキシアクセス

    自動化ツールとの連携を想定。

Cloudbypass API を利用開始



プロトコルリクエストモード(高並列・省リソース)

Cloudflare・DataDome 対応のWeb収集フロー

検証処理とプロキシセッションを連携し、データ収集フローにつなぎます。

  1. 対象ページ
  2. 検証処理Cloudflare · DataDome
  3. コンテンツ取得
Cloudflare などの検証フローに対応し、安定した Web スクレイピングを要するサイト向け

ユースケース

Cloudflare・DataDome 認証があるサイトのデータ収集

許可された商品価格、在庫、チケット情報などの収集では、対応する DataDome 認証処理とプロキシ経路を組み合わせます。地域とセッションを揃えてからページ送りや解析を行います。

EC・小売データ取得

EC プラットフォーム/D2C サイトを対象に、商品追加の追跡、競合比較、価格・キャンペーン監視、レビュー傾向分析を継続。市場変化の把握と選定・価格判断の精度を向上。

マーケティング・広告データ取得

競合の広告クリエイティブ、LP 変更、キーワード動向を継続追跡。再利用可能な広告インサイトとクリエイティブ資産を蓄積し、運用改善と振り返りに活用。

SNS コンテンツデータ取得

投稿・反応データを対象に、トレンド追跡、話題分析、インフルエンサー抽出、ソーシャルリスニングを支援。拡散パターンの把握とコンテンツ運用の効率化。

動画・画像アセット取得

動画・画像のアーカイブ、タグ整理、人気度追跡を継続。検索可能なアセット基盤を整備し、制作サイクル短縮とアウトプットの一貫性を向上。

ニュース・小説コンテンツ取得

更新動向の追跡、話題の集約、章更新の同期に対応。構造化コンテンツを蓄積し、推薦学習、運用、分析の基盤として活用。

金融マーケットデータ取得(株式・FX・暗号資産)

株式・指数・FX・商品・暗号資産を対象に、リアルタイム/過去価格、K 線指標、ニュース・開示情報を統合。バックテスト、監視、定量分析に活用。

求人・人材データ取得

求人プラットフォーム/企業採用情報を対象に、採用需要、スキル傾向、報酬水準を可視化。採用計画や産業分析の意思決定を支援。

不動産・ローカルサービスデータ取得

物件情報・ローカルサービスを統合し、地域相場の監視、商圏評価、出店候補地の分析に活用。需給・価格動向の把握とローカル運用の改善を支援。

旅行・ビザ・チケットデータ取得

航空券・宿泊・ビザ規則を横断で集約し、価格・規則変更を継続追跡。変動が大きい環境でもデータ可用性を維持し、計画・分析に活用。

クーポン・プロモーションデータ取得

クーポン/特典/キャンペーン情報を対象に、トレンド追跡、効果検証、価格戦略の分析に活用。レコメンド精度と運用の再現性を向上。

物流・サプライチェーンデータ取得(海運・船便・コンテナ)

航路・スケジュール、港湾イベント、コンテナ動態、運賃サーチャージを横断で取得。トラッキングと異常検知により、リードタイムとコスト変動の把握を支援。

セキュリティ・リスクインテリジェンス取得

リスク IP/ドメイン、異常行動シグナル、レピュテーション情報を集約。評価とアラート連携により、不正利用リスクを低減し運用の安定性を確保。

Cloudbypass よくある質問

ご利用中の疑問は、こちらのFAQをご確認いただくか、サポートまでお問い合わせください。

クレジットの消費はどう計算されますか?

Cloudflare と DataDome は同じ API クレジット残高、消費ルール、料金体系を使用します。利用量に合わせてプランを選んでください。プロキシ通信量は別途課金されます。

V1 と V2(s) は、リクエストが成功するたびに API クレジットを 1 消費します。

V2(s) が検証に成功すると、追加で 2 クレジットを消費します。対象は対応する Cloudflare JS Challenge、Cloudflare Turnstile、DataDome、Incapsula の検証です。

リクエストが失敗した場合、基本の 1 クレジットは消費しません。ただし、検証成功時に消費した 2 クレジットは、その後の応答が失敗しても返還されません。

有効なセッションを再利用すると検証の繰り返しを減らせますが、成功したリクエストごとに 1 クレジットを消費します。セッション内の後続リクエストが無料になるわけではありません。

クレジットはプランの有効期限内にご利用ください。各プランの期限は個別に管理され、期限の近いクレジットから消費されます。

標準 HTTP リクエストと共通の連携ロジック・コードで Cloudflare と DataDome を処理し、既存の収集フレームワークをそのまま利用できます。プロキシ IP、Cookie、セッションを統一し、応答の状態と内容を確認してください。 対応可否は対象サイトと検証の種類によって異なります。事前に互換性をテストしてください。共通プランはすべての対象へのアクセスを保証するものではありません。

Cloudflare と DataDome は同じ API 連携ロジックとリクエストコードを使用します。

使い方はシンプルです。ターゲットサイト向けに送る HTTP リクエストをそのまま当社に渡し、x-cb-host へ転送します。
コードジェネレーターから、cURL/JavaScript/TypeScript/Java/Python などのサンプルを生成できます。
Cloudbypass API と Cloudbypass Proxy のコード例:こちら

V2(s) は JS ポーリング(JS レンダリング相当)に対応します。
現在、V2(s) にはデフォルトプロキシが付属しないため、Cloudbypass Proxy の購入が必要です。V1 は動的プロキシを同梱しています。

part は Cloudflare の Cookie 管理を分けるためのセッション区分です。検証通過後にセッションが有効化され、有効期間中(10 分)はプロキシ IP や指紋などを変更できません。セッション期間中に新しい検証が発生しにくくするためです。アカウントのログインセッションはお客様側で管理してください。
part は 0〜999 で指定でき、最大 1,000 個のセッション区分を持てます。初回成功後は part に紐づくプロキシ IP がロックされます。別のプロキシ IP を使う場合は part 値を変更してください。ロックは 10 分で、成功リクエストにより延長されます。

コードジェネレーターに対象 URL を入力してテストしてください。まず V1 で試し、通らない場合は V2(s) をお試しください。V2(s) は IP の設定が必要です。テスト用のプロキシトラフィックは管理画面で付与しています。Cloudbypass Proxy 管理画面から抽出し、IP の有効期限は 10 分以上で設定することを推奨します。

全プラン共通で、最大 30 リクエスト/秒です。

INSUFFICIENT_BALANCE は、Cloudbypass API のクレジット残高が不足している状態です。

管理画面から購入できます:https://console.cloudbypass.com/#/api/login。または サポートまでご連絡ください(テスト用クレジットのご案内)。

エラーメッセージ:
"code": "CHALLENGE_LOCK_OCCUPIED"
"message": "The current part is being challenged, please wait for the lock to be released."

原因:
CHALLENGE_LOCK_OCCUPIED は、次のようなケースで発生します:
同一 part を複数スレッドで同時に利用している。
複数ユーザーが同一アカウントで同じ part を操作している。
前回リクエストが検証ロックを占有したまま、タイムアウトや中断で完了していない。

対処:
ロック解除まで待ってから再試行してください。
part を変更してください(0〜999)。

対処:
1. IP 抽出時の有効期限を 10 分で設定してください。
2. 国/地域の異なる IP に切り替えてください(同一国/地域の IP のみを使い続けると制限されやすくなります)。

多くの場合、プロキシ IP の設定が必要です。API モード/プロキシモードのいずれかでご利用ください。現在、プロキシは HTTP プロトコルのみ対応しています。

現時点では Selenium / Puppeteer には対応していません(ブラウザ実行ではなく、ブラウザ相当の HTTP リクエストを送出する方式のため)。必要に応じて、指紋ブラウザとの併用をご検討ください。

対応する DataDome のスライダー・パズル CAPTCHA には、Cloudflare と同じ API 連携ロジックとリクエストコードを使用できます。クレジットと料金体系も共通です。プロキシ IP、Cookie、セッションを統一して内容を確認し、手順はDataDome 認証処理 APIをご覧ください。プロキシは通信経路を提供するもので、CAPTCHA 処理を代替しません。

月額プランはありますか?

月額プランはありません。トラフィックパック課金で、有効期限の制限はありません。必要な分だけ購入してご利用いただけます(期限なし)。

Alipay、USDT などに対応しています。

動的 IP プロキシの使用量は、アップロード + ダウンロードの合計です。

確認には、当社の http://ipinfo.cloudbypass.com をご利用ください。

動的レジデンシャル IP と動的データセンター IP(データセンタープロキシ)の 2 種類を提供しています。
Cloudbypass Proxy で必要なタイプをまとめて購入できます。

現在、HTTP と SOCKS5 に対応しています。

当社はトラフィックパック課金です。動的レジデンシャル IP/動的データセンター IP ともに、期限なしでご利用いただけます。登録後に無料トライアルを申請し、利用量を確認したうえでパックをご購入ください。

申し訳ありませんが、中国本土の IP 環境からは直接接続できません。
香港など海外のネットワーク環境(例:海外サーバー)をご用意のうえ、ご利用ください。

PC では全体 VPN などの併用、モバイルではルーター経由で海外回線に接続する構成をご検討ください。
なお、直接接続できない環境でのご購入については返金対象外となります。

Cloudbypass API 利用者の評価

Cloudbypass API ご利用者の声

トライアル
API クレジット 200
動的 IP トラフィック
今すぐ試す ›