API для парсинга сайтов с проверками Cloudflare и DataDome

Обработка проверок: Cloudflare JS Challenge, Turnstile, поддерживаемые CAPTCHA DataDome со слайдером и пазлом, а также проверки Imperva / Incapsula.

Маршрутизация через прокси: Резидентские и серверные прокси с ротацией IP, HTTP/SOCKS5 и подключение собственного провайдера. Сохраняйте IP и параметры сессии при обработке проверки.

Настройка запросов: TLS-отпечатки, User-Agent и HTTP-заголовки можно настроить под сессию и требования целевого сайта.

Интеграция: Примеры запросов на cURL, Python, Go, Node.js и Java для подключения к существующему сборщику данных.

Обработка ответа: Получайте HTML или JSON с помощью запросов на уровне протокола и проверяйте статус и содержимое ответа перед передачей данных парсеру.

Scrapingbypass web access and proxy рабочий процесс

Продукты и интеграции

Обработка проверок, прокси и интеграция ИИ-инструментов.

Решайте поддерживаемые капчи со слайдером и пазлом, сохраняйте сессию и проверяйте содержимое ответа.

  • Капча со слайдером и пазлом
  • Проверка статуса и содержимого ответа
Подробнее о продукте
  1. Настройте запрос

    Укажите сайт, параметры и прокси

  2. Проверки и маршрут

    Обработайте проверку и выберите маршрут

  3. Получите HTML / JSON

    Проверьте статус и содержимое

  4. Извлеките данные

    Используйте существующий парсер

Примеры HTTP API

Режим Part в V2(s) для JS Challenge Cloudflare и проверок DataDome. Все примеры кода

request.sh
#!/usr/bin/env bash
set -euo pipefail
: "${CLOUDBYPASS_APIKEY:?Set CLOUDBYPASS_APIKEY first}"
: "${CLOUDBYPASS_PROXY:?Set CLOUDBYPASS_PROXY first}"
headers=$(mktemp)
body=$(mktemp)
trap 'rm -f "$headers" "$body"' EXIT

curl --fail-with-body --silent --show-error --max-time 130 \
  --dump-header "$headers" --output "$body" \
  "https://api.cloudbypass.com/your/path" \
  --header "x-cb-apikey: $CLOUDBYPASS_APIKEY" \
  --header "x-cb-host: example.com" \
  --header "x-cb-version: 2" \
  --header "x-cb-proxy: $CLOUDBYPASS_PROXY" \
  --header "x-cb-part: 0" \
  --header "x-cb-timeout: 120"

if ! grep -iq '^x-cb-status: *ok[[:space:]]*$' "$headers"; then
  cat "$body" >&2
  exit 1
fi
cat "$body"
API Key
CLOUDBYPASS_APIKEY
Прокси с постоянным IP или sticky-сессией
CLOUDBYPASS_PROXY
Целевой сайт
example.com
Среда выполнения
Bash + cURL 7.76+

V1 включает ротационные прокси. Для V2(s) нужен постоянный IP или sticky-сессия. V2s использует x-cb-version: 2s для потоковых ответов.

Для Turnstile укажите x-cb-sitekey и вставьте [cf_token] в то место запроса, где ожидается токен.

Не меняйте прокси в пределах одной сессии. Используйте отдельный x-cb-part (0–999) для каждого параллельного обработчика.

Документация API




Подключение Cloudbypass API

1.Регистрация

Единый аккаунт для Cloudbypass API и прокси-сети Cloudbypass — зарегистрируйтесь один раз: Зарегистрироваться

Если открываете прокси-сеть отдельно: Зарегистрироваться

В течение 30 дней зайдите в кабинет и нажмите « 🎁 Пробный набор », чтобы получить кредиты и трафик.

2.Генератор кода

Настройте и проверьте запросы Cloudflare или DataDome через Генератор кода. Для обоих используется одна логика интеграции и код запросов. Сохраняйте IP прокси, cookies и сессию.

V1 использует встроенные резидентные прокси со сменой IP — отдельный proxy IP не нужен.
V2(s) требует резидентные прокси с постоянным IP или IP с заданным сроком. Для смена IP-адреса в Cloudbypass задайте TTL от 10 минут (см. пример).

Нужна помощь? Откройте документацию API или напишите в поддержку.

3.Интеграция Cloudbypass API

Подключите проверенный код запросов к приложению. Cloudflare и DataDome используют общую логику интеграции API и вызовов. Проверьте статус и содержимое ответа перед разбором данных, переходом по страницам или автоматизацией.

4.Выбор тарифа

После тестирования выберите тариф с учётом объёма использования. Cloudflare и DataDome используют общий баланс API-кредитов, единые правила списания и цены. Цены

Для трафика прокси-сети: 【Ротационные датацентровые прокси или резидентные прокси со сменой IP】

Обработка проверок Cloudflare и DataDome расходует API-кредиты; некоторым сценариям также нужен прокси. API-кредиты и трафик прокси оплачиваются отдельно. Прокси не заменяет обработку CAPTCHA.

Cloudbypass API: корректно пройти Cloudflare JS Challenge




Корректная обработка проверки Cloudflare для автоматизированного доступа

API для веб-скрейпинга с Cloudflare и DataDome

Отделите проверку доступа от разбора данных. Scrapingbypass обрабатывает Cloudflare JS Challenge, Turnstile и поддерживаемые капчи DataDome со слайдером или пазлом. Подключайте нужный сценарий, затем извлекайте данные из полученного ответа.

  • Проверки Cloudflare и DataDome

    Cloudflare и DataDome используют одну логику интеграции API и один подход к коду запросов.

  • Проверка ответов HTML / JSON

    Проверяйте статус и содержимое на наличие блокировки или капчи до передачи парсеру. Получение HTML не означает автоматическое извлечение структурированных данных.

  • Гибкие заголовки запросов

    Настройка Referer и заголовков для соответствия требованиям безопасности сайта.

  • Пользовательские HTTP/SOCKS5

    Подключение внешних прокси с ротационными резидентными прокси для геоэмуляции.

  • Параметры запроса URL

    Точная работа с параметрами для поиска, пагинации и фильтрации.

  • Параметры тела запроса

    Передача бизнес-данных, JSON и форм с поддержкой разных режимов.

Получить Cloudbypass API

Интеграция с Python, Go, Node.js, Java или cURL

Используйте стандартные HTTP-запросы, общую логику интеграции и код для Cloudflare и DataDome, сохраняя существующий фреймворк сбора данных. Сохраняйте IP прокси, cookies и сессию и проверяйте статус и содержимое ответа.

  • Вызовы через cURL

    Быстрое тестирование одной командой без дополнительной настройки.

  • Python SDK

    Совместим с requests и aiohttp, поддерживает асинхронность и высокую параллельность.

  • Go SDK

    Оптимизирован для высокой пропускной способности и типобезопасных интеграций.

  • Node.js SDK

    Подходит для серверных сервисов и сценариев автоматизированного доступа.

  • Поддержка TypeScript

    Полные типы повышают надежность и упрощают веб-скрейпинг.

  • Интеграция Java

    Многопоточная работа и стабильный доступ для сложных бизнес-процессов.

Получить Cloudbypass API


Режимы запросов Cloudbypass API через HTTP и прокси



Обработка графической CAPTCHA Cloudflare

Согласованность отпечатков, IP и сессий Cloudflare и DataDome

Сохраняйте согласованность TLS-отпечатка, User-Agent, заголовков, cookie и IP прокси в процессе проверки. При повторной капче DataDome, ответах 403 или 429 проверяйте одновременно ответ сайта, маршрут и параметры сессии.

  • Совместимость с anti-bot

    Постоянное обновление стратегий обработки новых механизмов защиты.

  • Все сценарии Cloudflare

    От JS-проверок до Turnstile CAPTCHA с повышенной успешностью.

  • Поддержка WAF и CDN

    Совместимость с Imperva, Akamai и другими системами защиты.

  • Настройка Referer

    Эмуляция источников трафика для строгих правил проверки.

  • User-Agent по выбору

    Переключение между ПК и мобильными устройствами для снижения аномалий.

  • Headless-режим

    Протокольная эмуляция headless с балансом скорости и рендеринга.

Получить Cloudbypass API

HTTP API для разных платформ

Подключайте поддерживаемые сценарии Cloudflare и DataDome по HTTP из Windows, macOS, Linux или облачного приложения. Слой доступа получает HTML или JSON, а приложение отвечает за разбор, повторные запросы и планирование задач.

  • Поддержка Windows

    Удобная разработка, локальная отладка и быстрый запуск задач.

  • macOS среды

    Совместимость с Apple Silicon для эффективной разработки.

  • CentOS

    Долгосрочная стабильность для корпоративных инфраструктур.

  • Linux серверы

    Оптимизация под Linux, контейнеры Docker и горизонтальное масштабирование.

  • iOS запросы

    Протокольная передача для анализа приложений и данных.

  • Android доступ

    Совместимость с API Android и автоматизированными инструментами.

Получить Cloudbypass API



Протокольный режим запросов с высокой параллельностью

Веб-доступ для задач с Cloudflare и DataDome

Объедините обработку проверок и прокси-сессии в процессе сбора данных.

  1. Целевая страница
  2. Обработка проверокCloudflare · DataDome
  3. Возврат содержимого
Для сайтов с Cloudflare challenge и стабильным веб-скрейпингом на ротационные резидентные прокси

Сценарии применения

Сбор данных с проверками Cloudflare и DataDome

Для разрешённого сбора цен, остатков и информации о билетах сочетайте поддерживаемое решение капчи DataDome с подходящим прокси. Сохраняйте регион и сессию перед пагинацией и разбором данных.

Веб-скрейпинг розницы и e-commerce на ротационные резидентные прокси

Охват маркетплейсов и сайтов брендов. Отслеживание карточек, конкурентов, цен и акций, анализ отзывов и трендов для быстрых решений.

Веб-скрейпинг маркетинга и рекламы для бизнеса на ротационные резидентные прокси

Для команд закупки трафика и роста: мониторинг креативов, изменений лендингов и трендов ключевых слов, поддержка оптимизации кампаний.

Веб-скрейпинг контента соцсетей и метрик вовлеченности на ротационные резидентные прокси

Сбор ленты и метрик взаимодействий see: тренды, темы, отбор авторов и мониторинг упоминаний для повышения эффективности контента.

Веб-скрейпинг видео и изображений для библиотеки материалов на ротационные резидентные прокси

Архивирование, теги и отслеживание популярности. Создайте поисковую библиотеку материалов, сократите цикл производства и повысите единообразие выдачи.

Веб-скрейпинг новостей и серийного контента на ротационные резидентные прокси

Агрегация обновлений, отслеживание событий, тематические подборки и синхронизация глав. Структурированные данные для рекомендаций, операций и аналитики.

Веб-скрейпинг рыночных данных: акции, форекс, криптоактивы на ротационные резидентные прокси

Акции, индексы, форекс, сырьё и криптоактивы: цены в реальном времени и история, свечи и индикаторы, новости и объявления для исследований и стратегий.

Веб-скрейпинг вакансий и данных о талантах для бизнеса на ротационные резидентные прокси

Данные площадок и компаний: спрос на навыки, тренды и зарплаты. Поддержка найма, планирования штата и отраслевых исследований.

Веб-скрейпинг недвижимости и локальных сервисов на ротационные резидентные прокси

Интеграция объявлений и локальных услуг. Мониторинг рынка, оценка районов и анализ локаций для лучшей конверсии и контроля спроса.

Веб-скрейпинг поездок: визы и билеты на ротационные резидентные прокси

Единая сводка и динамическое отслеживание цен и правил. Данные остаются доступными при частых изменениях для планирования и аналитики.

Веб-скрейпинг купонов и промоакций на ротационные резидентные прокси

Сбор купонов и условий акций. Отслеживание трендов, оценка эффективности и анализ цены после купона для точных рекомендаций и роста конверсии.

Веб-скрейпинг логистики и цепочки поставок на ротационные резидентные прокси

Маршруты, расписания судов, порты, контейнеры и надбавки к тарифам. Мониторинг и оповещения помогают прогнозировать сроки и колебания затрат.

Веб-скрейпинг данных по рискам и безопасности на ротационные резидентные прокси

Для антифрода и SecOps: сбор риск-IP и доменов, сигналов аномалий и репутации. Оценка стратегий и алерты снижают злоупотребления и риски.

Частые вопросы по продуктам Cloudbypass

Ответы по использованию — смотрите здесь или свяжитесь с поддержкой

Как рассчитывается расход баллов в тарифе?

Cloudflare и DataDome используют общий баланс API-кредитов, единые правила списания и цены. Выберите тариф по объёму использования; трафик прокси оплачивается отдельно.

V1 и V2(s) списывают 1 API-кредит за каждый успешный запрос.

Если V2(s) успешно проходит проверку, дополнительно списываются 2 кредита. Это относится к поддерживаемым проверкам Cloudflare JS Challenge, Cloudflare Turnstile, DataDome и Incapsula.

При неуспешном запросе базовый кредит не списывается. Однако 2 кредита за проверку списываются сразу после её успешного завершения и не возвращаются, если последующий ответ завершился ошибкой.

Повторное использование действующей сессии сокращает число проверок, но каждый успешный запрос по-прежнему стоит 1 кредит. Последующие запросы в сессии не бесплатны.

Используйте кредиты до окончания срока тарифа. У каждого пакета свой срок действия; сначала расходуются кредиты с ближайшей датой истечения.

Используйте стандартные HTTP-запросы, общую логику интеграции и код для Cloudflare и DataDome, сохраняя существующий фреймворк сбора данных. Сохраняйте IP прокси, cookies и сессию и проверяйте статус и содержимое ответа. Поддержка зависит от сайта и типа проверки. Сначала проверьте совместимость: общий тариф не гарантирует доступ к любому сайту.

Cloudflare и DataDome используют одну логику интеграции API и один подход к коду запросов.

Передайте нам тело HTTP-запроса к целевому сайту — мы перенаправим его на x-cb-host.
Используйте генератор кода для cURL, JavaScript, TypeScript, Java, Python и других вариантов HTTP-запросов.
Примеры для Cloudbypass API и прокси-сети: открыть

V2(s) поддерживает JS-опрос (рендеринг JS);
в V2(s) нет прокси по умолчанию — нужно отдельно купить прокси-сеть Cloudbypass, а V1 включает ротационные прокси.

Раздел сессии отделяет управление cookie Cloudflare: после verification flow сессия активируется. Затем прокси-IP и отпечаток фиксируются на 10 минут, чтобы не провоцировать новую проверку; учетные сессии вы управляете сами.
Диапазон part: 0–999 (до 1000 разделов). После первого успеха раздел фиксирует прокси; смените part, чтобы отправить другой прокси. Каждый успешный запрос продлевает 10 минут.

Проверьте адрес запроса в генераторе кода — сначала тестируйте V1;
если V1 не проходит, тестируйте V2(s). В V2(s) вы настраиваете IP сами; мы добавили тестовый трафик. Откройте панель прокси-сети Cloudbypass и извлеките IP, рекомендуем срок от 10 минут.

Во всех тарифах максимум — 30 запросов/с.

INSUFFICIENT_BALANCE означает, что закончились баллы Cloudbypass API.

Купите баллы в панели Cloudbypass API: https://console.cloudbypass.com/#/api/login или напишите в поддержку, чтобы получить тестовые баллы.

Сообщение:
"code": "CHALLENGE_LOCK_OCCUPIED"
"message": "The current part is being challenged, please wait for the lock to be released."

Пояснение:
CHALLENGE_LOCK_OCCUPIED обычно означает одно из следующего:
один и тот же part используется несколькими потоками одновременно;
несколько пользователей работают с одним аккаунтом и тем же part;
предыдущий запрос занял «замок» проверки и не завершился из-за таймаута или остановки.

Решение:
дождитесь освобождения «замка» и повторите запрос;
смените part (диапазон 0–999).

Решение:
1. При извлечении IP задайте срок от 10 минут.
2. Смените страну/регион IP. Используйте ротацию разных стран — один регион чаще попадает под ограничения.

Чаще всего нужно настроить прокси-сеть. Выберите один режим: Cloudbypass API или прокси-сеть. Сейчас поддерживаются прокси только по HTTP-протоколу.

Пока нет: браузер не используется, выполняется имитация запросов. При необходимости можно сочетать с антидетект-браузером.

Для поддерживаемых CAPTCHA DataDome со слайдером или пазлом можно использовать логику интеграции API и код запросов Cloudflare. API-кредиты и цены общие. Сохраняйте IP прокси, cookies и сессию и проверяйте содержимое ответа; инструкции приведены в API для решения капчи DataDome. Прокси обеспечивает маршрут, но не заменяет обработку CAPTCHA.

Есть ли оплата помесячно?

Помесячных тарифов нет: оплата по трафик-пакетам, без срока действия. Покупайте нужный объем — трафик не сгорает.

Доступны Alipay и USDT.

Для ротационных прокси: трафик = загрузка + скачивание данных.

Проверяйте гео через наш сервис: http://ipinfo.cloudbypass.com.

Прокси-сеть Cloudbypass включает два типа: ротационные резидентные прокси и датацентровые прокси.
Вы можете купить нужный формат в одном месте.

Поддерживаются HTTP и SOCKS5.

Модель оплаты — трафик-пакеты. Для ротационных резидентных прокси и датацентровых прокси срок не ограничен. После регистрации можно запросить бесплатный тест, чтобы выбрать объем.

К сожалению, прямое подключение из материкового Китая недоступно.
Используйте зарубежную среду (например, сервер в Гонконге) и работайте из нее.

На ПК можно использовать глобальный ускоритель VPN;
на телефоне — роутер/soft-router, чтобы подключаться по Wi-Fi через зарубежный канал;
если вы не можете развернуть зарубежную среду, не покупайте — возврат для прямого подключения из Китая не предусмотрен.

Отзывы пользователей о сервисе Cloudbypass API и прокси-сети

Отзывы пользователей о нашем сервисе

Пробная акция
+ 200 API-кредитов
+ Прокси-трафик
Получить сейчас ›