Парсинг защищенных сайтов

cloudflareпарсинг 28 май 2025 08:06 2413

---

Статья устарела. Отдельной опции «парсинг защищённых сайтов» на Q-Parser больше нет: все сайты парсятся по обычному тарифу, а защиту вроде Cloudflare мы обходим бесплатно, когда это получается. Текст ниже оставлен как история — описанные в нём цены и правила не действуют.

Q-Parser научился обходить многие сайты с защитой от ботов. Рассказываем что как.

В чем проблема?

Примерно 90% всех сайтов "просто работают". Их можно парсить, ими можно пользоваться, никаких проблем. Но иногда сайты устанавливают систему защиты от вредоносных ботов, которая блокирует все подряд, включая Q-Parser.

Самый простой и дешевый вариант для владельца сайта - закрыть сайт за Cloudflare. Это блокирует практически все лишнее и ничего не стоит, но создает множество проблем для парсинга.

Ранее Q-Parser частично обходил такую защиту, но все же очень многие сайты мы были вынуждены отклонять или удалять с сервиса из-за невозможности нормальной работы с ними (мы не считаем нормальным парсинг по 1 товару в минуту, например).

Парсинг защищенных сайтов

Теперь мы научили Q-Parser обходить Cloudflare и многие другие системы защиты от ботов. К сожалению, парсить десятки миллионов товаров с таких сайтов (как мы делаем сейчас) за стоимость тарифа - невозможно.

Мы вводим отдельную категорию сайтов на Q-Parser: Защищенные сайты

Такой сайт отмечен в каталоге, на всех страницах и при парсинге вы увидите уведомление, что его парсинг оплачивается дополнительно.

Сколько стоит

Парсинг таких сайтов оплачивается помимо тарифа за каждый запрос к сайту: 0.20 ₽ (не действует: отдельной платной опции больше нет, все сайты парсятся по тарифу)

В парсинге видно счетчик платных запросов в реальном времени. Деньги списываются напрямую с баланса в личном кабинете.

Как правило, работает соотношение 1 запрос = 1 товар, но в редких случаях может быть большее число запросов на товар.

В остальном такие парсинги ничем не отличаются от остальных. Доступны выгрузки во все поддерживаемые форматы, AI-генерации и даже парсинг по расписанию.

Пробный парсинг

Поскольку оплата идет именно за запрос к сайту, мы не можем гарантировать 100% корректность парсинга. Сайты могут меняться и следить за этим вам нужно самостоятельно.

Можно запустить пробный парсинг, он абсолютно бесплатен даже для защищенных сайтов, и таким образом убедиться, что товары парсятся, а если нет - обратиться в поддержку и мы все поправим.

В пробном парсинге будет видно число платных запросов, которое понадобилось для парсинга товаров.

Что дальше

Постепенно мы будем возвращать некоторые удаленные сайты и сделаем их снова доступными для парсинга.

К сожалению, это не означает, что мы сможем парсить абсолютно любой сайт. Некоторые могут выходить банально слишком дорого за каждый товар.