Парсинг защищенных сайтов

28 май 08:06 718

---

Q-Parser научился обходить многие сайты с защитой от ботов. Рассказываем что как.

В чем проблема?

Примерно 90% всех сайтов "просто работают". Их можно парсить, ими можно пользоваться, никаких проблем. Но иногда сайты устанавливают систему защиты от вредоносных ботов, которая блокирует все подряд, включая Q-Parser.

Самый простой и дешевый вариант для владельца сайта - закрыть сайт за Cloudflare. Это блокирует практически все лишнее и ничего не стоит, но создает множество проблем для парсинга.

Ранее Q-Parser частично обходил такую защиту, но все же очень многие сайты мы были вынуждены отклонять или удалять с сервиса из-за невозможности нормальной работы с ними (мы не считаем нормальным парсинг по 1 товару в минуту, например).

Парсинг защищенных сайтов

Теперь мы научили Q-Parser обходить Cloudflare и многие другие системы защиты от ботов. К сожалению, парсить десятки миллионов товаров с таких сайтов (как мы делаем сейчас) за стоимость тарифа - невозможно.

Мы вводим отдельную категорию сайтов на Q-Parser: Защищенные сайты

Такой сайт отмечен в каталоге, на всех страницах и при парсинге вы увидите уведомление, что его парсинг оплачивается дополнительно.

Сколько стоит

Парсинг таких сайтов оплачивается помимо тарифа за каждый запрос к сайту: 0.02 ₽ 0.05 ₽

В парсинге видно счетчик платных запросов в реальном времени. Деньги списываются напрямую с баланса в личном кабинете.

В случае простой защиты соотношение, как правило, 1 запрос = 1 товар, но это может меняться в зависимости от конкретного сайта.

В остальном такие парсинги ничем не отличаются от остальных. Доступны выгрузки во все поддерживаемые форматы, AI-генерации и даже парсинг по расписанию.

Пробный парсинг

Поскольку оплата идет именно за запрос к сайту, мы не можем гарантировать 100% корректность парсинга. Сайты могут меняться и следить за этим вам нужно самостоятельно.

Можно запустить пробный парсинг, он абсолютно бесплатен даже для защищенных сайтов, и таким образом убедиться, что товары парсятся, а если нет - обратиться в поддержку и мы все поправим.

В пробном парсинге будет видно число платных запросов, которое понадобилось для парсинга товаров.

Что дальше

Постепенно мы будем возвращать некоторые удаленные сайты и сделаем их снова доступными для парсинга.

К сожалению, это не означает, что мы сможем парсить абсолютно любой сайт. Некоторые могут выходить банально слишком дорого за каждый товар.

Подробнее о защищенных сайтах можно прочитать в нашей базе знаний.