Парсинг защищенных сайтов

28 май 08:06 435


Q-Parser научился обходить многие сайты с защитой от ботов. Рассказываем что как.

В чем проблема?

Примерно 90% всех сайтов "просто работают". Их можно парсить, ими можно пользоваться, никаких проблем. Но иногда сайты устанавливают систему защиты от вредоносных ботов, которая блокирует все подряд, включая Q-Parser.

Самый простой и дешевый вариант для владельца сайта - закрыть сайт за Cloudflare. Это блокирует практически все лишнее и ничего не стоит, но создает множество проблем для парсинга.

Ранее Q-Parser частично обходил такую защиту, но все же очень многие сайты мы были вынуждены отклонять или удалять с сервиса из-за невозможности нормальной работы с ними (мы не считаем нормальным парсинг по 1 товару в минуту, например).

Парсинг защищенных сайтов

Теперь мы научили Q-Parser обходить Cloudflare и многие другие системы защиты от ботов. К сожалению, парсить десятки миллионов товаров с таких сайтов (как мы делаем сейчас) за стоимость тарифа - невозможно.

Мы вводим отдельную категорию сайтов на Q-Parser: Защищенные сайты

Такой сайт отмечен в каталоге, на всех страницах и при парсинге вы увидите уведомление, что его парсинг оплачивается дополнительно.

Пример отображения защищенного сайта

Сколько стоит

Парсинг таких сайтов оплачивается помимо тарифа за каждый запрос к сайту: 0.02 ₽ 0.05 ₽

В парсинге видно счетчик платных запросов в реальном времени. Деньги списываются напрямую с баланса в личном кабинете.

Пример отображения платного парсинга

В случае простой защиты соотношение, как правило, 1 запрос = 1 товар, но это может меняться в зависимости от конкретного сайта.

В остальном такие парсинги ничем не отличаются от остальных. Доступны выгрузки во все поддерживаемые форматы, AI-генерации и даже парсинг по расписанию.

Пробный парсинг

Поскольку оплата идет именно за запрос к сайту, мы не можем гарантировать 100% корректность парсинга. Сайты могут меняться и следить за этим вам нужно самостоятельно.

Можно запустить пробный парсинг, он абсолютно бесплатен даже для защищенных сайтов, и таким образом убедиться, что товары парсятся, а если нет - обратиться в поддержку и мы все поправим.

В пробном парсинге будет видно число платных запросов, которое понадобилось для парсинга товаров.

Что дальше

Постепенно мы будем возвращать некоторые удаленные сайты и сделаем их снова доступными для парсинга.

К сожалению, это не означает, что мы сможем парсить абсолютно любой сайт. Некоторые могут выходить банально слишком дорого за каждый товар.

Подробнее о защищенных сайтах можно прочитать в нашей базе знаний.

Читайте также
Что нового на Q-Parser?
16 июл 2018 11:24
Что нового на Q-Parser?

В выходные 14-15 июля на Q-Parser прошло большое обновление: преобразился внешний вид сайта и добавилось несколько новых возможностей и доработок. О некоторых нововведениях мы хотим вам рассказать.

Что делать, если парсинг не работает?
18 апр 2018 18:23
Что делать, если парсинг не работает?

Иногда приходится сталкиваться с ситуацией, когда парсинг сайта по тем или иным причинам не работает. Товары загружаются неправильно или вовсе не загружаются. Давайте разберемся кто виноват и что с этим делать.

AI обработка товаров: переписываем тексты товаров
04 апр 2024 18:30
AI обработка товаров: переписываем тексты товаров

На Q-Parser появилась возможность обрабатывать товары с помощью AI. Можно переписать названия товаров другими словами или составить новое описание на основе всех характеристик

Как наложить текст на изображение?
26 фев 2019 14:47
Как наложить текст на изображение?

Рассказываем как пользоваться функцией наложения текста на Q-Parser

Что такое WebP? Простыми словами
21 янв 2020 14:38
Что такое WebP? Простыми словами

Меньше, лучше, быстрее...или нет?

Составление CSS селекторов
11 сен 2024 12:29
Составление CSS селекторов

Реальный пример составления CSS селекторов для парсинга на Q-Parser

Частые ошибки организаторов СП
27 март 2019 08:48
Частые ошибки организаторов СП

Разбираем ошибки, которые совершают организаторы совместных покупок

Вытаскиваем Бренд товаров из названий с помощью AI
27 сен 2024 13:30
Вытаскиваем Бренд товаров из названий с помощью AI

Как использовать AI на Q-Parser для определения бренда товара по его названию

Парсинг по расписанию: авто-обновление категорий
13 сен 2024 12:39
Парсинг по расписанию: авто-обновление категорий

Автовыгрузки Q-Parser теперь поддерживают автоматическое обновление списка категорий