Парсинг защищенных сайтов
28 май 08:06 435
Q-Parser научился обходить многие сайты с защитой от ботов. Рассказываем что как.
В чем проблема?
Примерно 90% всех сайтов "просто работают". Их можно парсить, ими можно пользоваться, никаких проблем. Но иногда сайты устанавливают систему защиты от вредоносных ботов, которая блокирует все подряд, включая Q-Parser.
Самый простой и дешевый вариант для владельца сайта - закрыть сайт за Cloudflare. Это блокирует практически все лишнее и ничего не стоит, но создает множество проблем для парсинга.
Ранее Q-Parser частично обходил такую защиту, но все же очень многие сайты мы были вынуждены отклонять или удалять с сервиса из-за невозможности нормальной работы с ними (мы не считаем нормальным парсинг по 1 товару в минуту, например).
Парсинг защищенных сайтов
Теперь мы научили Q-Parser обходить Cloudflare и многие другие системы защиты от ботов. К сожалению, парсить десятки миллионов товаров с таких сайтов (как мы делаем сейчас) за стоимость тарифа - невозможно.
Мы вводим отдельную категорию сайтов на Q-Parser: Защищенные сайты
Такой сайт отмечен в каталоге, на всех страницах и при парсинге вы увидите уведомление, что его парсинг оплачивается дополнительно.
Сколько стоит
Парсинг таких сайтов оплачивается помимо тарифа за каждый запрос к сайту: 0.02 ₽ 0.05 ₽
В парсинге видно счетчик платных запросов в реальном времени. Деньги списываются напрямую с баланса в личном кабинете.
В случае простой защиты соотношение, как правило, 1 запрос = 1 товар, но это может меняться в зависимости от конкретного сайта.
В остальном такие парсинги ничем не отличаются от остальных. Доступны выгрузки во все поддерживаемые форматы, AI-генерации и даже парсинг по расписанию.
Пробный парсинг
Поскольку оплата идет именно за запрос к сайту, мы не можем гарантировать 100% корректность парсинга. Сайты могут меняться и следить за этим вам нужно самостоятельно.
Можно запустить пробный парсинг, он абсолютно бесплатен даже для защищенных сайтов, и таким образом убедиться, что товары парсятся, а если нет - обратиться в поддержку и мы все поправим.
В пробном парсинге будет видно число платных запросов, которое понадобилось для парсинга товаров.
Что дальше
Постепенно мы будем возвращать некоторые удаленные сайты и сделаем их снова доступными для парсинга.
К сожалению, это не означает, что мы сможем парсить абсолютно любой сайт. Некоторые могут выходить банально слишком дорого за каждый товар.
Подробнее о защищенных сайтах можно прочитать в нашей базе знаний.

В выходные 14-15 июля на Q-Parser прошло большое обновление: преобразился внешний вид сайта и добавилось несколько новых возможностей и доработок. О некоторых нововведениях мы хотим вам рассказать.

Иногда приходится сталкиваться с ситуацией, когда парсинг сайта по тем или иным причинам не работает. Товары загружаются неправильно или вовсе не загружаются. Давайте разберемся кто виноват и что с этим делать.

На Q-Parser появилась возможность обрабатывать товары с помощью AI. Можно переписать названия товаров другими словами или составить новое описание на основе всех характеристик

Рассказываем как пользоваться функцией наложения текста на Q-Parser

Реальный пример составления CSS селекторов для парсинга на Q-Parser

Разбираем ошибки, которые совершают организаторы совместных покупок

Как использовать AI на Q-Parser для определения бренда товара по его названию

Автовыгрузки Q-Parser теперь поддерживают автоматическое обновление списка категорий