Что делать, если парсинг не работает?

год и 7 месяцев назад

Иногда приходится сталкиваться с ситуацией, когда парсинг сайта по тем или иным причинам не работает. Товары загружаются неправильно или вовсе не загружаются. Давайте разберемся кто виноват и что с этим делать.

Для начала в двух словах разберем как работает парсер:

  1. Загружает страницу со списком товаров
  2. Находит товары на этой странице
  3. Загружает страницу каждого товара
  4. Получает всю возможную информацию о товаре и переходит к следующему

На самом деле эти 4 простых пункта составляют 90% всех парсеров товаров. Внутри скрывается множество технических подробностей, но общий смысл именно такой. Что же может пойти не так?

Сайт не работает

Как ни прискорбно, но самая частая проблема - это "падение" сайта-донора товаров. По тем или иным причинам он перестает работать, соответственно парсер не может получить ни список товаров, ни сам товар.

Что делать? Просто подождать пока владелец сайта все исправит. Обычно это занимает от нескольких минут до суток.

На сайте обновляется каталог товаров

Мы всегда советуем пользователям не парсить сайты ночью по Москве. Это связано с тем, что очень многие поставщики обновляют свой каталог именно в это время.

Как правило, во время обновления каталог товаров не полный или вовсе не работает. Поэтому и парсинг перестает полноценно работать.

Что делать? Дождаться окончания обновления каталога. Обычно это занимает несколько часов на крупных каталогах.

Сайт изменил дизайн

Парсер - это не человек. Он выбирает информацию из страницы не визуально, а на основе т.н. "селекторов". Своеобразный путь к нужной информации: ссылке на товар, наименованию, артикулу или картинкам. Селекторы прописываются программистом, который пишет парсер в зависимости от дизайна сайта.

Если дизайн изменился (даже незначительно), вполне вероятно, что правила парсинга перестанут работать и товары перестанут выгружаться.

Что делать? Написать нам в техподдержку, в чат или на почту. Как правило исправление занимает несколько часов, но если дизайн изменился очень сильно, то работы могут занять и больше дня.

Все остальное

Само-собой это не все причины, которые могут возникнуть. Если вы уверены, что сайтом, который вы парсите все в порядке, но все равно ничего не работает, обязательно напишите нам в техподдержку. Достаточно лишь указать сайт и сказать, что его парсинг не работает. Дальше наш специалист все проверит и сообщит вам возможные причины, а так же время на их устранение.

P.S. Мы всегда проводим подобные работы бесплатно когда это возможно, даже если сайт полностью изменился.

 


Читайте также
Новые форматы выгрузки
12.10.2017 16:12
Новые форматы выгрузки

На Q-Parser были добавлены новые форматы выгрузки для совместных покупок.

Выгрузка альбомов в СП-Помощник
11.12.2018 16:50
Выгрузка альбомов в СП-Помощник

Инструкция по импорту альбомов из Q-Parser в СП-Помощник

Что такое совместные покупки?
15.03.2019 12:14
Что такое совместные покупки?

Рассказываем что такое совместные покупки и как начать свою карьеру организатора СП

Как наложить текст на изображение?
26.02.2019 17:47
Как наложить текст на изображение?

Рассказываем как пользоваться функцией наложения текста на Q-Parser