Что делать, если парсинг не работает?

18 апр 2018 18:23

---

Иногда приходится сталкиваться с ситуацией, когда парсинг сайта по тем или иным причинам не работает. Товары загружаются неправильно или вовсе не загружаются. Давайте разберемся кто виноват и что с этим делать.

Для начала в двух словах разберем как работает парсер:

1. Загружает страницу со списком товаров
2. Находит товары на этой странице
3. Загружает страницу каждого товара
4. Получает всю возможную информацию о товаре и переходит к следующему

На самом деле эти 4 простых пункта составляют 90% всех парсеров товаров. Внутри скрывается множество технических подробностей, но общий смысл именно такой. Что же может пойти не так?

Сайт не работает

Как ни прискорбно, но самая частая проблема - это "падение" сайта-донора товаров. По тем или иным причинам он перестает работать, соответственно парсер не может получить ни список товаров, ни сам товар.

Что делать? Просто подождать пока владелец сайта все исправит. Обычно это занимает от нескольких минут до суток.

На сайте обновляется каталог товаров

Мы всегда советуем пользователям не парсить сайты ночью по Москве. Это связано с тем, что очень многие поставщики обновляют свой каталог именно в это время.

Как правило, во время обновления каталог товаров не полный или вовсе не работает. Поэтому и парсинг перестает полноценно работать.

Что делать? Дождаться окончания обновления каталога. Обычно это занимает несколько часов на крупных каталогах.

Сайт изменил дизайн

Парсер - это не человек. Он выбирает информацию из страницы не визуально, а на основе т.н. "селекторов". Своеобразный путь к нужной информации: ссылке на товар, наименованию, артикулу или картинкам. Селекторы прописываются программистом, который пишет парсер в зависимости от дизайна сайта.

Если дизайн изменился (даже незначительно), вполне вероятно, что правила парсинга перестанут работать и товары перестанут выгружаться.

Что делать? Написать нам в техподдержку, в чат или на почту. Как правило исправление занимает несколько часов, но если дизайн изменился очень сильно, то работы могут занять и больше дня.

Все остальное

Само-собой это не все причины, которые могут возникнуть. Если вы уверены, что сайтом, который вы парсите все в порядке, но все равно ничего не работает, обязательно напишите нам в техподдержку. Достаточно лишь указать сайт и сказать, что его парсинг не работает. Дальше наш специалист все проверит и сообщит вам возможные причины, а так же время на их устранение.

P.S. Мы всегда проводим подобные работы бесплатно когда это возможно, даже если сайт полностью изменился.