Сайт изменился — парсер перестал работать: почему это нормально

css парсинг поддержка селекторы 15 сен 15:41 14

Сайт изменился — парсер перестал работать

Парсер — это набор правил: что именно считать названием товара, где взять цену, артикул, описание, характеристики и фото. Правила опираются на структуру страницы сайта. Сайты живут своей жизнью: их редизайнят, переводят на новую платформу, добавляют блоки, переименовывают классы в коде. Как только структура страницы меняется, старые правила перестают находить данные — парсинг отдаёт пустые поля, кривые цены или меньше товаров, чем было.

Это не «поломка парсера» и не сбой сервиса: сайт действительно изменился, а правило осталось прежним. С этим сталкивается любой, кто собирает данные автоматически — и работающие по расписанию скрипты, и большие сервисы. Поэтому правильнее считать такое событие рутиной, а не аварией. Дальше разберём, почему так происходит, как мы это исправляем и сколько это занимает.

Почему парсер зависит от вёрстки сайта

Парсер не «смотрит» на страницу как человек. Он получает её HTML-код и ищет в нём данные по правилам — CSS-селекторам и шаблонам. Как именно составляются такие правила, мы разбирали в статье Составление CSS селекторов.

Пока разметка страницы неизменна, правила работают годами: каталог обновляется, цены меняются, новые товары появляются — парсер всё это собирает без правок. Но как только сайт меняет структуру, цепочка «селектор → данные» рвётся в одном или нескольких местах:

Название и цена переехали в другие блоки — правило ищет их там, где пусто.
Классы и структура переписаны при сборке на новом фреймворке — совпадений по селектору больше нет.
Фото стали отдавать ленивой загрузкой или с другого домена — парсер видит заглушку вместо картинки.
Категории и пагинация получили новые адреса — сбор обходит страницы, которых больше нет.

Чем сложнее карточка товара, тем больше правил завязано на её вид. Поэтому большое обновление сайта означает не «одну поправку», а пересборку правил под новую разметку.

Что именно меняется на сайтах

Обновления бывают разными по масштабу. Чаще всего встречается:

редизайн страницы каталога или карточки товара;
смена платформы (CMS) — меняется разметка, адреса категорий, пагинация;
переименование элементов в коде, «косметическая» пересборка шаблона;
появление новых блоков: цена по клубной карте, диапазон цен, «цена по запросу», товар под заказ;
перенос характеристик из текста в таблицу (или наоборот);
добавление защиты, капчи, проверки браузера;
разделение одного каталога на несколько разделов или переезд на новый домен.

Иногда изменения идут на пользу: страница становится проще, данные лежат аккуратнее, и парсер после правки собирает больше полей, чем раньше.

Если сайт временно не открывается

Бывает и другая ситуация: сайт не менялся, но перестал открываться вообще — технические работы, переезд на новый хостинг, отключённый сервер, массовая проверка «не робот», недоступность из России. Здесь парсер физически не может ничего собрать: страницы просто не отдаются. Правка правил не поможет, потому что правилам нечего читать, и «включить» чужой сайт мы не можем. Остаётся дождаться, когда он снова начнёт отвечать.

Что делать:

Проверьте сайт сам. Откройте его в браузере, в том числе с мобильного интернета, а не только из рабочей сети.
Запустите парсинг повторно через какое-то время. Обычно сайт возвращается в строй сам — через час или несколько часов.
Напишите в поддержку, если у вас сайт открывается, а парсинг по-прежнему ничего не собирает: возможно, сайт ограничивает доступ для наших серверов или по региону. Такие ситуации разбираем индивидуально.
Проверьте автовыгрузки. Если выгрузка прошла в момент недоступности сайта, файл будет пустым или неполным — данные лучше выгрузить вручную после восстановления сайта.

Отличить одно от другого просто: если сайт открывается, но данные собираются неполно или не так, как раньше, — это изменения на сайте. Если сайт не открывается совсем — это временная недоступность.

Это нормально: сайты обновляются, парсеры — тоже

Настроить парсинг «один раз и навсегда» невозможно. Не потому что парсер плохой, а потому что сайт — это живой продукт: у владельца появляются новые задачи, обновляется дизайн, подключаются маркетинговые блоки. Любой парсер, включая собственные скрипты и другие сервисы, требует периодической поддержки — просто потому, что он читает чужой сайт, а не управляет им.

Отсюда два практических вывода:

Обновление сайта — не ваша вина и не повод менять сервис. Это рабочая ситуация с понятным решением.
Вопрос не «сломается ли когда-нибудь», а «как быстро поправят». Об этом — ниже.

Как мы это исправляем

Правки правил парсинга мы делаем вручную — сайт смотрит и переделывает правила наш специалист, а не автоматика. Автоматика не может «догадаться», куда на новой странице переехала цена.

Порядок работы:

Вы сообщаете о проблеме — в чат поддержки или на support@q-parser.ru: что не работает и на какой странице.
Мы смотрим, что изменилось на сайте: как выглядит страница теперь, где искать данные.
Обновляем правила — правим селекторы и логику сбора под новую разметку.
Проверяем на нескольких категориях и товарах, чтобы данные собирались правильно, без лишних строк.
Вы запускаете парсинг заново — данные приходят в прежнем виде, ничего перенастраивать в выгрузке не нужно.

В большинстве случаев мы узнаём об обновлении сайта от вас: сайт может измениться ночью или в выходной, и первым это замечает тот, кто парсит. Поэтому сообщение о проблеме — это не «жалоба на сервис», а самый быстрый способ вернуть всё в рабочее состояние.

Сколько ждать и сколько это стоит

Что изменилось на сайте	Срок исправления	Стоимость
Мелочь: переехал блок, переименовали элементы в коде	от 10 минут	бесплатно
Изменилась карточка товара: несколько полей, структура характеристик	обычно в пределах нескольких часов	бесплатно
Серьёзное обновление: сайт сменил платформу, пересборка правил каталога	до суток	бесплатно

Сроки зависят от конкретной ситуации — что именно изменилось и сколько правил затронуто. Обычно это от 10 минут до суток, чаще всего заметно быстрее суток. Оплаты за исправления нет: если сайт из каталога перестал собираться из-за изменений на нём, мы поправим бесплатно. Отдельно оплачивается только настройка нового сайта, которого в каталоге ещё нет, — заявка подаётся на странице Добавить сайт.

Если сроки критичны — например, у вас акция или сверка цен, — напишите об этом в чат поддержки при обращении: постараемся сделать быстрее.

Как понять, что дело именно в изменениях сайта

Типичные признаки:

парсинг завершается, но товаров ноль или заметно меньше, чем обычно;
часть полей пустая — нет описания, характеристик или артикулов;
цены приходят некорректно: нули, «по запросу», старое значение;
в выгрузку попало лишнее — баннеры, блок «похожие товары», акционные плашки;
не скачиваются фото или файлы получаются битыми;
та же категория, которая раньше собиралась, отдаёт ошибку или пустой результат;
парсинг вообще не запускается или падает с ошибкой доступа — сайт недоступен (см. раздел «Если сайт временно не открывается»).

Что можно проверить самому: откройте сайт в браузере и посмотрите, не изменился ли вид страницы и жива ли ссылка на категорию, которую вы парсили. Если визуально всё иначе, чем месяц назад, — почти наверняка нужна правка правил, и это нормальный случай для обращения в поддержку.

Что приложить к заявке, чтобы ускорить исправление

ссылку на страницу или категорию, где видна проблема;
что именно не так: каких полей не хватает, что лишнее, что с ценой;
пример товара, который собрался правильно (если такие есть);
ссылку на парсинг или его название — нам не придётся искать его вместе с вами;
скриншот, если проблема визуальная.

С такой заявкой специалист сразу понимает, что искать на новой странице, и правка занимает минуты вместо часов.

Как подстраховаться

Включите уведомления о завершении парсинга и автовыгрузок на почту — вы узнаете о результате сразу, а не через неделю.
Просматривайте выгрузку после обновления сайта. Беглый взгляд на файл экономит время: пропажу цен или описаний дешевле заметить в первый день.
Если сайт ваш и вы планируете редизайн — напишите нам в поддержку заранее. Тогда правила поправят сразу после обновления, и ваши покупатели не столкнутся с пустыми выгрузками.

Частая ошибка

Распространённое заблуждение — считать парсинг одноразовым скриптом: «настроили один раз — работает всегда». На деле это услуга с поддержкой: сайты меняются, значит правила нужно поддерживать. Вторая ошибка — считать смену дизайна виной сервиса. Парсер не может запретить владельцу сайта обновлять свой продукт: он читает то, что видит. Поэтому правильный вопрос не «почему сломалось», а «как быстро починят» — и здесь ответ конкретный: бесплатно, обычно в течение суток, а мелкие правки занимают считаные минуты.

Итог

Изменения на сайтах — нормальная часть работы с чужими данными. Парсер из-за этого периодически требует правок, и мы делаем их вручную, в основном по вашей заявке, бесплатно и, как правило, в пределах суток. Чем подробнее заявка, тем быстрее возвращаются данные.

Написать в поддержку — если что-то перестало собираться: чат поддержки на сайте или support@q-parser.ru.

Полезные ссылки

Составление CSS селекторов — как задаются правила парсинга
Парсинг защищённых сайтов — капча, защита и проверки
Как сделать выгрузку товаров — пошаговая инструкция
Каталог сайтов — проверьте, настроен ли нужный сайт
Добавить сайт — заявка на настройку нового сайта
Частые вопросы — тарифы, сроки, форматы выгрузки
Что умеет Q-Parser — все возможности сервиса