Сравниваем дорогой Sonnet-3.5 и новый DeepSeek R1

05 фев 10:57 157

---

В связи с громким выходом новой китайской DeepSeek R1, которая рвет чарты (да и другие модели тоже), мы решили протестировать ее в реальной задаче: Напишем описания к товарам.

Сравнивать будем с Sonnet-3.5 как с самой умной моделью.

P.S. Если вы не в курсе, Q-Parser умеете генерировать тексты с помощью AI. Это очень удобно.

Промпт составим максимально простой, без уточнений. Все же у нас "взрослые" LLM модели, пусть додумывают сами.

Напиши небольшое описание к товару на русском языке

Sonnet 3.5

Генерация описаний для 10 товаров стоила 23 AI Points. Это в целом не много, но на тысячах товаров будет дороговато. К тому же для контекста мы использовали только названия товаров. При добавлении характеристик стоимость возрастет в разы.

Стоимость за 10 товаров: 23 AIP

Время генерации: 1 мин 21 сек

Примеры сгенерированных описаний:

Бельевая верёвка с прищепками 3643-3(1х120)

Удобная бельевая верёвка с комплектом прищепок - незаменимый помощник в быту. Прочная конструкция обеспечивает надёжное крепление белья и других вещей. Длина верёвки составляет 120 см, что позволяет развесить достаточное количество белья. Прищепки надёжно фиксируются и не оставляют следов на ткани. Идеальное решение для использования как в помещении, так и на открытом воздухе.

Тросс 20 м 1143 (1х100)

Прочный и надежный трос длиной 20 метров. Модель 1143 с плетением 1х100 обеспечивает высокую прочность и долговечность. Подходит для различных такелажных работ и крепления грузов. Компактная намотка позволяет удобно хранить и транспортировать трос.

Веревка бельевая 10 м 7557 (1х300)

Прочная бельевая веревка длиной 10 метров для развешивания белья и других бытовых нужд. Надежный материал обеспечивает долговечность использования и выдерживает значительные нагрузки. Удобна в применении, не растягивается со временем. Компактная упаковка позволяет удобно хранить веревку.

DeepSeek R1

Для DeepSeek используем тот же запрос, те же параметры по умолчанию и в контексте у нас только названия товаров.

Стоимость за 10 товаров: 14 AIP

Время генерации: 4 мин 17 сек

Мы видим, что R1 сгенерировал более длинные описания (мы не указывали конкретную длину, так что все логично). Это должно было стоить дороже, но R1 сильно дешевле Sonnet, поэтому потратили мы буквально копейки. При объеме на 30-40% больше мы получили стоимость почти в два раза ниже. Довольно неплохо.

Время генерации сильно возросло. Это может быть критично на большом числе товаров.

Качество описаний вы можете оценить самостоятельно. Мы считаем, что R1 - достойная замена дорогим моделям от Claude и OpenAI, тем более по такой-то стоимости.

Примеры сгенерированных описаний от R1:

Бельевая верёвка с прищепками 3643-3(1х120)

Бельевая верёвка с прищепками 3643-3 (1х120) — практичное решение для быстрой и удобной сушки белья. Прочная конструкция выдерживает значительные нагрузки, а встроенные прищепки надёжно фиксируют одежду даже при сильном ветре. Длина 120 см оптимальна для компактного размещения в помещении или на балконе. Лёгкий монтаж, износостойкий материал и долговечность делают эту модель незаменимым помощником в быту.

Тросс 20 м 1143 (1х100)

Тросс 20 м 1143 (1х100) — прочный стальной трос длиной 20 метров, диаметром 1 мм, с конструкцией 1×100 (одна прядь из 100 проволок). Идеален для хозяйственных, строительных и спортивных задач. Отличается гибкостью, износостойкостью и устойчивостью к коррозии. Подходит для крепления грузов, монтажных работ или использования в качестве страховочного элемента. Гарантирует надежность и долговечность даже при интенсивных нагрузках.

Веревка бельевая 10 м 7557 (1х300)

Веревка бельевая 10 м 7557 (1х300) — прочное и надежное решение для сушки белья. Изготовлена из износостойкого синтетического материала, устойчивого к влаге и перепадам температур. Длина 10 метров позволяет удобно разместить вещи даже на просторных балконах или во дворе. Плотная структура (1х300) обеспечивает долговечность и выдерживает значительные нагрузки. Подходит для крепления на крючки, столбы или между опорами. Легко натягивается, не провисает со временем. Идеальный выбор для дома, дачи или походных условий.