Руководство · парсер или API

Парсер Encar, Che168 и Copart — или готовый API

Данные Encar, Che168, Copart и IAAI можно получать тремя способами: написать свой парсер, взять облачный скрейпер или подключить API с уже собранными данными. Ниже — что придётся делать в каждом случае и когда какой способ лучше, без выдуманных цен.

GET/v1/cars/encar:43082263
{
  "id": "encar:43082263",
  "title": "2020 Kia K5 3 Gen 1.6 Turbo Noblesse",
  "year": 2020,
  "mileage_km": 70024,
  "price": {
    "amount": "17700000.00",
    "currency": "KRW"
  },
  "price_usd": "13180.40",
  "location": {
    "country": "KR",
    "region": "Incheon",
    "city": null
  },
  "photo_count": 4,
  …
}

200 OK · настоящая запись из каталога

Три способа по пунктам

Свой парсерОблачный скрейперapiauto.space
ЗапускРазработка под каждую площадкуНастройка готового скрипта (например, актора Apify)Ключ в боте и HTTP-запрос
Блокировки, капчи, проксиВаша заботаОбычно берёт сервис, вы платите за запуски и трафикВас не касаются: запросы идут к нашему API
Изменения сайта-источникаПарсер ломается, нужно чинитьЖдать, пока обновят скрейперЧиним мы, формат /v1 не меняется
Формат данныхСвой для каждой площадкиСвой у каждого скрейпераОдна схема для Кореи, Китая и США, поля источника — в raw
Марки и моделиКорейские и китайские написания переводить самимКак на сайте источникаЕдиные латинские названия во всех рынках
ФотоСкачивать и хранить самимСсылки источникаОтдаёт наш сервер по подписанным ссылкам
Новые машины и ценыСравнивать выгрузки самимСравнивать выгрузки самимЛента /v1/changes
ОхватЛюбые поля и площадкиЧто умеет скрейперПоля записи и raw, три рынка
СтоимостьВремя разработчика, серверы, прокси, поддержкаОплата запусков и трафикаот $59 в месяц за рынок, квота в машинах

Когда свой парсер лучше

  • Нужна площадка, которой у нас нет: Dongchedi, Guazi, K Car, корейские аукционы.
  • Нужен архив прошедших торгов США, финальные цены и история продаж — мы отдаём только предстоящие лоты.
  • Нужны поля, которых нет ни в записи, ни в raw.
  • Нужна свежесть точнее, чем раз в час.
  • Данные нужны для перепродажи: у нас это только по договору Enterprise.

Когда API выгоднее

  • Нужен каталог на сайт или в Telegram-бота, а не отдельный проект по поддержке парсеров.
  • Нужны два-три рынка сразу, в одной схеме: Encar, Che168 и аукционы США.
  • Некому чинить парсер после каждого изменения площадки.
  • Нужны фото без своего хранилища и лента новых машин и снижений цены.

Если задача звучит как «спарсить Encar на сайт»

Такую задачу можно поставить разработчику как интеграцию API: вместо парсера — запросы к /v1/cars с фильтрами по расписанию или по запросу посетителя и лента /v1/changes для новых машин. Примеры на curl, Python, JavaScript и PHP — в документации, поля каждого источника — на страницах Encar, Che168 и Copart и IAAI.

Проверить за пять минут

  1. Возьмите демо-ключ в боте: сутки, 100 запросов, все три рынка, без оплаты.
  2. Отправьте запрос GET /v1/cars?market=kr&limit=20 с ключом в заголовке X-API-Key.
  3. Сравните ответ с тем, что отдаёт ваш парсер: поля, фото, свежесть (X-Data-Age-Seconds).

Частые вопросы

01

Сколько стоит свой парсер Encar?

Зависит от объёма и требований, чужие цены мы не называем. Считайте не только разработку, но и прокси, сервер, хранение фото и ремонт после изменений сайта — это постоянные расходы.

02

Можно ли совместить парсер и API?

Да: брать из API три рынка в одной схеме, а свой парсер держать только для площадки, которой у нас нет.

03

Есть ли бесплатный тариф?

Есть демо: сутки, 100 запросов, все три рынка. Постоянного бесплатного тарифа нет; платные — от $59 в месяц.

04

Что будет, если площадка изменит сайт?

Чиним копию мы, а формат ответа внутри /v1 не меняется: поля не удаляются и не переименовываются.

Другие API и руководства

Получите тестовый ключ

  • Сутки и 100 запросов бесплатно, без карты
  • Все три рынка — Корея, Китай и США — и лента изменений
  • Ключ приходит в Telegram за минуту — без формы и звонков
Так ключ приходит в боте; здесь он скрыт.