Парсинг: поиск конкурентов и скачивание

01Два API и один ключ#

Парсинг в студии — это два разных сервиса на площадке RapidAPI. Один ищет: отдаёт посты, цифры и ссылки. Другой скачивает файлы по уже известной ссылке. Подписываетесь на оба, а ключ у них один — ключ вашего аккаунта RapidAPI.

02Где взять ключ и куда вписать#

1. Зарегистрируйтесь на rapidapi.com.
2. Подпишитесь на оба API: Real-Time Instagram Scraper и Social Download All In One. Тарифы — PRO, как в таблице выше. Без подписки ключ к API не подходит.
3. На странице любого из них откройте вкладку Endpoints и скопируйте поле X-RapidAPI-Key — это и есть ключ.
4. Отдайте ключ мастеру /setup или впишите в scripts/.rapidapi-config.json в поле rapidApiKey.
5. Проверка без показа ключа: node scripts/setup-configs.mjs --check.

{
  "rapidApiKey": "<ваш ключ RapidAPI>",
  "rapidApiHost": "real-time-instagram-scraper-api1.p.rapidapi.com",
  "baseUrl": "https://real-time-instagram-scraper-api1.p.rapidapi.com",
  "guard": {
    "maxPerRun": 300,
    "reservePct": 10,
    "scannerMonthly": 20000,
    "downloaderMonthly": 6000
  }
}

03Ниша: кого парсим#

Кого смотреть, задаёт файл scripts/.niche.json: аккаунты-доноры вашей ниши и хэштеги. Его заполняет мастер/setup на фазе «Ниша».

{
  "donors": ["akkaunt_konkurenta", "eshche_odin"],
  "hashtags": ["нейросети", "aiагент"],
  "language": "ru"
}

Новых доноров можно найти автоматически: режим --discover ищет похожие аккаунты на ваших донорах и отбирает тех, у кого больше 20 000 подписчиков.

04Сколько и за какой срок#

Умолчания скрипта поиска. Все меняются флагами, агент подбирает их под задачу. Скриптов два: обычныйscripts/content/search-instagram.mjs и полный scripts/search-instagram.mjs — в полном есть ещё разбор комментариев, поиск новых доноров, листание страниц --pages N и режим --search-only (только фразы, без доноров).

05Расход: сколько запросов уходит#

Скрипт считает верхнюю границу до запуска и печатает её вместе с остатком квоты. Формула простая:

хэштег           = 1 запрос
донор            = 2 запроса на страницу (посты + рилсы), × --max-pages
фраза поиска     = 1 запрос на страницу (обычный скрипт — 1 страница, полный — 2)
разбор комментариев = 1 запрос на страницу (по умолчанию 5)
поиск доноров    = исходные аккаунты (до 10) + проверки (по умолчанию 30)

одна ссылка загрузчика = 1 запрос, ещё 1, если сработал запасной способ

Прогон дороже 300 запросов без вашего «да» не стартует: агент покажет оценку и остаток и запустит с--approve N только после согласия. Сам прогон занимает около минуты на 80 запросов: скрипт делает паузу 0,6 секунды между запросами, чтобы не упереться в лимит скорости.

node scripts/content/search-instagram.mjs --estimate
→ оценка 420 запросов, остаток 19 900 из 20 000

агент: «Прогон стоит ~420 запросов из квоты, остаток 19 900. Запускаем?»
вы:    «да»

node scripts/content/search-instagram.mjs --approve 420

06Сколько это стоит#

Подписки фиксированные: $15 + $2 = $17 в месяц ≈ 2 074 ₽ (по внутреннему курсу студии 122 ₽ за доллар, с комиссиями пополнения). Пока вы в пределах квоты, отдельной платы за запросы нет.

Запас большой. Опасен не обычный поиск, а массовые обходы: например, скачать всю историю 36 аккаунтов. Тысяча запросов сверх квоты загрузчика стоит $3 ≈ 366 ₽ — немного, но именно так незаметно набегает счёт. Поэтому на нуле загрузчик останавливается всегда.

07Когда скачивать, а когда нет#

Поиск ничего не скачивает: он возвращает цифры, подпись и ссылку. Этого хватает, чтобы выбрать тему и разобрать конкурентов. Скачивать нужно только то, что станет исходником для работы.

# все слайды карусели в папку референса
node scripts/media/download-social.mjs https://www.instagram.com/p/<КОД>/ --all --out workspace/refs/<slug>/
# ролик + кадры
node scripts/media/download-social.mjs <url> --frames --out workspace/refs/<slug>/

08База конкурентов#

В материалах клиента может лежать уже собранная база: в этой студии это 9 966 публикаций 36 аккаунтов вclient-kit/<клиент>/competitors/. Она собрана за всю историю аккаунтов, с 2016 года, — постранично, назад до первого поста. Такой обход и съел деньги на счёте, после чего в студии появился предохранитель.

Повторно эту базу не парсят. Агент фильтрует её локально, бесплатно: например, срез «последние 60 дней, от 300 комментариев» дал 86 публикаций — 74 рилса и 12 каруселей.

09Чек-лист перед прогоном#

• В scripts/.niche.json ваши доноры и хэштеги, а не примеры.
• Подписка на оба API активна, ключ вписан (setup-configs.mjs --check).
• Сначала --estimate: сколько запросов и какой остаток.
• Больше 300 — только с вашим «да» и --approve N.
• Хэштеги при высоком пороге комментариев — отключить, это экономия.
• Скачивается только выбранный референс, а не всё найденное.
• Остаток ниже 10 % месяца — пауза до сброса квоты или ваше явное согласие на резерв.