Как распознать скраперов на e-commerce-сайте: сигналы, которые отличают ботов от покупателей

30 декабря 2025 г.e-commerceботыIP intelligenceантифрод

Практическое руководство по выявлению автоматизированных скраперов в интернет-магазинах: IP intelligence, поведенческие признаки и подходы к снижению риска.

E-commerce-платформы — одна из любимых целей автоматизированных скраперов. Такие боты собирают карточки товаров, отслеживают цены, выгружают отзывы пользователей, а иногда параллельно проверяют сайт на уязвимости. Часть такого трафика может быть относительно безобидной, но систематический или злонамеренный скрапинг быстро начинает съедать ресурсы, искажать аналитику и создавать почву для конкурентной разведки или мошенничества.

Чтобы отличать продвинутых скраперов от обычных покупателей, одного rate limiting уже недостаточно. Гораздо надежнее работает связка современного IP intelligence и поведенческой аналитики. Ниже разберем ключевые IP-сигналы и практические подходы, которые помогают понять, кто перед вами: автоматизированный бот или реальный клиент.

The Fundamental Disparity: Automation vs. Human Behavior

Главное различие — в намерении и сценарии действий. Покупатель смотрит товары неидеально: возвращается назад, сомневается, открывает категории, сравнивает, кладет что-то в корзину и может уйти. Скрапер действует программно. Он последовательно обходит нужные endpoint’ы, выдерживает оптимизированный ритм запросов, почти не делает случайных пауз и обычно преследует одну понятную цель. Часто это видно и по IP-адресам, с которых приходит такой трафик.

Key IP Intelligence Signals for Scraper Detection

При оценке входящего запроса несколько характеристик IP дают сильные подсказки о возможной автоматизации. По отдельности они не являются стопроцентным доказательством, но в совокупности и вместе с поведением превращаются в надежную систему раннего обнаружения.

1. IP Type and Infrastructure

Обычные покупатели почти всегда приходят с residential IP-адресов, выданных мобильными операторами или интернет-провайдерами. Скраперы, чтобы масштабироваться и обходить ограничения, намного чаще используют нерезидентскую инфраструктуру.

Datacenter/Hosting Provider IP: Один из самых заметных красных флагов. Большая часть скраперов работает из диапазонов, принадлежащих облачным провайдерам (AWS, GCP, Azure), выделенному хостингу или VPS-провайдерам. Для e-commerce-сайта запрос от IP-блока крупного дата-центра выглядит подозрительно: обычные покупатели почти никогда не заходят напрямую из такой инфраструктуры.
Proxy/VPN/TOR Exit IP: Скраперы часто используют proxy, VPN и TOR, чтобы скрыть реальное происхождение трафика, обходить геоограничения или быстро менять IP-адреса. Сервисы IP intelligence поддерживают базы известных proxy, VPN и выходных узлов TOR. Любой запрос с такого IP стоит проверять внимательнее.

Limits: VPN используют и нормальные пользователи — ради приватности, безопасности или доступа из корпоративной сети. Поэтому ложные срабатывания возможны, особенно у популярных потребительских VPN. Помогает различать тип* VPN — residential или коммерческий, завязанный на дата-центры, — и обязательно смотреть на поведение пользователя.

Shared NAT and Mobile Carrier IPs: IP крупных мобильных операторов и адреса за shared NAT легитимны, но сложны для интерпретации. Если с одного публичного IP выходит много пользователей, жесткая блокировка может задеть реальных клиентов. Но если все запросы с такого IP демонстрируют скраперские паттерны, это уже сильный индикатор риска.

2. Autonomous System Number (ASN) and Organization

ASN показывает, какому сетевому оператору принадлежит IP. Этот сигнал связан с типом IP, но дает больше контекста: не просто «где находится адрес», а через чью инфраструктуру он маршрутизируется.

Hosting/Cloud ASNs: Если IP относится к ASN известных хостинг- или cloud-провайдеров — например, AS16509 у Amazon или AS15169 у Google, — это усиливает сигнал datacenter IP. Покупатели редко ходят в интернет-магазины напрямую через такие сети.
Unknown or Suspicious ASNs: Небольшие ASN тоже бывают проблемными: некоторые из них специализируются на анонимизации, массовой аренде адресов или обслуживании бот-операций. Стабильный поток трафика из таких ASN стоит считать подозрительным.

3. rDNS Hostname

Reverse DNS (rDNS) для IP-адреса иногда дает полезные подсказки, хотя сам по себе редко подходит для прямой блокировки.

Generic or Datacenter Hostnames: Записи вроде ec2-xx-xx-xx-xx.compute.amazonaws.com или vps-xx-xx-xx-xx.provider.net явно указывают на дата-центр или хостинговую среду. У residential IP обычно hostname привязан к провайдеру, а иногда rDNS вообще не настроен.
Lack of rDNS: Отсутствие rDNS встречается и у обычных residential IP, поэтому не должно быть единственным основанием для санкций. Но если у адреса уже есть другие подозрительные признаки, отсутствие rDNS добавляет баллы к риск-профилю.

Limits:* Скраперы могут настраивать собственные rDNS-записи или выбирать IP без rDNS, чтобы выглядеть более нейтрально.

4. Geolocation Discrepancies

География не всегда является главным сигналом для выявления скраперов, но резкие несоответствия хорошо подсвечивают попытки обхода и компрометацию аккаунтов.

Impossible Travel: Если пользователь вошел в аккаунт из Нью-Йорка, а через пять минут тот же аккаунт начинает массово обращаться к страницам товаров с IP в Пекине, это похоже на proxy, угон аккаунта или автоматизированную активность.
Mismatch with Account History: Для постоянных клиентов полезно сравнивать текущую геолокацию IP с историей их обычных входов. Внезапный переход в удаленную нерезидентскую локацию — повод повысить уровень проверки.

5. IP Risk Score

IP intelligence API агрегирует разные признаки и присваивает IP-адресу risk score. В него могут входить история злоупотреблений, наличие proxy/VPN/TOR, связь с ботнетами, попадание в blacklist’ы и другие факторы.

High Risk Score: IP с высоким risk score — например, выше 80 из 100 — с большой вероятностью связан со злоупотреблениями или автоматизированной активностью. Это один из самых сильных прямых сигналов для блокировки, challenge-механик или дополнительной проверки.

Combining Signals: A Multi-layered Approach

Идеального одиночного сигнала не существует. Самая эффективная защита от скраперов строится на комбинации IP intelligence и поведенческой аналитики.

Example Scraper Profile vs. Shopper Profile

Implementing Detection and Mitigation

Passive Monitoring First: Начните с пассивного мониторинга: логируйте IP intelligence-данные по входящим запросам, но не блокируйте трафик сразу. Посмотрите на динамику, определите нормальный baseline для своего сайта и выделите сигнатуры скраперов, характерные именно для вашего e-commerce-проекта.
Gradual Enforcement: Вводите меры постепенно. Для IP с высокой уверенностью в автоматизации сначала можно показывать CAPTCHA, отдавать слегка устаревшие данные или ограничивать доступ к чувствительным endpoint’ам. Жесткие блокировки лучше оставить для самых рискованных IP и устойчивого агрессивного поведения.
Real-time API Integration: Интегрируйте IP intelligence API в цепочку обработки запросов. При каждом обращении запрашивайте атрибуты IP и risk score, чтобы принимать решение динамически.

If IP is Datacenter/Proxy/TOR AND behavior is robotic: Сразу показывайте challenge или блокируйте запрос. If IP is Residential but behavior is robotic: Используйте CAPTCHA или менее жесткую проверку.

Behavioral Context: Всегда сопоставляйте IP-сигналы с поведением: частотой запросов, количеством уникальных страниц за сессию, сменой User-Agent, движениями мыши или touch-событиями, если они доступны. Реальный пользователь с VPN все равно ведет себя как человек. Скрапер с residential IP все равно ведет себя как бот.

Conclusion

Выявление скраперов — не разовая настройка, а постоянная работа с рисками. Детальные IP intelligence-сигналы — определение datacenter IP, proxy/VPN/TOR, анализ ASN, rDNS и сводный risk score — помогают e-commerce-сайтам гораздо точнее отличать автоматизированные угрозы от реальных покупателей. Инструменты, которые дают такой уровень видимости, становятся важной частью защиты онлайн-бизнеса.

Многие платформы, включая guarda.net, обрабатывают значительно больше 0 проверок в день и предоставляют комплексный IP intelligence. Чтобы самостоятельно проверить IP, воспользуйтесь бесплатным инструментом IP lookup на главной странице guarda.net.