Scraper im E-Commerce erkennen: Welche Signale Bots von echten Käufern unterscheiden

E-Commerce-Plattformen sind ein attraktives Ziel für automatisierte Scraper. Solche Bots können Produktdaten kopieren, Preise überwachen, Nutzerbewertungen auslesen oder sogar nach Schwachstellen suchen. Nicht jede Scraping-Aktivität ist automatisch bösartig. Dauerhaftes oder gezielt missbräuchliches Scraping kann jedoch Ressourcen binden, Analysen verfälschen und Wettbewerbern oder Betrügern in die Hände spielen.

Wer fortgeschrittene Scraper von echten Nutzern unterscheiden will, kommt mit einfachem Rate Limiting allein nicht weit. Moderne IP-Intelligence in Kombination mit Verhaltensanalyse bietet einen deutlich robusteren Schutz. Dieser Artikel zeigt zentrale IP-Signale und praktische Ansätze zur Scraper-Erkennung auf E-Commerce-Websites – mit Fokus darauf, was automatisierte Bots von echten Käufern trennt.

The Fundamental Disparity: Automation vs. Human Behavior

Der entscheidende Unterschied liegt in Absicht und Ausführung. Käufer stöbern, zögern, springen zwischen Seiten hin und her und bewegen sich selten völlig linear durch einen Shop. Scraper funktionieren dagegen programmatisch. Sie greifen systematisch auf bestimmte Endpunkte zu, arbeiten mit optimierten Request-Mustern, sehr kurzen Pausen und einem klaren, eng definierten Ziel. Häufig spiegelt schon die verwendete IP-Adresse diese technische Herkunft wider.

Key IP Intelligence Signals for Scraper Detection

Bei der Bewertung eingehender Requests liefern mehrere IP-Merkmale starke Hinweise auf automatisierte Aktivität. Für sich genommen ist keines dieser Signale unfehlbar. In der Kombination – und zusammen mit weiteren Datenpunkten – werden sie jedoch sehr aussagekräftig.

1. IP Type and Infrastructure

Legitime Käufer nutzen fast immer private oder mobile IP-Adressen, die von Mobile Network Operators (MNOs) oder Internet Service Providers (ISPs) vergeben werden. Scraper greifen dagegen häufig auf nicht-private Infrastruktur zurück, um Erkennung zu umgehen und ihre Aktivitäten zu skalieren.

• Datacenter/Hosting Provider IP: Das ist eines der wichtigsten Warnsignale. Ein sehr großer Teil der Scraper stammt aus IP-Bereichen von Cloud-Anbietern wie AWS, GCP oder Azure, aus dediziertem Hosting oder von VPS-Providern. Ein Request aus einem IP-Block eines großen Rechenzentrums ist für einen normalen E-Commerce-Käufer ungewöhnlich und daher verdächtig.
• Proxy/VPN/TOR Exit IP: Scraper nutzen solche Dienste häufig, um ihre tatsächliche Herkunft zu verschleiern, Geo-Restriktionen zu umgehen oder IP-Adressen regelmäßig zu wechseln. IP-Intelligence-Dienste pflegen Listen bekannter Proxy-, VPN- und TOR-Exit-Nodes. Jeder Request von einer solchen IP sollte genauer geprüft werden.

Limits: Auch legitime Nutzer verwenden VPNs – etwa aus Datenschutz- oder Sicherheitsgründen. False Positives sind deshalb möglich, besonders bei Consumer-VPNs. Hilfreich ist die Unterscheidung nach Art* des VPNs, etwa residential gegenüber kommerzieller Datacenter-Infrastruktur, sowie der Abgleich mit dem Nutzerverhalten.

• Shared NAT and Mobile Carrier IPs: IPs großer Mobilfunkanbieter oder Netze hinter Shared NAT sind grundsätzlich legitim, können aber in der Bewertung schwierig sein. Wenn über eine öffentliche IP viele Nutzer laufen, kann schon ein einzelner auffälliger Akteur das Gesamtbild verzerren. Ein Block würde dann womöglich echte Kunden treffen. Wenn jedoch alle Requests von einer solchen IP typische Scraper-Muster zeigen, ist das ein starkes Indiz.

2. Autonomous System Number (ASN) and Organization

Die ASN einer IP-Adresse identifiziert den jeweiligen Netzwerkbetreiber. Sie hängt eng mit dem IP-Typ zusammen, liefert aber oft zusätzlichen Kontext zur Herkunft eines Requests.

• Hosting/Cloud ASNs: Gehört eine IP zu einer ASN bekannter Hosting- oder Cloud-Anbieter – etwa AS16509 für Amazon oder AS15169 für Google –, verstärkt das den Verdacht auf Datacenter-Traffic. Normale Käufer routen ihre Shop-Besuche nur selten direkt über solche Netze.
• Unknown or Suspicious ASNs: Manche kleinere ASNs haben einen zweifelhaften Ruf oder bieten gezielt Dienste für Anonymisierung und Bot-Aktivitäten an. Wiederkehrender Traffic aus solchen Netzen sollte aufmerksam beobachtet werden.

3. rDNS Hostname

Der Reverse-DNS-Eintrag (rDNS) einer IP-Adresse kann zusätzliche Hinweise liefern, eignet sich aber nur bedingt als alleinige Grundlage für Blocking-Entscheidungen.

• Generic or Datacenter Hostnames: rDNS-Einträge wie ec2-xx-xx-xx-xx.compute.amazonaws.com oder vps-xx-xx-xx-xx.provider.net deuten klar auf Datacenter- oder Hosting-Umgebungen hin. Private IPs lösen typischerweise auf ISP-spezifische Hostnames auf oder haben gar keinen gesetzten rDNS-Eintrag.
• Lack of rDNS: Ein fehlender rDNS-Eintrag ist bei manchen privaten IPs normal. In Kombination mit anderen verdächtigen Merkmalen kann er das Risikoprofil aber weiter verschärfen.

Limits:* Scraper können eigene rDNS-Einträge setzen oder IPs ohne rDNS nutzen, um weniger auffällig zu wirken.

4. Geolocation Discrepancies

Geografische Auffälligkeiten sind nicht bei allen Scrapern ein zentrales Signal. Bei ausgefeilteren Umgehungsversuchen können sie jedoch sehr aufschlussreich sein.

• Impossible Travel: Wenn sich ein Nutzerkonto aus New York anmeldet und fünf Minuten später von einer IP in Peking aus Scraping-Aktivitäten zeigt, spricht das für Proxy-Nutzung oder eine Kontoübernahme – beides klare Hinweise auf Bot-Aktivität.
• Mismatch with Account History: Bei Bestandskunden lohnt sich der Vergleich der aktuellen IP-Geolocation mit früheren Mustern. Ein plötzlicher Wechsel an einen weit entfernten, nicht-privaten Standort ist verdächtig.

5. IP Risk Score

Eine IP-Intelligence API führt diese und weitere Datenpunkte zu einem Risikowert zusammen. Dieser Score berücksichtigt unter anderem bekannte Missbrauchshistorie, Proxy-Erkennung, Nutzung in Botnets und Einträge auf Blacklists.

• High Risk Score: IPs mit hohem Risikowert, etwa über 80 von 100, sind mit großer Wahrscheinlichkeit in missbräuchliche oder automatisierte Aktivitäten verwickelt. Das ist eines der stärksten direkten Signale für ein Blocking oder eine zusätzliche Challenge.

Combining Signals: A Multi-layered Approach

Kein einzelnes Signal ist perfekt. Die wirksamste Scraper-Erkennung kombiniert IP-Intelligence mit einer Analyse des tatsächlichen Verhaltens.

Example Scraper Profile vs. Shopper Profile

| Signal | Typical Scraper Profile | Typical Shopper Profile | | :----------------- | :------------------------------------------- | :------------------------------------------- | | IP Type | Datacenter, VPN, TOR Exit | Residential, Mobile | | ASN/Org | Hosting Provider, Cloud Provider | ISP, Mobile Network Operator | | rDNS Hostname | Generic, compute.amazonaws.com, no rDNS | ISP-specific, or no rDNS (less common) | | Request Rate | Hoch, gleichmäßig, strukturiert | Variabel, oft mit Pausen, menschlich wirkend | | Session Depth | Tief, stark auf bestimmte Produktseiten fokussiert | Stöbern, Kategorieseiten, Warenkorb-Interaktion | | User-Agent | Skriptbasiert, z. B. python-requests, oder gefälscht | Üblicher Browser-String, etwa Chrome, Firefox, Safari | | IP Risk Score | Hoch, z. B. >80 | Niedrig, z. B. <20 |

Implementing Detection and Mitigation

• Passive Monitoring First: Protokollieren Sie zunächst alle IP-Intelligence-Daten zu eingehenden Requests, ohne sofort zu blockieren. Analysieren Sie die Muster über einen längeren Zeitraum, um Ihren normalen Traffic zu verstehen und typische Scraper-Signaturen Ihrer eigenen Website zu erkennen.
• Gradual Enforcement: Beginnen Sie bei eindeutig verdächtigen Scraper-IPs mit risikoarmen Maßnahmen, etwa CAPTCHAs oder der Auslieferung leicht verzögerter Daten. Harte Blocks sollten den IPs mit dem höchsten Risiko oder besonders hartnäckigem, eindeutig missbräuchlichem Verhalten vorbehalten bleiben.
• Real-time API Integration: Integrieren Sie eine IP-Intelligence API direkt in Ihre Request-Pipeline. Bei jedem Request werden Attribute und Risikowert der IP abgefragt. So können Entscheidungen dynamisch getroffen werden.

If IP is Datacenter/Proxy/TOR AND behavior is robotic: Sofort eine Challenge ausspielen oder blockieren. If IP is Residential but behavior is robotic: CAPTCHA oder eine weniger aggressive Challenge einsetzen.

• Behavioral Context: Kombinieren Sie IP-Signale immer mit beobachtetem Verhalten, etwa Request-Frequenz, Anzahl eindeutiger Seitenaufrufe pro Session, verschiedenen User-Agent-Strings sowie – falls verfügbar – Mausbewegungen oder Touch-Events. Ein legitimer Nutzer mit VPN verhält sich weiterhin wie ein Mensch. Ein Scraper mit Residential IP verhält sich weiterhin wie ein Bot.

Conclusion

Scraper-Erkennung ist keine einmalige Maßnahme, sondern eine dauerhafte Aufgabe mit mehreren Ebenen. Wer detaillierte IP-Intelligence-Signale nutzt – darunter Datacenter-Erkennung, Proxy/VPN/TOR-Identifikation, ASN-Analyse, rDNS und konsolidierte Risk Scores –, kann automatisierte Bedrohungen deutlich besser von legitimen Kunden unterscheiden. Werkzeuge, die diese Transparenz liefern, sind ein wichtiger Baustein zum Schutz digitaler Assets.

Viele Plattformen, darunter guarda.net, verarbeiten täglich weit über 0 Abfragen und stellen umfassende IP-Intelligence bereit. Wenn Sie eine IP selbst prüfen möchten, können Sie das kostenlose IP-Lookup-Tool auf der Startseite von guarda.net nutzen.