robots.txt
Block/Open-Status, AI/Scraper-Regel-Vorschläge, Diff-Historie und Besuche nach Blockdatum
Unsere Dienstleistungen
Sehen Sie, welche Such- und KI-Crawler Ihre Seiten treffen, finden Sie Policy- und Abdeckungslücken und richten Sie Tracking mit Meta, JS, Beacon oder Worker ein.
Was Sie im Dashboard bekommen
Technische Datei- und Policy-Checks wie im Panel—keine Blocking-Versprechen.
Crawl like a bot
Googlebot/GPTBot-Simulation: robots.txt, Index-Signale und HTML-Vorschau (kein JS)
Meta / X-Robots-Tag
noindex/nofollow auf Startseite oder Top-Crawl-URL; Konflikt mit robots Allow
llms.txt
llms.txt prüfen und eine Markdown-Vorlage laden
sitemap.xml
Erreichbarkeit, Aktualität und Sitemap × Crawl-Lückenkarte
Site-Readiness
Ein Score aus robots, Sitemap, llms und Tracking
Was Sie im Panel sehen
Konkrete Crawl-Workflows über einfache Besuchslisten hinaus
Crawl-Journeys
Geschätzten Pfad eines Bots über Seiten sehen (nahe IP + 30‑Minuten-Fenster)
HTTP-Fehler für Bots
404/5xx-Pfade, die Bots treffen, mit Letztgesehen und Besuchszahlen
Bot-Zeitlinie
Erst/zuletzt gesehen, New/Active/Quiet und Sprung zu passenden Besuchen
llms.txt × AI-Besuche
Welche URLs in llms.txt von AI-Crawlern besucht wurden — und welche nicht (Besuchsdaten, kein Trainingsbeweis)
Heutige Prioritäten
Bis zu drei Punkte über Ihre Sites, die zuerst Aufmerksamkeit brauchen
Installationsmethoden
Meta, JS, no-JS Beacon, WordPress, GTM und Cloudflare Worker — passend zu Ihrem Stack
Policy- und technische Datei-Checks
robots.txt, Meta-Robots, llms.txt, sitemap.xml und Readiness—wie im Dashboard.
robots.txt-Analyse
Sehen Sie, welche Caution/Danger-Crawler offen oder blockiert sind, filtern Sie AI- oder Scraper-Vorschläge, vergleichen Sie Ist vs. Vorschlag (Diff), behalten Sie Versionshistorie aus Rescans und täglichen Checks und speichern Sie ein Blockdatum, um spätere Besuche zu kennzeichnen.
Crawl like a bot
Auf Ihren eigenen Sites eine Crawler-Simulation mit dem gewählten Bot-User-Agent ausführen. robots.txt-Erlaubnis, Title/Canonical/noindex und HTML-Antwort sehen — ohne JavaScript. Im Pro-Plan enthalten.
Meta robots / X-Robots-Tag
Lesen Sie Meta-Robots und X-Robots-Tag von der Startseite oder der am häufigsten gecrawlten URL. Markieren Sie Konflikte, wenn robots.txt den Pfad erlaubt, Meta/Header aber die Indexierung sperrt (noindex/nofollow).
llms.txt
Prüfen Sie, ob /llms.txt existiert. Fehlt die Datei, kopieren Sie eine Markdown-Vorlage aus dem Panel. Crawler-Sperren gehören in robots.txt.
sitemap.xml & Crawl-Lücke
Prüfen Sie Erreichbarkeit, URL-Anzahl und lastmod-Aktualität. Vergleichen Sie Sitemap-URLs mit Crawl-Hits (Overlap + Lückenkarte) für ungerollte oder fehlende Seiten.
Site-Readiness-Score
Ein Score aus robots.txt, sitemap.xml, llms.txt und Tracking—plus kurze Historie, was sich verbessert hat und was als Nächstes zu fixen ist.
Verifikation & Risiko
Wer echt ist, welche AI-Crawler Sie treffen, wo Budget verschwendet wird und wie riskant jeder Crawler ist.
Bot-Authentizität
rDNS-Prüfung, Verified-Rate und Spoof-Verdächtige
AI-Crawler-Insights
30-Tage-AI-Visits, Unique-Bots, Caution/Danger-Hits und nächste Schritte
Crawl-Budget-Waste
Pfade mit riskanten/Scraper-Hits und path-spezifischen Disallow-Vorschlägen
Sicherheitsstufen
Caution- und Danger-Badges im Katalog und in Visit-Filtern
Authentizität, AI-Risiko und Crawl-Waste
Dieselben Verifikations-Tools aus Overview, Bot-Authentizität und Crawl-Analyse.
rDNS / Bot-Authentizität
Verifizieren Sie bekannte Crawler per Reverse-DNS. Sehen Sie Verified-Rate, Spoof-Verdächtige und Hostname-Mix.
AI-Crawler-Insights
Letzte 30 Tage AI-Crawler-Besuche: Hits, unique AI-Bots, Caution/Danger-Volumen und Empfehlungen wie llms.txt aktualisieren oder ungeblockte AI-Crawler in robots.txt prüfen.
Crawl-Budget-Waste
Sehen Sie, welche Pfade Caution/Danger- und Scraper-Crawler in den letzten 30 Tagen am meisten treffen, und kopieren Sie path-spezifische Disallow-Vorschläge.
Safety-Badges & Risikostufen
Jeder Crawler-Typ hat im Katalog und in Visit-Filtern safe / caution / danger—riskanter Traffic wird sichtbar, ohne Blocking-Versprechen.
Traffic, Analysen & Export
Sehen Sie Traffic-Aufschlüsselung, welche Quellen echte Visits erzeugen, und exportieren Sie die benötigten Zeilen.
Traffic
Geräte, Browser, OS und Human-vs-Crawler-Mix
Referral-Quellen
Referrer mit echten Visits, inkl. CSV-Export
Crawl Analysis
Visits nach Seite, Crawler, UA oder IP filtern und suchen
CSV-Export
Crawl-Visits und Referral-Quellen als CSV exportieren
Periodenvergleich
Aktuelle Periode mit dem vorherigen Fenster vergleichen
Erweiterte Analysen
Tiefere Reports ab Pro-Plänen
Crawl-Analyse und Reporting
Dieselben Traffic-, Referrer-, Bots- und Export-Tools wie im Dashboard.
Traffic-Aufschlüsselung
Geräte, Browser, Betriebssysteme und Human-vs-Crawler-Split prüfen—echte Besucher von Bot-Last trennen.
Referral-Quellen
Sehen Sie, welche Referrer echte Visits erzeugen—nicht nur Roh-Hits—und exportieren Sie die Liste bei Bedarf als CSV.
Crawl Analysis
Crawl-Visits nach Seiten-URL, Crawler-Name, User-Agent oder IP suchen und filtern. Leere States und Safety-Badges bleiben katalogsynchron.
CSV-Export
Exportieren Sie Crawl-Visits und Referral-Quellen jederzeit als CSV für Sheets oder Audits.
Periodenvergleich
Vergleichen Sie das aktuelle Monitoring-Fenster mit der Vorperiode, um Crawl-Volumen und Risiko-Verschiebungen zu sehen.
Erweiterte Analysen
Pro und höher freischalten tiefere Reports jenseits einfacher Visit-Totals—passend zu Ihren Plan-Limits.
Setup & Tracking-Kanäle
Cookieless Tracking plus Script, No-JS-Beacon und Install-Prüfung.
Cookieless Tracking
Keine Tracking-Cookies — privacy-freundlich für Data- und Analytics-Teams
tracking.js
Cookieless Script-Install neben dem Meta-Tag für Crawl-Erfassung
No-JS-Beacon
Cookieless CSS-Beacon-Ping, wenn JavaScript blockiert oder fehlt
Install-Check
Bestätigen, dass Meta-Tag und tracking.js live sind
So funktioniert die Installation
Dieselben Kanäle und Checks wie unter Meine Websites und im Setup-Guide.
Cookieless Tracking
Die Erfassung auf Kundenseiten setzt keine Tracking-Cookies. Data-Teams können Crawl- und Traffic-Signale ohne zusätzlichen Cookie-Consent-Aufwand für NMOS Tracking anbinden.
tracking.js
Kopieren Sie Meta-Tag plus tracking.js unter Meine Websites. Das cookieless Script meldet Crawler-Visits, damit Analysen und Policy-Tools live Daten haben.
No-JS-Beacon
Optionales cookieless Beacon-Stylesheet für Umgebungen mit wenig JavaScript. Das Panel zeigt Kanalstatus und letzten Beacon-Ping.
Install-Check
Nutzen Sie Check unter Meine Websites, um Meta-Tag und tracking.js zu bestätigen. Tracking kann vor Abschluss der Prüfung starten.
Site-Management & Zusammenarbeit
Team einladen, Sites innerhalb der Plan-Limits wachsen, Quota-Warnungen früh sehen.
Site-Share
E-Mail-Einladungen mit View- oder Manage-Rollen
Multi-Site & Quotas
Plan-Site-Limits mit Soft-Wall am Cap
Billing- & Quota-Alerts
Panel- und E-Mail-Warnungen bei 80% und voller Quota
Zugriff teilen und in Plan-Limits bleiben
Dieselben Share-, Site-Limit- und Quota-Tools wie unter Meine Websites und Billing.
Site-Share
Laden Sie per E-Mail jemanden mit View- oder Manage-Rolle ein. Offene Einladungen, Annehmen/Ablehnen und Widerruf bleiben unter Meine Websites—ohne geteilte Logins.
Multi-Site & Plan-Quotas
Jeder Plan begrenzt, wie viele Sites Sie tracken. Am Site-Limit zeigt das Panel eine Soft-Wall und weist auf Upgrade hin statt still zu scheitern.
Billing- & Quota-Alerts
Monatliche Crawl-Quotas setzen sich je Abrechnungsperiode zurück. Bei etwa 80% und bei voller Quota gibt es Panel- und optionale E-Mail-Alerts; danach werden neue Visits nicht geloggt.
Monitoring, Alerts & Benachrichtigungen
Health-Signale, robots-Änderungs-Tracking, Panel-Alerts, Push, Home-Screen-App und E-Mail-Digests.
Site-Health
SSL-Ablauf, 48h+ Crawl-Ruhe, 7d+ Tracking stale
robots.txt-Änderungen
Diff-Timeline plus optionale E-Mail bei Inhaltsänderung
Verstoß-E-Mails
Alert, wenn ein geblockter Crawler nach dem Blockdatum wiederkehrt
Panel-Benachrichtigungen
Glocken-Inbox für Quota-, Health- und Policy-Events
Web Push
Geräte-Alerts für Quota, SSL, Ruhe—kein Crawl-Spam
PWA / Home-Screen
Dashboard wie eine App unter Integrations installieren
Aktivitäts-Zusammenfassung
Optionaler Digest der Crawl-Aktivität
So halten wir Sie informiert
Dieselben Health-, Benachrichtigungs-, Push- und PWA-Tools wie in Overview und Integrations.
Site-Health
Overview markiert SSL-Zertifikate vor Ablauf oder abgelaufen, Sites ohne Crawls seit 48+ Stunden und Installs ohne Tracking-Ping seit 7+ Tagen—damit stille Ausfälle früh sichtbar werden.
robots.txt-Änderungs-Tracking
Ändert sich robots.txt, behalten Rescans und tägliche Checks eine Diff-Timeline. Optionale E-Mail-Präferenz informiert bei Dateiänderungen.
robots-Verstoß-E-Mails
Nach Speichern eines Blockdatums für einen riskanten Crawler können spätere Visits eine Verstoß-E-Mail auslösen—hilfreich bei Spoof oder Non-Compliance.
Panel-Benachrichtigungen
Die Benachrichtigungsglocke listet Quota-, Health-, robots- und ähnliche Events in einer Inbox—alles gelesen markieren ohne das Dashboard zu verlassen.
Web Push
Aktivieren Sie Push in unterstützten Browsern (auf iOS zuerst zum Home-Screen hinzufügen) für Quota-, SSL- und Crawl-Ruhe-Alerts. Crawl-Visit-Spam ist ausgeschlossen.
PWA / Home-Screen-App
Unter Integrations NMOS zum Home-Screen hinzufügen für schnelleren Panel-Zugang. Crawl-Daten brauchen Verbindung—nichts wird offline gespeichert.
Aktivitäts-Zusammenfassungs-E-Mail
Optionale Digests fassen Crawl-Aktivität zusammen, ohne jeden Tag das Panel zu öffnen. Präferenzen liegen bei den Benachrichtigungseinstellungen.
Konto & Wachstum
Sicheres Login, Einladungs-Belohnungen und Katalog erweitern.
2FA (TOTP)
Authenticator-Apps wie Authy oder Google Authenticator
Referral-Programm
+15 Tage auf Ihrem Plan, wenn ein Eingeladener Free→Paid upgraded
Katalog-Vorschlag
Fehlenden Crawler-Typ zur Prüfung vorschlagen
Sicherheits- und Wachstums-Tools
Dieselben 2FA-, Referral- und Katalog-Vorschlags-Tools wie in Kontoeinstellungen und Crawler-Verzeichnis.
Zwei-Faktor-Authentifizierung
Aktivieren Sie TOTP in den Kontoeinstellungen mit Authy, Google Authenticator oder einer ähnlichen App. Eine Warnung bleibt sichtbar, bis 2FA an ist.
Referral-Programm
Teilen Sie Ihren Referral-Code oder Einladungslink. Upgraded jemand, den Sie eingeladen haben, erstmals von Free auf Paid, verlängert sich Ihr Plan um 15 Tage. Belohnungsstatus bleibt im Referral-Panel.
Crawler-Katalog-Vorschlag
Fehlt ein Crawler-Typ im Verzeichnis, senden Sie einen Vorschlag aus dem Panel. Das Team prüft Einsendungen—die Erkennungsabdeckung wächst über die Zeit.
Wie funktioniert es?
Starten Sie das Crawl-Tracking in 3 einfachen Schritten
1
Registrieren
Erstellen Sie ein kostenloses Konto und wählen Sie Ihr Paket. Aktivieren Sie Ihr Konto mit E-Mail-Bestätigung.
2
Tracking installieren
Fügen Sie Meta-Tag, tracking.js und optionalen No-JS-Beacon in den Head ein. Kopieren Sie das vollständige Snippet unter Meine Websites.
3
Tracken & prüfen
Prüfen Sie die Installation mit Check, folgen Sie optional der Onboarding-Tour und prüfen Sie dann Crawls und Readiness.
Tracking-Systeme
Eigene Seiten für wichtige Such- und KI-Crawler
Kostenlos starten
Fügen Sie Ihre erste Website in wenigen Minuten hinzu