robots.txt
Block/open durumu, AI/scraper kural önerileri, diff geçmişi ve blok sonrası ziyaret işaretleri
Hizmetlerimiz
Arama ve AI crawler’ların hangi sayfalara geldiğini görün, politika ve kapsam boşluklarını yakalayın; meta, JS, beacon veya Worker ile kurun.
Panelde neler var
Paneldeki teknik dosya ve politika kontrolleri—engelleme vaadi yok.
Bot gibi tara
Googlebot/GPTBot simülasyonu: robots.txt, indeks sinyalleri ve HTML önizleme (JS yok)
Meta / X-Robots-Tag
Ana sayfa veya en çok taranan URL'de noindex/nofollow; robots Allow ile çatışma
llms.txt
llms.txt kontrolü ve Markdown şablonu
sitemap.xml
Erişilebilirlik, tazelik ve sitemap × crawl boşluk haritası
Site hazırlığı
robots, sitemap, llms ve tracking tek skor
Panelde neler görürsünüz
Temel ziyaret listesinin ötesindeki crawl iş akışları
Crawl yolculukları
Bir botun sayfalar arası tahmini yolunu görün (yakın IP + 30 dk pencere)
Bot HTTP hataları
Botların aldığı 404/5xx yolları, son görülme ve ziyaret sayısıyla
Bot zaman çizelgesi
İlk/son görülme, New/Active/Quiet ve eşleşen ziyaretlere geçiş
llms.txt × AI ziyaretleri
llms.txt’teki hangi URL’ler AI crawler’larca ziyaret edildi — hangileri edilmedi (ziyaret kaydı; model eğitimi kanıtı değil)
Bugünün öncelikleri
Sitelerinizde önce bakmanız gereken en fazla üç sorun
Kurulum yöntemleri
Meta, JS, no-JS beacon, WordPress, GTM ve Cloudflare Worker — yığınıza uygun olanı seçin
Politika ve teknik dosya kontrolleri
robots.txt, meta robots, llms.txt, sitemap.xml ve hazırlık—paneldekiyle aynı.
robots.txt analizi
Caution/danger crawler'ların açık veya bloklu olduğunu görün; AI veya scraper öneri filtrelerini kullanın; mevcut ve önerilen kuralları diff ile karşılaştırın; rescan ve günlük kontrollerden versiyon geçmişi tutun; blok tarihi kaydedip sonraki ziyaretleri ihlal olarak işaretleyin.
Bot gibi tara
Kendi sitelerinizde seçilen bot user-agent ile crawler simülasyonu çalıştırın. robots.txt izin durumunu, title/canonical/noindex sinyallerini ve HTML yanıtını görün — JavaScript çalıştırılmaz. Pro pakette.
Meta robots / X-Robots-Tag
Ana sayfa veya en çok taranan URL'den meta robots ve X-Robots-Tag okuyun. robots.txt yolu Allow ederken meta/header indexing'i engelliyorsa (noindex/nofollow) çatışmayı işaretleyin.
llms.txt
/llms.txt var mı kontrol edin. Yoksa panelden Markdown şablonunu kopyalayın. Crawler engeli robots.txt içindir.
sitemap.xml ve crawl boşluğu
Sitemap erişilebilirliği, URL sayısı ve lastmod tazeliğini kontrol edin. Sitemap URL'lerini crawl hit'leriyle karşılaştırın (overlap + gap map); hiç taranmayan veya sitemap'te olmayan sayfaları bulun.
Site hazırlık skoru
robots.txt, sitemap.xml, llms.txt ve tracking tek skorda—kısa geçmişle neyin düzeldiğini ve sıradaki düzeltmeyi görün.
Doğrulama ve risk
Kim gerçek, hangi AI crawler geldi, bütçe nerede boşa gidiyor, her crawler ne kadar riskli.
Bot kimlik doğrulama
rDNS doğrulama, verified oranı ve spoof şüpheleri
AI crawler insights
30 günlük AI ziyaret, unique bot, caution/danger hit ve sonraki adımlar
Crawl budget waste
Riskli/scraper path hitleri ve path bazlı Disallow önerileri
Güvenlik seviyeleri
Katalog ve ziyaret filtrelerinde caution / danger rozetleri
Kimlik, AI riski ve crawl israfı
Overview, bot authenticity ve crawl analizindeki aynı doğrulama araçları.
rDNS / bot kimlik doğrulama
Bilinen crawler'ları reverse DNS ile doğrulayın. Verified oranı, spoof şüpheleri ve hostname dağılımını görün.
AI crawler insights
Son 30 gün AI crawler ziyaretleri: toplam hit, unique AI bot, caution/danger hacmi; llms.txt güncelleme veya robots.txt'te açık AI crawler'ları gözden geçirme önerileri.
Crawl budget waste
Son 30 günde caution/danger ve scraper crawlerların en çok vurduğu pathleri görün; boşa giden crawl bütçesini kesmek için path bazlı Disallow önerilerini kopyalayın.
Safety badge ve risk seviyeleri
Her crawler türü katalogda ve ziyaret filtrelerinde safe / caution / danger seviyesi taşır—riskli trafik engelleme vaadi olmadan görünür olur.
Trafik, analitik ve export
Trafik nasıl dağılıyor, hangi kaynaklar gerçek ziyaret üretiyor ve ihtiyacınız olan satırları export edin.
Trafik
Cihaz, tarayıcı, OS ve human vs crawler dağılımı
Referral kaynakları
Gerçek ziyaret üreten referrerlar, CSV export ile
Crawl Analysis
Sayfa, crawler, UA veya IP ile filtre ve arama
CSV export
Crawl ziyaretleri ve referral kaynaklarını CSV olarak alın
Dönem karşılaştırması
Mevcut dönemi önceki pencereyle karşılaştırın
Gelişmiş analitik
Pro ve üzeri planlarda daha derin raporlar
Crawl analizi ve raporlama
Paneldeki trafik, referrer, bots ve export araçlarıyla aynı.
Trafik kırılımı
Cihaz, tarayıcı, işletim sistemi ve human vs crawler ayrımını görün; gerçek ziyaretçi ile bot yükünü ayırın.
Referral kaynakları
Ham hit değil, gerçek ziyaret üreten referrerları görün; gerektiğinde listeyi CSV olarak export edin.
Crawl Analysis
Crawl ziyaretlerini sayfa URL, crawler adı, User-Agent veya IP ile arayın ve filtreleyin. Boş state ve safety badge katalogla uyumludur.
CSV export
Crawl ziyaretlerini ve referral kaynaklarını panelden CSV olarak export edin—sheet veya denetim için anlık kopya.
Dönem karşılaştırması
Mevcut monitoring penceresini önceki dönemle karşılaştırın; crawl hacmi ve risk kaymalarını panelden çıkmadan görün.
Gelişmiş analitik
Pro ve üzeri planlar temel ziyaret toplamlarının ötesinde daha derin raporlar açar—billing plan limitleriyle hizalı.
Kurulum ve takip kanalları
Cookieless tracking; script, no-JS beacon ve kurulum doğrulama.
Cookieless tracking
Takip çerezi yok — data ve analytics ekipleri için gizlilik dostu yakalama
tracking.js
Cookieless script; meta tag ile birlikte crawl yakalama
No-JS beacon
Cookieless CSS beacon; JavaScript kapalı veya kısıtlıyken ping
Kurulum Kontrolü
Meta tag ve tracking.js sitede canlı mı doğrulayın
Kurulum nasıl çalışır
Web Sitelerim ve kurulum rehberindeki aynı kanallar ve kontroller.
Cookieless tracking
Müşteri sitesindeki yakalama takip çerezi koymaz. Data ekipleri crawl ve trafik sinyallerini, NMOS tracking için ekstra cookie consent yükü olmadan bağlayabilir.
tracking.js
Web Sitelerim'den meta tag ve tracking.js'i kopyalayın. Cookieless script crawler ziyaretlerini bildirir; analitik ve politika araçları canlı veri alır.
No-JS beacon
JavaScript kısıtlı ortamlarda isteğe bağlı cookieless beacon stylesheet ekleyin. Panel kanal durumunu ve son beacon pingini gösterir.
Kurulum Kontrolü
Web Sitelerim'de Kontrol Et ile meta tag ve tracking.js'in canlı olduğunu doğrulayın. Doğrulama tamamlanmadan önce de takip başlayabilir.
Site yönetimi ve işbirliği
Ekip davet edin, plan limitlerinde site büyütün, kota uyarılarını erken görün.
Site paylaşımı
View veya manage rollü e-posta davetleri
Çoklu site ve kota
Plan site limiti; sınıra gelince soft wall
Billing ve kota uyarıları
%80 ve kota dolunca panel + e-posta uyarısı
Erişim paylaşın, plan limitinde kalın
Web Sitelerim ve Billing'deki aynı paylaşım, site limiti ve kota araçları.
Site paylaşımı
Birini e-posta ile view veya manage rolünde davet edin. Bekleyen davetler, kabul/red ve iptal Web Sitelerim'de kalır—ortak hesap gerekmez.
Çoklu site ve plan kotaları
Her plan kaç site izleyebileceğinizi sınırlar. Site limitine ulaşınca panel soft wall gösterir ve sessizce kırılmak yerine yükseltmeye yönlendirir.
Billing ve kota uyarıları
Aylık crawl kotaları fatura döneminde sıfırlanır. %80 civarında ve kota dolunca panel ve isteğe bağlı e-posta uyarısı alırsınız; dolunca yeni ziyaretler loglanmaz.
İzleme, uyarı ve bildirim
Health sinyalleri, robots değişiklik takibi, panel uyarıları, push, ana ekran uygulaması ve e-posta özetleri.
Site health
SSL bitiş, 48s+ crawl quiet, 7g+ tracking stale
robots.txt değişiklikleri
Diff timeline + içerik değişince isteğe bağlı e-posta
İhlal e-postaları
Blok tarihi sonrası crawler tekrar gelirse uyarı
Panel bildirimleri
Kota, health ve politika olayları için bell inbox
Web Push
Kota, SSL, quiet uyarıları—crawl spam yok
PWA / ana ekran
Integrations'tan paneli uygulama gibi yükleyin
Aktivite özeti e-postası
İsteğe bağlı crawl aktivite özeti
Sizi nasıl bilgilendiriyoruz
Overview ve Integrations'taki aynı health, bildirim, push ve PWA araçları.
Site health
Overview SSL süresi dolmak üzere veya dolmuş sertifikaları, 48+ saattir crawl olmayan siteleri ve 7+ gündür tracking pingi gelmeyen kurulumları işaretler—sessiz arızalar erken görünür.
robots.txt değişiklik takibi
robots.txt içeriği değişince rescan ve günlük kontroller diff timeline tutar. İsteğe bağlı e-posta tercihi dosya değişince bilgilendirir.
robots ihlal e-postaları
Riskli crawler için blok tarihi kaydettikten sonra tekrar gelen ziyaretler ihlal e-postası tetikleyebilir—spoof veya uyumsuz botlar için faydalı.
Panel bildirimleri
Bildirim zili kota, health, robots ve benzeri olayları tek inbox'ta listeler—panelden çıkmadan hepsini okundu işaretleyin.
Web Push
Desteklenen tarayıcılarda (iOS'ta önce Ana Ekrana ekleyin) kota, SSL ve crawl-quiet tarzı uyarılar için push açın. Crawl ziyaret spam'i hariçtir.
PWA / ana ekran uygulaması
Integrations'tan NMOS'u ana ekrana ekleyin; panele daha hızlı erişin. Crawl verisi bağlantı ister—offline saklanmaz.
Aktivite özeti e-postası
İsteğe bağlı aktivite özetleri crawl aktivitesini özetler; her gün panele girmek zorunda kalmazsınız. Tercihler bildirim ayarlarında.
Hesap ve büyüme
Güvenli giriş, davet ödülleri ve crawler katalogunu genişletme.
2FA (TOTP)
Authy veya Google Authenticator gibi uygulamalar
Referral programı
Davetli ücretsiz→ücretli geçince plana +15 gün
Katalog önerisi
Eksik crawler türünü ekibe inceleme için önerin
Güvenlik ve büyüme araçları
Hesap ayarları ve crawler dizinindeki aynı 2FA, referral ve katalog öner araçları.
İki adımlı doğrulama
Hesap ayarlarından Authy, Google Authenticator veya benzeri uygulama ile TOTP açın. 2FA açık olana kadar uyarı görünür kalır.
Referral programı
Referral kodunuzu veya davet linkinizi paylaşın. Davet ettiğiniz biri ilk kez ücretsizden ücretliye geçince planınız 15 gün uzar. Ödül durumu referral panelinde kalır.
Crawler katalog önerisi
Dizinde eksik bir crawler türü varsa panelden öneri gönderin. Ekip incelemeleri değerlendirir—tespit kapsamı zamanla genişler.
Nasıl Çalışır?
3 basit adımda crawl takibine başlayın
1
Kayıt Olun
Ücretsiz hesap oluşturun ve paketinizi seçin. Email doğrulaması ile hesabınızı aktifleştirin.
2
Takibi kurun
Meta tag, tracking.js ve isteğe bağlı no-JS beacon'ı site head'ine ekleyin. Tam snippet'i Web Sitelerim'den kopyalayın.
3
Takip ve inceleme
Kurulumu Kontrol Et ile doğrulayın, isterseniz onboarding turunu izleyin; ardından crawl ve hazırlığı inceleyin.
Takip Sistemleri
Başlıca arama ve yapay zeka crawler'ları için özel sayfalar