Web presence / crawlability
Yang tidak tercrawl, tidak terlihat.
Web Presence dibaca dari crawlability, sitemap, stabilitas host, dan link internal. Angka di sini mengikuti snapshot audit yang tersimpan.
| Uji | Hasil | Dampak | Aksi |
|---|---|---|---|
| Common Crawl latest | 7 URL pada CC-MAIN-2026-39 | Mayoritas gagal atau 403 challenge; kontrol dan index eksternal sempat tidak stabil. | P1 |
| Crawl matrix | 103 host lolos, 32 host 403, 1 host 520 pada matriks 135 host hidup | Whitelist crawler sah dan uji ulang secara berkala. | P1 |
| Sitemap | 3.167 URL; 3.163 HTTP 200, 1 HTTP 404, 3 HTTP 520 | Bersihkan URL rusak, pecah sitemap per kategori/host, dan pasang sitemap index. | P1 |
| Robots / headers | robots tersedia pada banyak host; CSP dan fingerprint masih perlu hardening | Jangan memblokir crawler akademik; kurangi disclosure header dan konfigurasi. | P2 |
| Homepage links | 222 link unik; 158 status 200 dan sisanya error/timeout/403/404 | Perbaiki menu utama dan link layanan kunci yang down. | P1 |
Prioritas teknis.
Allow crawler sah melalui Cloudflare, bersihkan sitemap dan menu 404, sediakan sitemap per host, dan uji ulang menggunakan snapshot Common Crawl berikutnya.