DASAR CRAWLER

Halaman public boleh ditemukan. Permukaan private tidak.

Crawler carian dan AI yang sah boleh mengindeks laman pemasaran serta dokumentasi public. Route monitoring dalaman dan pentadbiran dikecualikan dan dilindungi secara berasingan.

Keluarga crawler yang dinamakan

Googlebot
Bingbot
GPTBot
OAI-SearchBot
Amazonbot
Facebook external hit
Applebot
DuckDuckBot

User-agent lain tidak menerima sokongan khusus. Halaman public kekal sebagai sumber web biasa. Path bukan public terus dikecualikan dan dilindungi.

Sempadan public dan private

Halaman pemasaran, dokumentasi, kepercayaan dan hubungan tersedia untuk pengindeksan biasa. /internal/, API, build asset, konsol dan path operasi private bukan kandungan public.

robots.txt hanya panduan kepada crawler. Endpoint private kekal berauthentication dan tidak muncul dalam navigasi atau sitemap public.

Pengelasan trafik

Metrik operasi server-side mengelaskan keluarga crawler hanya berdasarkan User-Agent yang dinyatakan. K-Shield tidak menganggap signal itu sebagai identiti yang telah disahkan.