关于我们的数据采集程序

CyberInsight Asia 亚太网络安全洞察 使用自动程序读取公开网页,用于核对法律状态和收集公开的安全公告。程序只读取公开页面,不登录、不绕过付费墙或访问限制。

程序的 User-Agent 形如 CyberInsightAsia-role/0.1 (+mailto:contact@cyberinsight.info),其中包含联系邮箱。

程序先读取并遵守网站的 robots.txt;如果 robots.txt 无法读取或返回服务器错误,程序视为禁止访问,不会继续抓取。

程序对每个主机限速,并遵守该站声明的 Crawl-delay;遇到访问被拒或限流时会停止而不是绕过。

如需我们停止访问您的网站,请发送邮件至 contact@cyberinsight.info,或在 robots.txt 中说明。