关于我们的数据采集程序
CyberInsight Asia 亚太网络安全洞察 使用自动程序读取公开网页,用于核对法律状态和收集公开的安全公告。程序只读取公开页面,不登录、不绕过付费墙或访问限制。
程序的 User-Agent 形如 CyberInsightAsia-role/0.1 (+mailto:contact@cyberinsight.info),其中包含联系邮箱。
程序先读取并遵守网站的 robots.txt;如果 robots.txt 无法读取或返回服务器错误,程序视为禁止访问,不会继续抓取。
程序对每个主机限速,并遵守该站声明的 Crawl-delay;遇到访问被拒或限流时会停止而不是绕过。
如需我们停止访问您的网站,请发送邮件至 contact@cyberinsight.info,或在 robots.txt 中说明。