搜索引擎蜘蛛/爬虫真假IP检测
功能介绍:
对于通过伪造请求头(User-Agent),声称自己为搜索引擎爬虫的,可以通过其访问IP来验证其是否为真实的搜索引擎爬虫/蜘蛛/机器人。
支持验证搜索引擎平台:
谷歌googlebot、百度baiduspider、必应msnbot、今日头条bytespider、搜狗sogouspider、有道youdaobot、Yandexspider、神马shenmaspider
功能介绍:
对于通过伪造请求头(User-Agent),声称自己为搜索引擎爬虫的,可以通过其访问IP来验证其是否为真实的搜索引擎爬虫/蜘蛛/机器人。
支持验证搜索引擎平台:
谷歌googlebot、百度baiduspider、必应msnbot、今日头条bytespider、搜狗sogouspider、有道youdaobot、Yandexspider、神马shenmaspider