Dotnet Core 判断是否是搜索引擎或百度蜘蛛来访 如何知道百度蜘蛛访问你的网站
发布时间：2024-11-06 10:09
Dotnet Core 判断是否是搜索引擎或百度蜘蛛来访 如何知道百度蜘蛛访问了本站
通过 User-Agent来判断，看请求里是否包含了这个 Baiduspider 的字样， 当然这种方式只能大概可以看出是否来自于百度蜘蛛，但是不排除人为的模拟蜘蛛行为访问你的网站的情况。只能说作为参考，做事不必太认真。
public bool IsBaiduSpider(HttpRequest request)
{
string userAgent = request.Headers["User-Agent"].ToString();
Console.WriteLine($"userAgent={userAgent}");
return userAgent.Contains("Baiduspider");
}if (isBaiduSpider)
{
// 是百度爬虫
Console.WriteLine("是百度爬虫");
}
else
{
// 不是百度爬虫
Console.WriteLine("是人工访问");
}
