恶猫的博客

2018-8-2阅读(37580)评论(0)

老掉牙的东西，真懒得理，不过现在有些网站，耍些小聪明，简单的利用user-agent就来判断是不是采集器。 当然是指一些简单的个人针对自己需求写的简单性的采集软件，忘记user-agent了，结果通过URL采集到的，并不是直接的内容页，而有可能是跳转到的列表页。（如果是正常访问，他会显示内容页，通过无user-agent来判断你是软件后，他...