首先,我们要明确什么是robots.txt文件?搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件
Powered by 北京seo and seo 欢迎大家和我一起交流网站优化经验