您的位置 首页 > 数码极客

‘如何查看网站的robots’如何查看网站的数字证书!

北京网站优化给大家讲解一下关于robots文件的一些问题。搜索引擎蜘蛛访问我们的网站最先查看的一个页面就是网站根目录下的robo的纯文本文件,因为所有搜索引擎都是遵循robots协议的,搜索引擎蜘蛛通过访问你的robo文件,可以判断你的网站哪些内容是允许蜘蛛抓取,哪些内容是不允许蜘蛛抓取的。因此北京SEO优化认为robots文件是很重要的。

Robo文件的作用:

1、屏蔽网站内的死链接。

2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。

3、阻止搜索引擎索引网站隐私性的内容。

robo文件的基本语法

第一条是:User-agent,即搜索引擎蜘蛛的名称;

第二条是:DisAllow,即要拦截的部分。

第三条是:Allow, 允许抓取的部分。

下面是一些常见的语法字符,有什么不了解的可以参考着去写

1、禁止所有搜索引擎蜘蛛访问网站的任何部分

User-agent: *

Disallow: /

2、仅允许所有搜索引擎蜘蛛抓取/zb_users/upload目录下的文件

User-agent: *

Disallow: /

Allow: /zb_users/upload/

3、仅禁止所有搜索引擎蜘蛛抓取/zb_users/upload目录下的文件

User-agent: *

Allow: /

Disallow: / zb_users/upload

常见搜索引擎蜘蛛:

百度蜘蛛:Baiduspider

谷歌蜘蛛:Googlebot

360蜘蛛:360Spider

搜狗蜘蛛:Sogou News Spider

必应蜘蛛:bingbot

robo文件需要注意的最大问题是:必须放置在一个站点的根目录下,而且文件名必须全部小写。

责任编辑: 鲁达

1.内容基于多重复合算法人工智能语言模型创作,旨在以深度学习研究为目的传播信息知识,内容观点与本网站无关,反馈举报请
2.仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证;
3.本站属于非营利性站点无毒无广告,请读者放心使用!

“如何查看网站的robots,如何查看网站的数字证书,如何查看网站的robots协议,如何查看网站的安全证书,如何查看网站的ip地址”边界阅读