首页 >搜索优化 >

不清晰您的网站日记中是否有出现过一个不太常见的CC蜘蛛,访问名称为:CCBot/2.0,下面我们详细来相识一下CCbot是什么蜘蛛?

一. CCbot是什么蜘蛛?

CCbot,全称为Common Crawl Bot,是一个非营利性基金会致力于提供可以被全部人访问和阐发的Web爬网数据的开放存储库。

二. 你怎样处置惩罚CCbot蜘蛛?

要领1. 利用robots.txt

利用robots.txt文件来答应或克制蜘蛛访问页面的权限。robots.txt是放在网站根目次中,蜘蛛来访问时会先查找并检察robots.txt文件,并服从robots协议来访问网站上的内容,答应访问则访问,不答应访问蜘蛛则脱离。

①. 不答应任何蜘蛛访问您站点的任何部门

User-agent:*

Disallow:/

②. 答应任何蜘蛛访问您站点的任何部门

User-agent:*

Disallow:

③. 不答应CCbot蜘蛛访问网站的任何部门

User-agent:ccbot

Disallow:/

④. 答应CCbot蜘蛛访问您站点的任何部门

User-agent:ccbot

Disallow:

⑤. 答应CCbot蜘蛛访问您站点,但不答应CCbot访问“wp-admin”文件夹

User-agent:ccbot

Disallow:/wp-admin

要领2. 利用元标志

可以在页面中利用元标志来资助控制搜刮引擎蜘蛛对您网站的访问权限。假如您为全部页面利用模板,则可以在和之间添加元标志, 它将实用于利用该模板的全部页面。假如要控制特定页面,可以在和之间的各个页面上添加元标志 。

①. 答应全部蜘蛛访问您的页面

②. 答应全部蜘蛛访问您的网页并跟踪页面上的链接

③. 答应全部蜘蛛访问您的网页,但不答应他们跟踪链接

④. 不答应任何蜘蛛访问您的网页

⑤. 答应CCbot访问您的网页

⑥. 不答应CCbot访问您的页面

⑦. 答应CCbot访问您的页面并跟踪更多页面的链接

假如你在网站日记中也发明了CCbot,不要惶恐,你接下来必要做的就是是答应它继承爬行照旧克制爬行?May小我私家以为这类蜘蛛没有多大的意义,一旦发明这类蜘蛛爬行比力频仍,最好的方法就是克制这些蜘蛛继承访问我们的网站。

原创:MAY的SEO博客 https://may90.com/share/ccbot.html 未经答应,请勿转载!

TAG:蜘蛛 排名 点击 SEO
上一篇:「seo排名点击器」高质量外链建设方法?网站SEO优化站外操作 下一篇:「百度网站优化软件」企业网站SEO优化好处,为何要操作互联网推广