1310-6499-520
今天是:
站内搜索:  
您的当前位置:主页 > 知识博客 > SEO/SEM >
联系我们

名称:九分网络科技

联系:13106499520

地址:福建省福州市仓山区金榕南路553号


扫一扫添加微信

你对robots.txt知多少,它的作用有哪些?--九分网络

时间:2020-06-17   分类:SEO/SEM    作者:网络   来源:网络整理   点击:123

  新手SEO站长可能很少了解robots.txt文件,因为这个文件通常写好之后基本是不会再修改了的。当然,除非某天你不想蜘蛛抓取你的网站了,或者网站有私密文件禁止公开,这个时候就可以通过修改robots.txt文件的语法了,具体的语法这里就不阐述了。

本文来自九分网络

  虽然robots.txt在日常SEO工作中很少触碰,但它存在的意义却是非常大的。Robots的作用已经不在局限于网页的隐私了,还在于页面某些路径的清理,如删除死链非常管用。下面随尹华峰SEO技术博客来全面认清真正的robots.txt文件。

九分网络

robots.txt文件知多少?

www.9fen.net

内容采集来自9fen.net

  一、什么是robots.txt文件?

www.9fen.net

  robots.txt它是一个文本的文件,是一种存放于网站根目录下的文本文件,它通常会告诉搜索引擎的抓取程序(又称网络爬虫或蜘蛛),这个网站中有哪些内容不应该被搜索引擎的抓取程序获取的,又有哪些是可以被抓取程序获取的。 copyright 9fen.net

  robots.txt这个robots必须是要小写的,这是跟网络蜘蛛建立的一个协议,网络蜘蛛来你的网站的时候第一会去看的就是你网站根目录的robots.txt协议文件,它会根据你的规定来进行抓取,但是有些傲娇的网络蜘蛛它不遵循规则,一般网络蜘蛛都会会遵循的,要是你网站根目录没有这个文件的话网络蜘蛛就会沿着我们网站上面的链接一个一个进行抓取。

copyright 9fen.net

  二、robots.txt的作用有哪些?

www.9fen.net

  (1)它可以引导搜索引擎的蜘蛛抓取指定的栏目或者是内容。相当于你去一个陌生的城市,有人给你带路一样。 www.9fen.net

  (2)当我们网站改版或者是URL重写优化时屏蔽不好的链接。不到万不得已千万不要进行网站改版,这个对网站伤害很大的,会引起降权或者是排名收录全掉。 内容采集来自9fen.net

  (3)可以屏蔽死链接和404错误页面。随着网站壮大,死链接和404错误页面是在所难免的。 本文来自九分网络

  (4)屏蔽那些无内容和无价值的页面。

九分网络

  (5)屏蔽重复页面,比如说评论页、搜索结果页。

本文来自九分网络

  (6)屏蔽任何不想被收录的页面。 内容采集来自9fen.net

  (7)引导蜘蛛来抓取网站地图。让蜘蛛更快速来爬取我们网站的链接。

copyright 9fen.net

  总结:因为robots.txt文件是网站跟蜘蛛的一个协议,蜘蛛来抓取网站时必然先(理论上)遵守协议。所以很多网站robots.txt文件就出现了一种情况,那就是把网站地图sitemap放进去,如峰峰的博客也不例外哦,这样自然是为了吸引蜘蛛快速抓取网站链接,便于收录。还有就是查询别的网站robots.txt文件时,可直接在域名后面加一个robots.txt即可一览无遗。 www.9fen.net

标签: SEO分析 SEO入门 搜索引擎S robots.txt文件

郑重声明:本文版权归原作者所有,九分网络转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。


九分网络专业提供公众号、小程序、PC及移动端站点搭建!网站程序及服务器维护:13106499520。微信:452570709

----相关文章----