专业创造价值,服务赢取未来!我们专注于中小企业网站建设服务15年-博士通!
0755-89812581| 网站导航
返回优化课堂版块 | 返回优化课堂列表页当前所在位置:首 页 > 优化课堂 > 站内优化怎么做 > robots.txt文件需要屏蔽那些目录

robots.txt文件需要屏蔽那些目录

robots.txt文件需要屏蔽那些目录发布时间 : 2016-08-30    作者 : 博士通    浏览 : 2071

一个合格的网站,必须在根目录下包含一下robots.txt文件,但是,你真的知道网站robots.txt文件设置是否合理,哪些文件或者目录需要屏蔽、哪些设置方法对网站运营有好处?

一个合格的网站,必须在根目录下包含一下robots.txt文件,但是,你真的知道网站robots.txt文件设置是否合理,哪些文件或者目录需要屏蔽、哪些设置方法对网站运营有好处?下面深圳网站建设小编为大家进行详细的解答。

一、什么是robots.txt

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt,在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

二、robots.txt文件对网站有什么好处

1、快速增加网站权重和访问量;

2、禁止某些文件被搜索引擎索引,可以节省服务器带宽和网站访问速度;

3、为搜索引擎提供一个简洁明了的索引环境。

三、哪些网站的目录需要使用robots.txt文件禁止抓取

1)、图片目录

图片是构成网站的主要组成元素。随着现在建站越来越方便,大量CMS的出现,真正做到了会打字就会建网站而正是因为如此方便,网上出现了大量的同质化模板网站,被反复使用,这样的网站搜索引擎是肯定不喜欢的,就算是你的网站被收录了,那你的效果也是很差的。如果你非要用这种网站的话,建议你应该在robots.txt文件中进行屏蔽,通常的网站图片目录是:imags 或者 img;

2)、网站模板目录

如上面图片目录中所说,CMS的强大和灵活,也导致了很多同质化的网站模板的出现和滥用,高度的重复性模板在搜索引擎中形成了一种冗余且模板文件常常与生成文件高度相似,同样易造成雷同内容的出现。对搜索引擎很不友好,严重的直接被搜索引擎打入冷宫,不得翻身,很多CMS有拥有独立的模板存放目录。因此,应该进行模板目录的屏蔽。通常模板目录的文件目录是:templets

3)、CSS、JS目录的屏蔽

CSS目录文件在搜索引擎的抓取中没有用处,也无法提供有价值的信息。所以强烈建议站长朋友们在Robots.txt文件中将其进行屏蔽,以提高搜索引擎的索引质量。为搜索引擎提供一个简洁明了的索引环境更易提升网站友好性。CSS样式的目录通常情况下是:CSS 或者 style

JS文件在搜索引擎中无法进行识别,这里只是建议,可以对其进行屏蔽,这样做也有一个好处:为搜索引擎提供一个简洁明了的索引环境;

4)、屏蔽双页面的内容

大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问,如果你生成全站静态了,那你必须屏蔽动态地址的URL链接。这里有两个好处:1、搜索引擎对静态的URL比动态的URL更友好、更容易收录;2、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。这样做对搜索引擎友好性来说是有益无害的。

5)、模板缓存目录

很多CMS程序都有缓存目录,这种缓存目录的好处我想不用说大家也清楚了吧,可以非常有效的提升网站的访问速度,减少网站带宽,对用户体验也是很好的。不过,这样的缓存目录也有一定的缺点,那就是会让搜索引擎进行重复的抓取,一个网站中内容重复也是大祭,对网站百害而无一利。很多使用CMS建站的朋友都没有注意到,必须要引起重视。

6)被删除的目录

死链过多,对搜索引擎优化来说,是致命的。不能不引起站长的高度重视。在网站的发展过程中,目录的删除和调整是不可避免的,如果你的网站当前目录不存在了,那必须对此目录进行robots屏蔽,并返回正确的404错误页面(注意:在IIS中,有的朋友在设置404错误的时候,设置存在问题,在自定义错误页面一项中,404错误的正确设置应该是选择:默认值 或者 文件,而不应该是:URL,以防止搜索引擎返回200的状态码。)

这里有一个争议性的问题,关于网站后台管理目录是否需要进行屏蔽,其实这个可有可无。在能保证网站安全的情况下,如果你的网站运营规模较小,就算网站管理目录出现在robots.txt文件中,也没有多大问题,这个我也见过很多网站这样设置的;但如果你的网站运营规模较大,竞争对手过多,强烈建议千万别出现任何你网站后台管理目录的信息,以防被别有用心的人利用,损害你的利益;其实搜索引擎越来越智能,对于网站的管理目录还是能很好的识别,并放弃索引的。另外,大家在做网站后台的时候,也可以在页面元标签中添加:进行搜索引擎的屏蔽抓取。

最后,需要说明一点,很多站长朋友喜欢把站点地图地址放在robots.txt文件中,当然这里并不是去屏蔽搜索引擎,而是让搜索引擎在第一次索引网站的时候便能通过站点地图快速的抓取网站内容。

这里需要注意一下:1、站点地图的制作一定要规范;2、网站一定要有高质量的内容;

如没特殊注明,文章均为深圳网站建设原创,转载请注明:博士通www.800535.com

其他人还阅读了该篇文章:SEO优化方案之--站内优化

网站优化课堂栏目:如何选择关键词    |    站内优化怎么做    |    什么是外链建设    |    网站优化思路分析    |    网站优化行业趋势    |    网站优化常见问题

关于我们 / About Us
深圳网站建设办公环境 博士通是一家一站式中小企业网络运营方案提供商,全国统一服务热线 :0755-89812581 ; 博士通总部位于深圳,业务涵盖域名注册,空间购买,深圳网站建设,网站建设和改版,微信公众号运营,百度竞价托管,网站优化推广引流,手机网站建设,小程序开发,购物网站开发,企业邮箱申请等服务。和传统网络公司不同的是,博士通在网页设计风格上独树一帜,领先行业率先推出宽屏企业网站设计风格,围绕客户需求的同时兼具行业潮流设计网站,让网站在新式设备上获得更好地展示效果;历经14年网站建设企业网站制作经验积累,客户遍及深圳,广州,成都,香港等地,涉及办公,装饰,电子,物流等不同行业... > > > 详 情
联系我们 / Contact Us
深圳市  龙华新区
富泉大厦715室
0755 - 业务咨询
89812581
售后QQ : 1227522459
E-mail : service@800535.com
© 2004-2019 深圳市博士通科技有限公司 版权所有( 粤ICP备15005241号 )  网站常年法律顾问:朱运德律师   
logo
做个企业网站多少钱?点击QQ图标,马上知道答案!
logologologo
咨询热线:0755 - 898 12581