最新信息
您的位置:网站首页  » 网站优化 » 正文

应如何合理的使用ROBOTS.TXT文件

2019-07-02阅览次数: 193次
要学会屏蔽一些蜘蛛的技巧!比如除了限制蜘蛛在ADMIN和DATA上的爬行,还可以在其他的目录上适当的屏蔽蜘蛛,也是非常有好处的,下面就来分析几种屏蔽蜘蛛的技巧!

网站能够在搜索引擎里获得很好的排名是非常重要的,于是很多站长竭尽讨好搜索引擎之能事,恨不得把搜索引擎的蜘蛛当成皇上来看待,希望能够获得蜘蛛的赏识,从而提升网站的排名,可是事实上,即使把蜘蛛伺候好了,也不能够获得很好的排名,这是为什么呢?因为蜘蛛并没有人类的情感,即时你把它当成皇上他也对你毫无怜悯,该怎样就怎样,所以在网站优化方面,并不是对蜘蛛越好优化效果就越好,而是要懂得取舍!要学会屏蔽一些蜘蛛的技巧!比如除了限制蜘蛛在admin和data上的爬行,还可以在其他的目录上适当的屏蔽蜘蛛,也是非常有好处的,下面就来分析几种屏蔽蜘蛛的技巧! 

  一:图片和模板目录都可以进行屏蔽
  因为目前很多站长都是在互联网上找相同的图片和套用现成的模板,这些模板和图片已经在互联网泛滥了,此时你还让你的网站被蜘蛛再次爬行这些老掉牙的东西,自然会让蜘蛛非常的反感,从而让你的网站贴上模仿作弊的标签,想要获得搜索引擎的青睐反而是更加困难,所以IMAGES目录通常可以屏蔽!
  二:缓存目录可以屏蔽,防止重复索引
  蜘蛛是非常贪婪的,只要你给他喂食,它是不管真实还是虚幻都照单全收,比如网站的缓存目录里面的内容,蜘蛛也会照样来进行索引,这势必和网站里面的内容出现了重复,如果出现重复的数量过多,那么百度的算法机制就会认为你的网站在作弊,从而甚至提升你网站的权重,给网站带来极大的影响,通常每种建站程序的缓存目录是不一样的,要根据不同的建站程序来屏蔽相应的缓存目录是很有必要的!
  三:CSS目录及部分RSS页需要屏蔽
  CSS目录对于蜘蛛而言是完全无用的,抓取后反而会影响搜索引擎算法的判断,所以可以通过ROBOTS.TXT文件来进行屏蔽,另外很多建站程序的RSS页也是一种内容的重复,抓取后也会造成搜索引擎的误判断,这两个方面的内容都需要屏蔽!这种屏蔽看起来是对蜘蛛的大不敬,实际上却如良药苦口利于病!忠言逆耳利于行!
  四:如果有双页面,那么优先屏蔽动态页面
  一般而言,网站的静态页面是很容易被搜索引擎收录,通常蜘蛛抓取和收录是两回事,网站除了静态页面之外,大部分网站还存在着动态的页面,比如“w w w.X XXX /1.html与w w w.xx xx x/ as p?id=1这两个指的是同一个页面,如果不进行屏蔽的话,势必造成两个页面同时被蜘蛛抓取,可是到了搜索引擎算法判断的时候,因为发现了两个一样的页面,就会认为你网站存在作弊的嫌疑,所以加大对你网站的考察力度,从而影响到网站的排名,所以正确的做法是优先屏蔽网站的动态页面!
  五:涉及网站安全隐私的内容要屏蔽
  本文的开头提到了ADMIN和DATA目录实际上是有关网站安全隐私的内容,暴露给蜘蛛是没有丝毫好处的,甚至还可能会多一份被攻击的渠道,所以涉及到有关安全的目录,比如数据库目录,网站日志目录以及备份目录都需要进行屏蔽,另外有些站长在网站备份后,再进行下载,可是下载过后有不注意对备份文件的删除,这也是很容易导致蜘蛛重复抓取,也容易导致被黑客攻击,所以利用ROBOTS.TXT文件来屏蔽类似”RAR和ZIP”文件也是非常有必要的!最起码能够增强网站的安全性!
  总而言之,如果一味的把蜘蛛当成皇上,往往是马屁拍到尾巴上了,通过适当的优化屏蔽,解决蜘蛛的工作压力,这才是最大的马屁,也是提升网站优化水平的大道!
相关阅读
客服明星网站建设
  • 精灵,WEBOSS的共同所有者,专注Web服务器/用户体验设计师和前端开发,梦幻般的设计,注重细节蓝精灵,亚[详细]

  • 闵哥,能讲很标准的普通话,我们感觉比电台还好听。他总是戴耳机,时刻再听音乐...闵哥,网络资深从业[详细]

  • 蓝蓝,主要负责平面排版工作。一个有才华的设计师,她结合了她十多年作为销售和市场营销专业的经验蓝蓝[详细]

关于我们 - 联系我们 - 诚聘英才 - 网站文化 - 法律服务 - 网站地图 - 友情链接

合作伙伴 - 网站留言 - 留言列表 - 结算方式 - 在线订单 - 网站投票 - 网站地图

备案编号:鄂ICP备18023717号

©中国网站原创联盟服务机构·亚荣软件·宜昌网站制作

April Media is an independent Media Organization based in Yichang, China.

宜昌亚荣软件开发有限公司 ©版权所有

Copyright © 2010 - 2019 April Media. All Rights Reserved

TEL:13986805302;0717-8866860

UNID:91420506MA48BM2C2J

E-MAIL:web@mrtx.cn

在线下单    13986805302袁工/ 13581492345 闵工/营销中心:0717-8866860 QQ:84486631
网站测试期间,网站文字,图片,及其他资源,若侵犯您的权力,请联系我们!
  • 在线沟通,请点我在线咨询

  • 咨询热线:
    139868O53O2
    客服qq:
    84486631