027-82823488
网站建设如何禁止搜索引擎爬行和索引网站无效URL
发布时间:2018-12-06 02:08:35 / 所属栏目:行业资讯
112018-02 网站建设如何禁止搜索引擎爬行和索引网站无效URL

在网站上线运营过程中,有一些URL是不想要搜索引擎抓取的,有些事网站开发公司在做网站建设的时候直接就给网站的URL做成动态的,但是现在技术的发展,很多的动态页面也是会被搜索引擎抓取,那么要怎么解决这个问题呢?

网站建设做网站开发行业14年,做过企业网站建设,高端品牌网站建设,响应式网站开发,电商网站建设,很多的网站有一些无效的URL,说它无效不是URL无法访问,而是站在SEO的角度上,这样讲的,这些URL不能对SEO产生硬顶的效用,反而会有影响,所以需要禁止这也无效的URL。

在文章的开头我们说过了,在网站建设中,如果有不想被抓取的URL,我们会将URL做成动态的,来阻止搜索引擎的爬行和收录,但是另一方面因为技术的创新,并不是所有的动态页面都无法收录,还是会有一定几率收录的,所以这个方法,并不能从根源上解决问题。

另外一个解决方法就是利用robots文件,在robotx.txt文件中,禁止那些不想要搜索引擎抓取的页面,当利用这个文件禁止爬行那些无效URL之后,页面的权重就会只进不出,不会对网站的SEO带来影响。

还有其他几种方法,比如说在网站页面的head部分加上nofollow标签,很多的网站过滤的页面数量大,如果搜索引擎爬行了这些页面,那就没有时间去爬行其他有用的页面了。还有一种方法是隐藏页面,但是这种方法如果操作不当的话,会被搜索引擎认为是作弊,所以一般情况下不推荐使用。

不同的网站有不同的解决方法,需要看你网站的侧重点在哪些方向,所以网站建设给出的这些建议,只供大家参考,但不推荐大家使用。