河南专业的凯发K816建设,凯发K816优化公司,郑州启凡网络,10年互联网行业经验,上百家优化案例客户,四年以上的技术团队,正规白帽操作,不到首页,不收费,选择我们是您不二的选择。

郑州凯发K816建设,优化推广外包公司,10年经验沉淀
为企业创造价值,我们懂技术,更懂营销

「郑州SEO」如何禁止蜘蛛抓取凯发K816

时间:2019-03-27
分享到:
  要知道在seo优化的过程当中,有时候是需要对搜索引擎蜘蛛进行屏蔽的,就是禁止对凯发K816的某个地方进行抓取,那么我们应该如何屏蔽搜索引擎蜘蛛呢?下面我们一起来看一看具体的操作方法。
 
 
百度蜘蛛
 
  
  百度蜘蛛抓取我们的凯发K816,希望我们的网页能被包含在它的搜索引擎中。将来,当用户搜索时,它会给我们带来一定量的搜索引擎优化流量。当然,我们不想让搜索引擎抓取所有东西。此时我们只希望能够抓取搜索引擎搜索到的内容。例如,用户的隐私和背景信息不希望搜索引擎被捕获和包含。解决这些问题有两种最佳方法,如下所示:
 
1、通过403状态码,限制内容输出,屏蔽蜘蛛抓取。
  
  403状态代码是http协议中的网页返回状态代码。当搜索引擎遇到403状态代码时,它知道这些页面受权限限制。我无法访问它。例如,如果您需要登录才能查看内容,搜索引擎本身将无法登录。如果您返回403,他也知道这是权限设置页面,无法读取内容。当然,它不会被包括在内。
  
  返回403状态代码时,应该有一个类似于404页面的页面。提示用户或蜘蛛执行他们想要访问的内容。两者都是不可或缺的。您只有提示页面,状态代码返回200,这是百度蜘蛛的大量重复页面。有403个状态代码但返回不同的内容。这也不是很友好。
 
 
如何禁止蜘蛛抓取凯发K816
 
 
2、robots协议文件屏蔽百度蜘蛛抓取
  
  robots协议是放在凯发K816根目录下的协议文件,可以通过网址(网址: http : / / www.hkxiaopan.com / robots . txt )访问,当百度蜘蛛抓取我们的凯发K816时,它会先访问这个文件。因为它告诉蜘蛛哪些能抓,哪些不能。
  
  robots协议文件的设置比较简单,可以通过User-Agent、Disallow、Allow这三个参数进行设置。
  
  User-Agent:对不同搜索引擎的声明;Disallow:不允许抓取的目录或页面;Allow:被允许抓取的目录或页面通常可以省略或不写,因为如果你不写任何不能抓取的东西,它就可以被抓取。
  
  下面我们来看一个示例,场景是我不希望百度抓取我凯发K816所有的css文件,data目录、seo-tag.html页面
  
  User-Agent: BaidusppiderDisallow: /*.cssDisallow: /data/Disallow: /seo/seo-tag.html
  
  如上所述,user-agent声明了蜘蛛的名称,这意味着它针对的是百度蜘蛛。以下内容无法获取"/*。css",首先/指的是根目录,这是您的域名。 *是代表任何内容的通配符。这意味着无法抓取以.css结尾的所有文件。这是你自己的两个经历。逻辑是一样的。
  
  如果要检测上次设置的漫游器文件,可以访问本文《检查robots是否正确的工具介绍》并获取详细的工具来检测您的设置。
  
以上就是“如何禁止蜘蛛抓取凯发K816”的全部介绍了希望对您有所帮助,郑州凯发K816优化就找郑州启凡凯发K816优化公司,行业经验超过8年,先优化后付费,关键词排名进百度第一页,再支付优化费用。

您可以在线咨询...

400-037-1682

185-3083-1921

郑州市万达小区5号楼3单元1402室

关注有惊喜

Copyright © 2013-2018 郑州启凡计算机软件有限公司 版权所有 凯发K816地图