当前位置:小白博客 > 技术分享 > wordpress技术 > 正文
小白博客

作者:小白博客

小白是一名喜欢互联网的小伙子,爱好分享,我整合互联网上的精品干货已经免费更新分享给大家.

手机扫码查看

七牛云对象存储以后robots设置

七牛云robots说明

很多小伙伴都在使用七牛cdn来加快网站的访问速度,尤其是七牛的静态文件镜像功能更是非常方便的帮站长把网站本地的静态文件同步到七牛的cdn服务器上,不过呢很多小伙伴在使用七牛的cdn镜像一段时间之后都发现网站莫名其妙的被百度降权了,才发现原来七牛的镜像功能会把网站的html内容也镜像到七牛上,这样一来就相当于七牛上存在一个镜像站点,对于seo来说是非常不友好的,所以也就造成大量使用了七牛镜像功能的网站被百度降权。

当时爆出这个问题的时候七牛官方给出了一个处理方法,就是上传robots.txt来禁止爬虫抓取镜像站点,不过小白觉得这种方法完全是治标不治本的方法

七牛云robots影响因素

防止七牛云镜像 html 文件的暂时无法实现。为了避免用以七牛云镜像加速的二级域名下的更多的 URL 被百度收录,只能通过 robots.txt 来实现了。检查了二级域名下的 robots.txt 发现确实没有防止百度蜘蛛的抓取。小白记得 robots.tx 是七牛云默认的,不知道为什么 robots.txt 变成了和主站一样的内容,后来删了七牛云内的 robots.tx 文件,选择七牛云默认的 robots.txt,但是刷新之后七牛云空间又多出来一个 robots.txt 文件而之前默认七牛云 robots.tx 的选项又变成了使用自己上传的 robots.txt。也就是说七牛云会优先使用用户自己上传的 robots.txt

[v_lanb]robots如下[/v_lanb]

5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
# robots.txt for statice domain
Useragent: Baiduspider
Allow: /wpcontent/uploads/*.jpg$
Allow: /wpcontent/uploads/*.png$
Disallow: /
Useragent: 360Spider
Allow: /wpcontent/uploads/*.jpg$
Allow: /wpcontent/uploads/*.png$
Disallow: /
Useragent: Baiduspiderimage
Allow: /wpcontent/uploads/*.jpg$
Allow: /wpcontent/uploads/*.png$
Disallow: /
Useragent: 360SpiderImage
Allow: /wpcontent/uploads/*.jpg$
Allow: /wpcontent/uploads/*.png$
Disallow: /
Useragent: *
Disallow: /
  1. 七牛云对象存储以后robots设置如图设置即可,自己建一个txt文档,然后复制代码上传到七牛云即可
未经允许不得转载:

作者:小白博客, 转载或复制请以 超链接形式 并注明出处 小白博客
原文地址:《七牛云对象存储以后robots设置》 发布于2018-10-10

分享到:
赞(0) 打赏

评论 抢沙发

2 + 8 =


觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

小白影视

全网VIP影视免费看。免流缓存下载,无广告在线观看快来吧

了解一下

切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册