公众号可被搜索引擎抓取,微信或将更加“互联互通”

来源: 三易生活公众号 | 2021-10-25 14:59:00
微信公众号的内容只能在微信中看,这可以说早在多年前就已经成为用户的共识。不过最近有消息显示,微信公众号的内容可以被谷歌和必应等搜索引擎搜索到。

尽管官方已经回应,但这也可能是微信进一步“互联互通”的先兆。

微信公众号的内容只能在微信中看,这可以说早在多年前就已经成为用户的共识。不过最近有消息显示,微信公众号的内容可以被谷歌和必应等搜索引擎搜索到。

但腾讯方面很快就给出了回应,并表示是因为近期平台技术升级,公众号的robots协议出现了漏洞,致使外部爬虫技术可抓取部分公众号内容,但目前漏洞已修复。按照这一说法,这一次的情况只是技术操作失误。

那么,导致公众号内容出现在海外搜索引擎山上的“元凶”robots协议是什么呢?事实上,robots协议也叫robots.txt,是一种存放于网站根目录下的ASCII编码文本文件,它的唯一作用就是告诉搜索引擎的user-agent(网络蜘蛛),网站中的哪些内容是不对搜索引擎蜘蛛开放,哪些内容又可以被抓取的。

作为控制网站被搜索引擎抓取内容的一种策略,该文件一般会放在网站的根目录里,也就是/robots.txt。因此可以直接在网站域名后加上/robots.txt,就能访问到该网站的robots协议页面。

我们以淘宝的“https://www.taobao.com/robots.txt”为例可以看到,这家电商网站采用的robots协议其实非常简单,“User-agent”主要作用是告诉网站服务器,访问者是通过什么工具来请求的,而后面的“Baiduspider”就是大名鼎鼎的百度搜索引擎蜘蛛,而最后的“Disallow: /”,按照robots协议的规则,是禁止被描述的搜索引擎蜘蛛(百度)访问网站的任何部分。

其实早在2008年9月百度搜索引擎就已经被淘宝屏蔽,而这几行简简单单的代码,也让淘宝在战略层面掌握了竞争的主动权,避免了流量被百度搜索引擎拿走,同时也避免了平台内的商家要给百度竞价排名付费的可能,更是间接催生了淘宝的竞价排名体系。

而对于微信来说同样也是如此,此前微信公众号的内容只支持在该应用的搜一搜功能,或是腾讯旗下的搜狗搜索引擎中搜索到。这主要要因为用户上网冲浪的最终目地往往是消费内容,而内容、特别是高质量的原创内容更是天然的流量来源,这些内容可以帮助微信形成封闭的商业生态。所以让用户只能在体系内访问微信公众号的内容,也就成为了微信保护私域流量的关键。

那么问题就来了,robots协议会出现漏洞吗?答案是肯定的。robots协议从本质上来说就是网站运营方提供的规则,然而是规则就免不了出现漏洞。不过robots协议也很难出现问题,因为它的书写非常简单、逻辑也很直白,允许什么搜索引擎爬虫访问什么内容都可以清晰地表述出来。特别是微信这种协议非常简单的规则,仅面向自己的应用内搜索和搜狗搜索开放的robots协议,基本也不会有什么多余的内容。

更为重要的一点是,robots协议本身其实是一个“君子协议”,是一个搜索引擎与网站之间的共识,并没有任何法律效力,也没有任何技术约束。所以换句话来说,这也意味着robots协议从技术层面是无法与搜索引擎爬虫对抗的。

例如,一些网站如果不想让爬虫占据自家宝贵的服务器资源,往往就会直接在robots.txt文件中写上这样的规则,“User-agent: Googlebot,Allow: /User-agent: *,Disallow: /”,意思是本网站仅允许谷歌爬虫抓取,拒绝其他任何搜索引擎。

然而有意思的事情来了,苹果方面在官网的“Applebot”页面声明中写道,“如果robots.txt中没有提到Applebot,而是提到了Googlebot,那么Applebot将遵循Googlebot的指令“,言下之意就是Applebot也是Googlebot。

事实上,robots协议并不会经常修改,毕竟它的内容是与内容运营策略息息相关的。而微信的robots协议在平稳运行了多年后,却在此前监管部门要求互联网厂商互联互通的时候出现“漏洞”,这个件事就可以说或非常“巧”了。

9月17日在监管机构的要求之下,在过去数年间各大互联网厂商建立的以邻为壑的“高墙”已经开始逐步坍塌。尽管在要求“互联互通”一个月后,各大互联网厂商之间的藩篱虽然还没有一夜之间倒塌,但也逐渐有了消融的迹象。

对于微信来说,公众号内容开放给外界,或许是腾讯分阶段分步骤实施互联互通中的一个环节。而如今微信公众号的内容出现在谷歌和必应上,也更像是微信在测试新的robots协议。毕竟,此前他们的robots协议协议可以说是非常简单,只需要允许搜狗搜索一家即可,但现在却需要对外界开放。

要知道,国内的搜索引擎蜘蛛可不仅仅是百度、搜狗、360这些大家比较熟悉的,还有包括网易有道的YoudaoBot、宜搜的EasouSpider、一搜的YisouSpider、微软的Bingbot和Msnbot,以及其他大大小小不知名的爬虫。所以有观点认为,这也就使得微信robots协议的编写难度将会陡然上升。

文 / 网盛建站    阅:85

1、凡本网注明"来源:网盛建站"的所有作品,版权均属于网盛建站31fabu平台所有,任何媒体、网站或个人在转载使用时请注明"来源:网盛建站"。
2、凡本网注明"来源:XXX(非本网站)"的作品,均转载自其他媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、本网刊载之所有信息,仅供投资者参考,并不构成投资建议,投资者据此操作,风险自担。
4、如本网刊载之信息涉及版权等问题,敬请通知我们,我们将在第一时间予以更改或删除。

免费获取网站建设与品牌策划方案报价

在线预约享受建站8

  • 公司名称
  • 手机号码
  • 网站类型
  • 所在城市
  • 联系人
  • 需求

在线
客服

在线客服服务时间:9:00-17:00

客服
热线

024-83959235
建站服务热线

关注
微信

客服微信
顶部
在线客服