搜索引擎是否收录HTTPS SSL网站?
Update(2014年8月7日): Google官方博客发布公告,称已经调整其搜索引擎算法,采用HTTPS加密的网站在搜索结果中的排名将会更高。
网络安全越来越重要,HTTPS SSL加密网络传输成为一个重要的手段。可是,许多网站依然没有或者不愿意采用HTTPS SSL证书,一方面会增加成本——布置SSL需要购买证书和独立IP,大型网站全面采用HTTPS SSL带来的加密也会增加服务器系统开销。更重要的一方面,小型网站比如博客等会关注搜索引擎是否收录HTTPS SSL网页。
绝大部分搜索引擎支持HTTPS SSL收录
人们普遍的印象是Google全面支持甚至偏爱HTTPS SSL网页,而国内的百度不支持收录HTTS SSL页面。那么众多其它的搜索引擎呢?国际上的Bing, Yahoo, 国内的360, 搜狗、有道呢?我对这个问题比较好奇。
刚好我的博客是全站强制HTTPS SSL加密,并且HTTP页面在国内是完全无法访问的状况,成为一个很好的测试对象,我以我的博客网址 https://tumutanzi.com 作为搜索对象,在国内外的搜索引擎中进行了测试。
测试结果表明:
- 国内的搜索引擎中,360搜索(有道)、搜狗(含腾讯搜搜)都收录了我的博客页面,完全支持HTTPS SSL加密网页。中文搜索中的龙头百度没有收录土木坛子任何HTTPS SSL页面。
- 国外搜索引擎中,Google.com, Bing.com, Yahoo.com都收录了 https://tumutanzi.com, 但是必应Bing存在HTTP和HTTPS页面都收录的情况——不过这有可能是网站的HTTP页面过去没有使用301重定向的原因。
No Baidu!
事实上,我过去查看网站服务器日志时发现,百度蜘蛛在我的博客被墙后一直在爬行,但就是在搜索结果中不放出任何结果,并提示网站不存在。至于收录HTTPS页面方面,也没有证据表明百度支持HTTPS:甚至对国内最知名的HTTPS网站支付宝首页都没有收录。
我认为,为了保护网络隐私,采用HTTPS SSL加密网站传输将日益成为网站的标配,国外知名搜索引擎和国内几大主流搜索引擎也都已经支持收录HTTPS SSL加密网页,担心搜索引擎不收录HTTPS SSL网页没有必要。此外,我相信百度在技术上收录HTTPS网页完全不存在问题。个中原由,任由读者们猜测。对于百度的这种行径,我也直接亮明土木坛子的态度:No Baidu!
2015年5月25日更新:百度发布公告称:从今天开始,百度放开对https站点的收录,https站点不需要再做任何额外的工作就可以被百度顺利抓收。
Update: 百度本身已经支持 HTTPS, 但是不收录 HTTPS: https://www.baidu.com/s?wd=https://tumutanzi.com
Update: 一称BAIDU罗成的百度工程师撰文称:百度无线搜索目前已经支持https,手机访问地址 https://m.baidu.com
修改.htaccess强制HTTP重定向为HTTPS链接
土木坛子采用HTTPS SSL加密链接形式访问网站有几年了,但一直也可以通过HTTP明文形式访问(国内用户现在无法),我知道这样对于SEO不太好,但也没有去采取措施强制统一两者。
最近,勺子兄和燕渡寒潭两位博主都加入了ICDSOFT主机,并使用独立IP和HTTPS SSL加密访问。我想既然使用HTTPS就全站使用吧:把所有HTTP请求强制性重定向为HTTPS。我决定帮助他们设置一下。没想到在土木坛子上使用Google中英文搜索的结果修改.htaccess文件后,无论如何都不行。情急之下询问ICDOSFT客服人员,十分钟不到技术人员就帮我修改好了,只在.htaccess文件里添加了两行规则:
RewriteEngine On
RewriteCond %{SERVER_PORT} 80
RewriteRule ^(.*)$ https://example.com/$1 [R=301,L]
看来是将所有HTTP 80端口请求自动跳转成HTTPS(这里的example.com需修改成你的域名)。网上那么多人的方法都不是这样,所以我觉得有必要把它贴到这里,供不是太懂Apache服务器的人参考,总不至于为了添加这么一条规则学习所有的正则表达式和Apache指令。
其实ICDSOFT的客服人员给我修改的规则最后一行里没有301参数,因此只是302临时性转移,对搜索引擎不友好。添加301参数后,就变成了永久性转移——传递原来的权重。此外,将HTTP链接强制301重定向为HTTPS后,点击域名在其它网站留下的HTTP链接也会自动变成HTTPS,有利于用户体验,充分利用好HTTPS保护好访问者的隐私——哪怕TA在你的网站浏览了成人内容也无法被裸奔的网络嗅探。
用HTTPS会有一些与HTTP不一样的地方,需要一点点积累,见招拆招。
试用支持HTTPS SSL的七牛云存储CDN
我的博客主机在香港,估计我的博客圈朋友中没有多少网站速度比我的快。即使如此,我还是想把网站的速度提高得更快一些。比如,采用CDN分布式传输内容,把网站的内容放到离用户最近的数据中心,大大减少物理距离。
以前我的博客没有墙的时候,试过众多免费CDN,却发现效果很不理想,作罢。后来,我的博客被墙了,想用国内优秀的CDN也用不成,例如,在又拍云上注册试用了一下,不但发现界面极其不友好需要FTP上传文件等,而且我也不知道如何能支持加速HTTPS SSL形式的链接。又拍云的服务人员后来还好几次加我的QQ,想把我拉进他们的服务,算了。
新大陆一般的七牛CDN
最近,听说七牛云存储CDN这货支持HTTPS SSL (Godaddy SSL证书),试用了一下,简直发现了新大陆。刚开始设置好以后,发现HTTPS下的网页并没有采用七牛的服务,只是HTTP下才有效,原因是WP Super Cache插件下只支持HTTP链接。
我于是在七牛的网站上问了这个问题,很快就收到了他们的邮件回复,答复说七牛本身支持HTTPS SSL,并告诉我如何手工启用支持SSL的七牛二级域名。
至于WP Super Cache与HTTPS的问题,我把WordPress的网站网址和安装网址都设置成了https://tumutanzi.com,这样,在设置WP Super Cache的CDN功能时,就能用CDN的HTTPS网址代替网站HTTPS。
从此以后,整个网站所有的链接形式都会变成HTTPS SSL形式,相当于强制使用HTTPS SSL了,倒也保护了数据传输过程的安全性。我总认为HTTPS SSL是未来网络的安全趋势,虽然我使用HTTPS有另一个目的。
设置七牛支持WordPress博客的HTTPS SSL
大体上的设置,已经有许多人介绍过,针对我这种需要支持SSL的特殊个别情况,简直地说,设置过程如下:
1 把WordPress里的网址设置成HTTPS链接形式;
2 在七牛中新建公开的空间,并设置支持HTTPS的免费二级域名(是七牛的域名,所以不须备案直接通过);
3 启用WP Super Cache中的CDN功能,并将七牛的二级域名填写到插件中的Off-site URL一栏里。
好了。以后,整个网站就采用HTTPS访问,所有静态文件和以本主机为图床存放的图片都会通过七牛的云存储CDN加速。又快又好。
好东西自然要分享推荐
虽然说像我这情况下的CDN加速是极少见的(通过HTTPS SSL才能在国内访问),但这无疑说明了七牛是个好东西,必须要推荐,即使七牛没有给我任何好处费~我觉得七牛这货真不错,于是邮件推荐给了几位朋友,后来一想,还不如公布在这里告诉还不知道的朋友。
网站速度的重要性,我在友链里说明了:“网站速度缓慢的博客,不定期清除。”唯快不破。国内的CDN服务很多,收费的,免费的。又拍云曾经送了无限免费的空间和流量优惠给了望月博主,可惜望月夸过又拍云后又倒向了七牛。只能说明相比七牛,又拍云还需努力。
七牛的后台设置令我称赞,傻瓜式的操作以及极少的设置,对原网站几乎不需要改动(我这里没有安装新插件,只是在静态缓存插件WP Super Cache里简单设置了一下),就算将来不用七牛的服务,也很快就改回来了。
许多所谓的产品经理大谈用户体验,倒是把用户弄到云里雾里,得学学七牛。此外,七牛良好的服务,这是众多国产货的软肋。我在网站上直接提了关于HTTPS SSL的问题,十分钟内就收到了邮件回复,并且我还是一个没有成为付费的用户。
我很少夸赞国产互联网服务,唯一称赞过DNSPod.cn,现在强烈推荐众多博主试试七牛。七牛提供一定的免费服务,每月10G免费流量,一般的小博主是够用的,实在不够用的话,收费部分的价格也公道。
Google偏爱HTTPS SSL加密链接网站
Update(2014年8月7日): Google官方博客发布公告,称已经调整其搜索引擎算法,采用HTTPS加密的网站在搜索结果中的排名将会更高。
我的个人网站由于某些神秘原因,在国内是被屏蔽的状态,现在只能通过HTTPS SSL加密链接可以访问,就像使用银行服务时的链接形式,在地址栏里会一把绿色的小锁。
现在网站同时支持HTTP和HTTPS两种链接形式,理论上会如网上那些传闻所说,存在Google收录内容重复的问题,我虽然有听说,也不太在乎,博客的最重要的事情是写作,像SEO这样的事情实在是多此一举。
但是,问题是Google在HTTPS SSL和HTTP两个链接形式上表现怎么样呢?无意中,我在Google Webmaster后台数据看到两个结果,分别是HTTP和HTTPS两种链接形式下,Google对我的博客收录量(其实应该是搜索展示量)和搜索点击量。

上图是HTTP链接形式下的收录量和搜索点击量,从前几天开始下降,而下图是HTTPS下的链接收录量,上图下降的同时正是下图上升的时间。很明显,最近一周以来,Google似乎开始放弃我的V链接转而采取HTTPS。

好的搜索引擎应该以人为本。Google是以人为本,而像百度等众多国内的搜索引擎,现在还不支持收录HTTPS网站的吧(或者说没有这方面的打算)。
这个事实说明,Google不但没有出现重复内容收录而惩罚的问题,相反,Google对HTTPS安全链接更偏爱一些,原因可能是,使用安全链接的网站能够保证数据传输的安全性,提高了像在中国大陆这些地方的可访问性。
只要网站是为用户而考虑,Google就有理由更加喜欢,在Google搜索结果中也就会被更多的人搜到。
Update: 写下这篇日志后才发现,今天是Google 15岁的生日(虽然这个日子有争议),并且在这十五周年到来之际,Google宣布对搜索引擎进行一次大更新,更新代号为Hummingbird,是自2010年Caffeine推出之后核心搜索算法最大的一次改变。我可以接受Facebook, Twitter, 新浪微博,QQ等死去的日子,但完全无法想像如果没有Google,互联网会变成什么样子。祝Google生日快乐!