搭建了一个干净的页面https://spider.mynamelxy.top/,通过与其他网站交换外链,形成可以让搜索引擎蜘蛛来回的通路。理论上随着交换网络的数量不断增加,可以形成以以该网站为节点的中心的蜘蛛网络,提高网络内所有参与互链网站的被爬虫访问概率。

2020年4月9日凌晨 记录

建立该网站A组,和对照组网站B组 https://spider.lambsouls.top/ B组为不交换链接组。两个网站除了是否与其他网站交换外链外完全相同,都配置了ssl证书,都开启强制https访问,且都在百度上传链接与配置自动推送。

昨天8日有6个网站与A组交换链接,9号凌晨两网站数据没有都变化。

2020年4月19日中午 记录

陆续有合作伙伴加入A组,累计18个双向外链。

A组本月9号被抓取一次,14号被抓取一次,累计2次。

B组本月17号被抓取一次,累计1次。

实验有严重漏洞,已经终止。

发表评论

电子邮件地址不会被公开。