在百度站长平台里，有一个抓取诊断页面，这个页面可以提交链接，提交后百度蜘蛛可以实时来访问，或许可以带来抓取频次的增加。但是每周只能提交70个链接。对于单个域名提交有限制。如果我们有大量的二级域名或者泛域名进行批量自动化提交，那效率都提升了，也许蜘蛛量也能大幅增加。这次做了一个自动化诊断工具，可以多线程批量自动化提交诊断链接。
演示视频
软件界面如下，可以设置打码方式、cookies、站点路径、线程数量，可以进行自动化的提交。打码方面支持云码、图鉴和我个人的识别接口。
cookies批量设置多条，一行一条，软件会循环读取cookies中已经绑定好的域名，并进行诊断提交。
site.txt放入已经绑定好的域名，一行一个，这里软件可以多线程批量读取每一行站点进行自动提交
tsgz.txt中放入要诊断提交的链接，这里支持泛目录，{字母5}，{数字5}html等格式进行泛提交。不过每个域名放70条链接就行了。因为每周只能提交70条链接。
然后软件就可以开始运行了
这次在我的工具集中，增加一个新功能，就是sitemap地图的制作，核心思路当然是爬取网站所有页面，并对页面进行数据清洗，包括去重、分类、url类别判断。然后再将功能集合到seo工具集中。在代码部分，简单介绍一下,解析页面，然后通过BeautifulSoup对页面url进行提取，对url进行判断，同域...
在公众号之前的一篇文章写到用pyppeteer模拟轨迹进行识别。https://mp.weixin.qq.com/s/aHeYmRMx4NIfN5shch-WfA 大家可以自行前往学习了解。本次带来一个更加轻松的识别通过，就是通过js完成距离通过验证。下面就主要讲解一下思路，具体操作验证还...
最近有些做seo同行在问我，旋转验证码的源码怎么用啊，比如出现验证码的时候，怎么对接啊？还有的会问怎么对接易语言、C#，那真的尴尬了，其他语言不太会。其实旋转验证码的原理最终要的数据就是ds和tk字段信息，只要拿到这两个字段的信息，就可以对接了。所以这次做了百度旋转验证码ds字段api接口自动生成，...
接上一篇文章，这次将百度二级域名批量单独封装exe软件，进行一个批量添加操作。在正常页面进行二级域名绑定的时候，需要进行三步：1、输入网站，2、属性设置，3、文件验证。视频演示1、输入网站过旋转2、站点属性设置3、验证网站如果想做一个批量添加操作，每次都手动的话，未免会比较麻烦，这时可以用代码进行批...
二级域名批量诊断推送的意思就是百度站长平台抓取诊断功能，这个功能提交后，可以实时的来蜘蛛访问。但是如果手动去诊断的话,也非常麻烦，而且每次都要验证一下旋转。先来看看正常抓取诊断，每个域名每周可抓取70次。视频演示在代码中首先要获取指定站点的id值设置规则，随机字母推送网站链接过旋转验证整体的核心思想...
3个月前 (07-21)
3个月前 (07-17)
3个月前 (07-15)
3个月前 (07-14)
3个月前 (07-13)