在百度站长平台里，有一个抓取诊断页面，这个页面可以提交链接，提交后百度蜘蛛可以实时来访问，或许可以带来抓取频次的增加。但是每周只能提交70个链接。对于单个域名提交有限制。如果我们有大量的二级域名或者泛域名进行批量自动化提交，那效率都提升了，也许蜘蛛量也能大幅增加。这次做了一个自动化诊断工具，可以多线程批量自动化提交诊断链接。
演示视频
软件界面如下，可以设置打码方式、cookies、站点路径、线程数量，可以进行自动化的提交。打码方面支持云码、图鉴和我个人的识别接口。
cookies批量设置多条，一行一条，软件会循环读取cookies中已经绑定好的域名，并进行诊断提交。
site.txt放入已经绑定好的域名，一行一个，这里软件可以多线程批量读取每一行站点进行自动提交
tsgz.txt中放入要诊断提交的链接，这里支持泛目录，{字母5}，{数字5}html等格式进行泛提交。不过每个域名放70条链接就行了。因为每周只能提交70条链接。
然后软件就可以开始运行了
这次在我的工具集中，增加一个新功能，就是sitemap地图的制作，核心思路当然是爬取网站所有页面，并对页面进行数据清洗，包括去重、分类、url类别判断。然后再将功能集合到seo工具集中。在代码部分，简单介绍一下,解析页面，然后通过BeautifulSoup对页面url进行提取，对url进行判断，同域...
一般我们遇到点选验证码的时候，最简单的方式就是通过selenium调用浏览器，对验证码区域定位截图然后调用平台识别文字坐标。但是用selenium是比较麻烦的。我们还可以用js逆向识别参数生成方式，最后再用接口调用，下面就举例一下360提交的点选验证码js逆向调用。对于这样的点选验证码，我们要知道图...
这几天，有个用户找我做百度贴吧回复采集，将出现的验证码也识别通过，那么我正好有这个旋转验证码逆向源码，可以接入到百度贴吧中，只要出现验证码逆向通过就行了。爬虫采集的问题不大，主要是旋转验证码需要接入，接入的规则也是要根据网页的参数需求。视频演示：贴吧采集就不细说了，这里我用了多线程采集，速度已经非常...
花了点时间，将百度PC关键词排名查询代码结合UI界面做了一款SEO软件，这样在查询关键词排名利用这个工具就可以了。在软件制作过程中，要解决的问题的是查询速度、验证逆向、ui导入和导出，开始和停止。解决这些问题就可以了。下面主要讲解一下软件界面一、查询速度对于提高pc查询速度，这里用到了协程异步，协程...
最近百度一直在更新，取消dns、post请求403，更改滑块验证码等措施，导致现在发包绑二级频频被限制。既然这样，直接索性搞一个自动化浏览器的模式来绑定二级。此次用到的是pyppeteer浏览器框架。此框架异步处理 速度还是挺快的。而且不需要下载浏览器驱动，非常方便哈。视频演示：首先是百度二级域名绑...
3个月前 (07-21)
3个月前 (07-17)
3个月前 (07-15)
3个月前 (07-14)
3个月前 (07-13)