在百度站长平台里，有一个抓取诊断页面，这个页面可以提交链接，提交后百度蜘蛛可以实时来访问，或许可以带来抓取频次的增加。但是每周只能提交70个链接。对于单个域名提交有限制。如果我们有大量的二级域名或者泛域名进行批量自动化提交，那效率都提升了，也许蜘蛛量也能大幅增加。这次做了一个自动化诊断工具，可以多线程批量自动化提交诊断链接。
演示视频
软件界面如下，可以设置打码方式、cookies、站点路径、线程数量，可以进行自动化的提交。打码方面支持云码、图鉴和我个人的识别接口。
cookies批量设置多条，一行一条，软件会循环读取cookies中已经绑定好的域名，并进行诊断提交。
site.txt放入已经绑定好的域名，一行一个，这里软件可以多线程批量读取每一行站点进行自动提交
tsgz.txt中放入要诊断提交的链接，这里支持泛目录，{字母5}，{数字5}html等格式进行泛提交。不过每个域名放70条链接就行了。因为每周只能提交70条链接。
然后软件就可以开始运行了
此次主要是将python生成的sitemap文件，转入到flask做出的api接口上，这样每次进行api请求就可以获取到网站的所有的url并生成sitemap文件。首先看看运行效果。本地地址请求接口url：http://127.0.0.1:5100/sitemap?site=http://www.s...
前段时间写了一个模拟点击源码，以及网页系统的对接。在运行方面需要先安装python环境以及搭建网页和数据库，方可进行运行。这种方式比较复杂，不适合个人去使用，这次主要是做了一个qt软件，将源码进行封装，这样我们就不需要安装环境了，直接一键运行即可。下面是软件的简单界面，纯属个人简单设计（高手路过）在...
一般我们遇到点选验证码的时候，最简单的方式就是通过selenium调用浏览器，对验证码区域定位截图然后调用平台识别文字坐标。但是用selenium是比较麻烦的。我们还可以用js逆向识别参数生成方式，最后再用接口调用，下面就举例一下360提交的点选验证码js逆向调用。对于这样的点选验证码，我们要知道图...
最近有些做seo同行在问我，旋转验证码的源码怎么用啊，比如出现验证码的时候，怎么对接啊？还有的会问怎么对接易语言、C#，那真的尴尬了，其他语言不太会。其实旋转验证码的原理最终要的数据就是ds和tk字段信息，只要拿到这两个字段的信息，就可以对接了。所以这次做了百度旋转验证码ds字段api接口自动生成，...
如果我们想做一些搜狗页面的一些数据分析，比如网站关键词排名，挖掘相关搜索词等任务，用代码自动化请求时间过长，会触发搜搜验证码机制。对于这个验证码，可以识别验证码并请求通过。遇到这类情况，可以分析一下接口，经过分析，在代码中进行还原请求data参数中suuid和auuid在页面源码中可以获取到，r、p...
18小时前
9个月前 (07-17)
11个月前 (06-07)
11个月前 (05-30)
1年前 (2024-04-14)