相关文章
flask-celery异步执行sitemap任务并生成文件
此次主要是将python生成的sitemap文件，转入到flask做出的api接口上，这样每次进行api请求就可以获取到网站的所有的url并生成sitemap文件。首先看看运行效果。本地地址请求接口url：http://127.0.0.1:5100/sitemap?site=http://www.s...
多线程发包模拟点击软件界面运行
前段时间写了一个模拟点击源码，以及网页系统的对接。在运行方面需要先安装python环境以及搭建网页和数据库，方可进行运行。这种方式比较复杂，不适合个人去使用，这次主要是做了一个qt软件，将源码进行封装，这样我们就不需要安装环境了，直接一键运行即可。下面是软件的简单界面，纯属个人简单设计（高手路过）在...
百度站长二级域名批量诊断推送
二级域名批量诊断推送的意思就是百度站长平台抓取诊断功能，这个功能提交后，可以实时的来蜘蛛访问。但是如果手动去诊断的话,也非常麻烦，而且每次都要验证一下旋转。先来看看正常抓取诊断，每个域名每周可抓取70次。视频演示在代码中首先要获取指定站点的id值设置规则，随机字母推送网站链接过旋转验证整体的核心思想...
无需代理ip查询搜狗任务触发验证码机制并识别通过
如果我们想做一些搜狗页面的一些数据分析，比如网站关键词排名，挖掘相关搜索词等任务，用代码自动化请求时间过长，会触发搜搜验证码机制。对于这个验证码，可以识别验证码并请求通过。遇到这类情况，可以分析一下接口，经过分析，在代码中进行还原请求data参数中suuid和auuid在页面源码中可以获取到，r、p...
百度站长平台js逆向登录解析
在我们使用百度站长平台看看网站数据信息的时候，肯定要先登录才能获取，那么就需要在网页上进行登录，然后才能看到网站一些信息以及做一些操作比如二级域名绑定，抓取诊断、关键词查看等。那如果要代码进行这些操作的话，要解决逆向登录的问题，或者不解决登录的话，在网页上获取cookie进行复制再进行代码操作。本次...
