相关文章
多线程制作sitemap地图，集合到工具集
这次在我的工具集中，增加一个新功能，就是sitemap地图的制作，核心思路当然是爬取网站所有页面，并对页面进行数据清洗，包括去重、分类、url类别判断。然后再将功能集合到seo工具集中。在代码部分，简单介绍一下,解析页面，然后通过BeautifulSoup对页面url进行提取，对url进行判断，同域...
某讯视频用python解析数据并下载视频mp4格式
国庆祝福祖国生日快乐。偶尔间，想做做视频剪辑，需要下载视频素材，但是在平台上的视频似乎不支持手动下载。自然学了python，可以试着用代码去下载视频，在这块找到相应的教学内容，本次内容主要是分享用python如何去获取下载某讯视频。下面为大家讲解一下。就拿最近比较火的昆仑神宫来做下视频解析下载，首先...
多进程线程查询关键词排名，速度达到1秒10个！
python多线程有两种，一种是多进程，另一种是多线程，对于线程基础知识层面，线程运行在进程中，一个进程可以有多个线程，而多线程只能在一个进程中运行。所以在多线程并发运行的同时，开启多进程进行并行操作。这样就可以最大化的利用计算机cpu的内核。需要源码的可以在我的商城获取>>>百度...
百度贴吧包含指定关键词回复内容提取软件
这几天，有个用户找我做百度贴吧回复采集，将出现的验证码也识别通过，那么我正好有这个旋转验证码逆向源码，可以接入到百度贴吧中，只要出现验证码逆向通过就行了。爬虫采集的问题不大，主要是旋转验证码需要接入，接入的规则也是要根据网页的参数需求。视频演示：贴吧采集就不细说了，这里我用了多线程采集，速度已经非常...
无需代理ip查询搜狗任务触发验证码机制并识别通过
如果我们想做一些搜狗页面的一些数据分析，比如网站关键词排名，挖掘相关搜索词等任务，用代码自动化请求时间过长，会触发搜搜验证码机制。对于这个验证码，可以识别验证码并请求通过。遇到这类情况，可以分析一下接口，经过分析，在代码中进行还原请求data参数中suuid和auuid在页面源码中可以获取到，r、p...
