当前位置:淡墨SEO首页 > SEO软件 > 多线程制作sitemap地图,集合到工具集

多线程制作sitemap地图,集合到工具集

淡墨SEO3年前 (2022-09-01)SEO软件3945283

这次在我的工具集中,增加一个新功能,就是sitemap地图的制作,核心思路当然是爬取网站所有页面,并对页面进行数据清洗,包括去重、分类、url类别判断。然后再将功能集合到seo工具集中。


在代码部分,简单介绍一下,解析页面,然后通过BeautifulSoup对页面url进行提取,对url进行判断,同域名下的url都是目标url,再把目标url放入集合中。

def get_new_urls(base_url,html):
   soup = BeautifulSoup(html, 'html.parser', from_encoding='utf-8')
   links = soup.find_all('a', href=re.compile(r".*"))
   all_url = []
   for link in links:
       new_url = link['href']
       new_url_full = urljoin(base_url,new_url)
       if new_url_full.find(base_url) < 0:continue
       if not guolve(base_url,new_url_full):continue
       all_url.append(new_url_full)
   all_url.insert(0,base_url)
   return all_url
def parse_html(url):
   if url is None:
       return
   url = quote(url, safe="?#/:=@")
   try:
       res = requests.get(url=url,timeout=5)
       if res.status_code == requests.codes.ok:
           res.encoding = res.apparent_encoding
           return res.text
   except:
       return

将返回的列表数据,带入到线程中,再进行循环请求,获取下一批url。并对下一批url进行判断和去重


最后,把返回的url几个用xml的格式,进行写入xml文件的格式就可以了。

fw = open(filename, 'w', encoding="utf-8")
           fw.write('<?xml version="1.0" encoding="UTF-8"?>')
           fw.write(
               '\n<urlset xmlns="http://video.sitemaps.org/schemas/sitemap/0.9">'
          )
           root_url = urlparse(data[0]).netloc
           if not re.compile(r"http://").findall(root_url) and not re.compile(r"https://").findall(root_url):
               root_url = "http://" + root_url
           data = list(set(data))
           for url in data:
               # url = data['url']
               fw.write('\n\t<url>')
               fw.write('\n\t\t<loc>' + url + '</loc>')
               fw.write("\n\t\t<lastmod>" +time.strftime('%Y-%m-%d', time.localtime(time.time())) +
                   "</lastmod>")
               fw.write('\n\t\t<changefreq>daily</changefreq>')
               if re.findall(root_url + "$", url) or re.findall(
                       root_url + "/$", url):
                   fw.write('\n\t\t<priority>1.0</priority>')
               elif re.findall(root_url + "[^/]*/$",
                               url) or re.findall(
                                   root_url + "/[^/]*/$", url):
                   fw.write('\n\t\t<priority>0.8</priority>')
               elif re.findall(root_url + "[^/]*/[^/]*$",
                               url) or re.findall(
                                   root_url + "/[^/]*/[^/]*$", url):
                   fw.write('\n\t\t<priority>0.6</priority>')
               else:
                   fw.write('\n\t\t<priority>0.4</priority>')
               fw.write('\n\t</url>')
           fw.write('\n</urlset>')

在工具集中,我将sitemap功能也添加进去了,这样,在工具集中,可以很方便去使用。在挖掘页面的时候,可以选择挖掘的数量,如果不指定挖掘数量,就代表挖掘网站所有的页面url。并且这些url都是不重复的。



在导出数据时候,就可以将这些页面导出位XXX.XML格式的文件了。



有需要这款工具集合,可以私信我。


扫描二维码推送手机访问

文章内容均为原创,禁止转载!

本文链接:http://www.danmoseo.com/news/10.html

标签: seo工具

相关文章

自然语言关键词生成文章API接口请求

自然语言关键词生成文章API接口请求

本次主要介绍通过自然语言将关键词生成一篇原创文章,以及制作文章生成的接口api,方便需要生产内容的用户进行调用。下面就逻辑和使用方法给做个介绍。首先是逻辑原理,原理就是人工智能深度学习,进行关键词的模型训练。从而会对目标词块也就是关键词进行相关性的输出。核心技术就不再讲解了,不是那么容易的。一时半会...

某163企业邮箱js逆向登录解析

某163企业邮箱js逆向登录解析

平时我们发邮件时,如果用网页端发送邮件那么就需要登录,登录之后需要手动进行邮件发送的一些操作。如果我们用python逆向登录后,就可以在用接口模拟网页进行邮件的发送。问题主要是解决逆向登录,那么后面发送只要保持cookie就可以调用接口发送了。下面讲解一下逆向登录原理。首先是登录企业邮箱网页地址然后...

点选验证码js逆向识别进行360url提交

点选验证码js逆向识别进行360url提交

一般我们遇到点选验证码的时候,最简单的方式就是通过selenium调用浏览器,对验证码区域定位截图然后调用平台识别文字坐标。但是用selenium是比较麻烦的。我们还可以用js逆向识别参数生成方式,最后再用接口调用,下面就举例一下360提交的点选验证码js逆向调用。对于这样的点选验证码,我们要知道图...

自动过旋转验证码并查询关键词排名

自动过旋转验证码并查询关键词排名

如果用程序持续查关键词排名的话,肯定会遭遇百度反爬机制,反爬手段就是旋转验证码,需要过了旋转验证码才可以继续爬取,在之前已经逆向解决了旋转验证码,那么查询排名就可以持续性自动化进行。如果不过旋转验证码,那么就要买大量的代理ip去替换ip查询,而且这种做法查询过程中也会遇到反爬,并且查询速度收代理ip...

百度站长二级域名批量添加

百度站长二级域名批量添加

接上一篇文章,这次将百度二级域名批量单独封装exe软件,进行一个批量添加操作。在正常页面进行二级域名绑定的时候,需要进行三步:1、输入网站,2、属性设置,3、文件验证。视频演示1、输入网站过旋转2、站点属性设置3、验证网站如果想做一个批量添加操作,每次都手动的话,未免会比较麻烦,这时可以用代码进行批...