Python自动化爬取天气预报、疫情、糗事、通过企业微信发送给男女朋友

立即下载用AI写一个

发布时间：2021-12-13

0人 | 浏览：2412次 | 收藏 |

技术：Python3.9.7+Python自动化+Python爬虫开发

运行环境：Python3.9.7

概述

Python自动化爬取指定城市天气、疫情和糗事搞笑段子数据信息保存到txt文件，并通过企业微信机器人每天定时发送指定信息到指定群聊

详细

概述
==
开发这个程序、本来一个py文件就可以开发好、个人是不嫌麻烦的人，所有把步骤弄成多个py文件进行、适合新手参考、

我们先看看效果
==

![](/contentImages/image/20211206/a5A6B5xQvTDqw4b0FQs.jpg)

![](/contentImages/image/20211206/0OR9WUrb9wDgDX75hMQ.jpg)

![](/contentImages/image/20211206/FI8LkDC4dBMq8qfooWV.jpg)

准备工作
--
开发过程中使用的工具
Visual Studio Code - Insiders
pycharm

在开发过程中使用了Python第三方模块、可通过Windows下载方法、cmd命令pip install
```python
import requests
import os
import re
import json
import time
import codecs
from datetime import date, datetime
from urllib import request, error
from  bs4 import BeautifulSoup
from apscheduler.schedulers.background import BackgroundScheduler
```

建立一个企业微信群，然后添加一个机器人

![](/contentImages/image/20211206/VFKVHol7SyT1siHGDes.jpg)

在配置企业微信群里面的机器人拿出它的Webhook网址
![](/contentImages/image/20211206/io3YCcowNkeoamLSFTf.jpg)

实现整个程序的部分代码过程展示
---
一、首先处理第一个需求、抓取天气预报数据信息并通过企业微信机器人发送、创建一个天气预报发送.py的文件包
--
1、 先锁定一个天气预报的网址http://www.weather.com.cn/weather/101240103.shtml
打开浏览器自带的抓包工具、刷新一下、找到一个叫city.js的文件夹、里面保存着我们想要的数据，这种实时更新的界面一般是通过ajax传入json文件实现的。
![](/contentImages/image/20211206/FKmkeG0RElQvx31myYf.jpg)

2、 找到我们想要的数据包，我们就可以开始写一个程序，先导入requests BeautifulSoup模块
```python
import requests
from bs4 import BeautifulSoup
```

3、 通过requests来获取天气网页信息、先定义一个函数为 get_content
```python
# 获取城市的天气网页信息
def get_content(url, data=None):    
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return '产生异常'
```

4、拿到网页信息后，先找到我们想要的数据标签，通过BeautifulSoup处理和提取我们想要的数据，思路搞清楚了，那代码，它不就来了嘛，在定义一个函数get_data
1. 先处理一下网页数据
```python
# 处理网页信息
def get_data(html,city):
    final_list = []
    soup = BeautifulSoup(html, 'html.parser')
    body = soup.body
    data = body.find('div', {'id': '7d'})
    ul = data.find('ul')
    lis = ul.find_all('li')
```
2. 找到我们想要数据的标签用BeautifulSoup提取出来
```python
for day in lis:
        temp_list = [city]
 
        date = day.find('h1').string
        temp_list.append(date)
 
        info = day.find_all('p')
        temp_list.append(info[0].string)
 
        if info[1].find('span') is None:
            temperature_highest = ' '
        else:
            temperature_highest = info[1].find('span').string
            temperature_highest = temperature_highest.replace('℃', ' ')
 
        if info[1].find('i') is None:  #
            temperature_lowest = ' '
        else:
            temperature_lowest = info[1].find('i').string
            temperature_lowest = temperature_lowest.replace('℃', ' ')
 
        temp_list.append(temperature_highest)
        temp_list.append(temperature_lowest)
 
        wind_scale = info[2].find('i').string
        temp_list.append(wind_scale)
 
        final_list.append(temp_list)
```

5、把提取出来的数据保存到txt文件中
```python
#将近七天的天气信息存放在文件中
def save_data(data,filename):    
    f=open(filename,"wt")
    for line in data:
        f.write(str(line)+'\n')
    f.close()
```

写了这么多，终于把这个信息给爬下来了，现在差最后一步、把这个信息通过企业微信机器人发送到指定群聊、整上，定义一个postrsg函数

```python
def postrsg(filename):    
    with open(filename,'r') as f:
        lines = f.readlines()
    first = lines[0]
    sec = lines[1].rstrip("\n")
    headers = {"Content-Type": "text/plain"}
    data = {
      "msgtype": "text",
      "text": {
         "content": first+sec,
      }
    }
    r = requests.post(
      	url='填写自己企业微信机器人的webhook',headers=headers, json=data)
    print(r.text)
```

写到这里、我们第一个需求，天气预报.py文件终于写完了！

二、写了这么多，手感应该是有了吧，那现在写第二个程序吧！那新建一个爬取全国最新疫情信息.py文件吧
--

1、有了上个程序的基础，那些第二个文件就容易了，我们先看看这个疫情文件包里面的数据是什么
https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5
打开一看！不管是新手还是老司机，一看这个数据就是json数据
![](/contentImages/image/20211206/77upGQskff5aJZA1cQt.jpg)

好了，拿到数据，就开始准备动手！
首先我们导入requests、json库

```python
import requests
import json
```

2、我们先定义一个Down_data函数，用requests库来获取它的网页信息，然后用json库来编译它的json文件，思路搞清了，来吧！动手

```python
def Down_data():
    url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5'
    headers = {
       '填写自己的UA请求头'
    }
    r = requests.get(url, headers)
    res = json.loads(r.text)
    data_res = json.loads(res['data'])
    return data_res
```

3、数据拿到了，我们来处理一下我们想要的数据，定义一个Parse_data1函数，然后在Parse_data1定义一个list列表，开整

```python
                                                        list = ['截至时间:' + str(data['lastUpdateTime']) + '\n'
                                                    '全国确诊人数:' + str(data['chinaTotal']['confirm']) + '\n'
                                                                                                     '今日新增确诊:' + str(
        data['chinaAdd']['confirm']) + '\n'
                                       '全国疑似:' + str(data['chinaTotal']['suspect']) + '\n'
                                                                                      '今日新增疑似:' + str(
        data['chinaAdd']['suspect']) + '\n'
                                       '全国治愈:' + str(data['chinaTotal']['heal']) + '\n'
                                                                                   '今日新增治愈:' + str(
        data['chinaAdd']['heal']) + '\n'
                                    '全国死亡:' + str(data['chinaTotal']['dead']) + '\n'
                                                                                '今日新增死亡:' + str(
        data['chinaAdd']['dead']) + '\n']
    result = ''.join(list)
```
4、有上个程序基础，敲这个是不是简单很多，数据我们拿到了，我们来保存一下，保存txt文件时候，编码要设置成utf-8，不然会乱码，来吧！
```python
    with open('疫情查询.txt', 'a+', encoding="utf-8") as f:
        f.write(result + '\n')
```
5、最后一步，我想了想，要不还是实现一下搜索城市查询吧，不然有点乱，也很简单，来吧直接干，定义一个Parse_data2函数

```python
def Parse_data2():
    data = Down_data()['areaTree'][0]['children']
    path = str(input('请输入你要查询的省份:'))
    for i in data:
        if path in i['name']:
            for item in i['children']:
                list_city = [
                    '地区: ' + str(item['name']) + ' '
                    ' 确诊人数:' + str(item['total']['confirm']),
                    ' 新增确诊:' + str(item['today']['confirm']),
                    ' 治愈:' + str(item['total']['heal']),
                 #   ' 新增治愈：' + str(item['today']['heal']),
                    ' 死亡:' + str(item['total']['dead']) + '\n',
                 #   ' 新增死亡：' + str(item['today']['dead']) + '\n'
                ]
                res_city = ''.join(list_city)
                with open('疫情查询.txt', 'a+', encoding="utf-8") as f:
                    f.write(res_city)
```

好了，我们第二个需求写好了，说真的，写完这两个，都有点麻了，但是手感越来越好了！来吧继续写第三个需求

三、第三个需求我们是爬取糗事搞笑段子，这里要运用到
--
1、codecs模块进行编码转换
2、re模块正则提取字符串中括号内的内容
3、requests模块获取网页信息
4、urllib模块通过代码模拟浏览器发送请求
5、BeautifulSoup模块提取我们想要的数据

既然思路有了，话不多说，直接开搞
1、先导入模块

```python
import re
import codecs
from urllib import request, error
from  bs4 import BeautifulSoup
```

2、先定义一个askurl函数，来获取信息
```python
def askurl(url):
    try:
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
        req = request.Request(url=url, headers=headers)
        respond = request.urlopen(req)
        html = respond.read().decode('utf-8')
        return html
    except error.URLError as e:
        if hasattr(e, 'code'):
            print(e.code)
        if hasattr(e, 'reason'):
            print(e.reason)
```

3、利用re模块来提取字符串中括号内的内容
```python
FindName = re.compile(r'<h2>(.*?)</h2>', re.S)
FindContent = re.compile(r'<span>(.*?)</span>', re.S)
```
4、网页信息我们拿到后，找到我们想要的数据标签通过BeautifulSoup来进行提取，定义一个getdata函数。
```python
def getdata():
    datalist = []
    baseurl = 'https://www.qiushibaike.com/text/page/'
    for i in range(10):
        url = baseurl + str(i+1)
        html = askurl(url)
        soup = BeautifulSoup(html, 'html.parser')
        for item in soup.find_all('div', {'class':'article block untagged mb15 typs_hot'}):
            item = str(item)
            name = FindName.findall(item)[0]
            name = name.replace('\n', '')
            content = FindContent.findall(item)[0]
            content = content.replace('\n\n\n', '')
            content = content.replace('<br/>', '\n')
            datalist.append([name, content])
    return datalist
```

5、写到这里是不是都要麻了，现在我们想要的数据我们提取到了，我们来保存一下，定义一个savedata函数。

```python
def savedata(savepath):
    datalist = getdata()
    with codecs.open(savepath, 'w', 'utf-8') as file:
        for i in range(len(datalist)):
            file.write('用户'+str(i+1)+'是   -->   ')
            file.write(datalist[i][0])
            file.write('\n')
            file.write('段子   -->   ')
            file.write(datalist[i][1])
            file.write('\n')

```

写到这里，我们的第三个需求写完了

现在我们来整理一下，我们利用爬虫爬取了，天气情况，疫情情况，和糗事搞笑段子，现在是不是差发送了，但是我想了想，光发送这些是不是太单调了，学计算机程序员也是会懂得浪漫和爱情的，哈哈哈，所有我们来调整一下吧!来吧开整
--

四、我们写个提示吧，反正也是提醒她（他），哈哈哈，开整！
--
1、我们先写个冬天，因为要加个图片还有文字，要利用requests来解析网页，json来编译数据！我们先定义一个WXWork_SMS类，创建一个冬天提示.py文件

```python
class WXWork_SMS :
    # 图文类型消息
    def send_msg_txt_img(self) :
        headers = {"Content-Type" : "text/plain"}
        send_url = "自己企业微信群的webhook网址"
        send_data = {
            # 消息类型，此时固定为news
            "msgtype": "news",  
            "news": {
                # 图文消息
                "articles" : [  
                    {
                        "title" : "天气温度差提示",  
                        "description" : "天气冷了、该吃烤红薯炒板栗了、爱你哟",  
                        "url" : "www.baidu.com",  
                        "picurl" : "https://gimg2.baidu.com/image_search/src=http%3A%2F%2Fimg.zcool.cn%2Fcommunity%2F01eb635ca5dac1a801208f8b0f3265.jpg%401280w_1l_2o_100sh.jpg&refer=http%3A%2F%2Fimg.zcool.cn&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=jpeg?sec=1638690709&t=52b6c7b15c27010e4421ff0a2db42a3b" # 图文消息的图片链接，支持JPG、PNG格式，较好的效果为大图 1068*455，小图150*150。
                    },
                    {
                        "title" : "天气冷了、该吃烤红薯炒板栗了、爱你哟", 
                        "description" : "cc", 
                        "url" : "https://blog.csdn.net/itanping",  
                        "picurl" : "https://gimg2.baidu.com/image_search/src=http%3A%2F%2Fimg.zcool.cn%2Fcommunity%2F01eb635ca5dac1a801208f8b0f3265.jpg%401280w_1l_2o_100sh.jpg&refer=http%3A%2F%2Fimg.zcool.cn&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=jpeg?sec=1638690709&t=52b6c7b15c27010e4421ff0a2db42a3b" # 图文消息的图片链接，支持JPG、PNG格式，较好的效果为大图 1068*455，小图150*150。
                    }
                ]
            }
        }
 
```
当然代码中 picurl是图片url，你要是想换别的，可以把这个url换掉

2、在写个疫情提示，跟上面一样，创建一个疫情提示.py文件
![](/contentImages/image/20211206/ZAaDr7E6tnetmCKXhZo.jpg)

代码中 picurl是图片url，你要是想换别的，可以把这个url换掉

3、在写个搞笑段子提示好了，创建一个搞笑段子提示.py文件
![](/contentImages/image/20211206/iY7M18E0e9RiHyNGoCz.jpg)

五、信息提示都写完了，现在就差疫情和糗事搞笑段子发送了吧，天气预报发送，我们在第一个程序就已经写进去了，来吧，开整，
--
1、先写疫情发送吧，其实就跟上面提示信息差不多，原理差不多，来吧，创建一个疫情发送.py文件

2、也是用requests和json模块
```python
import requests
import json
```
3、先定义一个wechatwork函数
```python
def wechatwork():

webhook = "填写自己企业微信机器人webhook网址"

header = {

"Content-Type": "application/json",

"Charset": "UTF-8"
```
然后在提取一下我们想要的数据
```python
    with open('疫情查询.txt', 'r',encoding='utf-8') as fi:
        data = fi.read()
```

在定义一个参数，把提取出来的数据放进去，就OK了
```python
    tex = data

message ={

"msgtype": "text",

"text": {

"content": tex

},

"at": {

"isAtAll": True

}

message_json = json.dumps(message)

info = requests.post(url=webhook,data=message_json,headers=header)
```
这个程序就写完了！！

六、在写一个搞笑段子信息发送，创建一个搞笑段子信息发送.py文件，跟上面那个一个哈，我偷个懒，哈哈
--
![](/contentImages/image/20211206/L3nB4g56urIcwSenTRF.jpg)

这个程序就差不多完成了，哈哈哈，手都麻了，我们整理一下从爬取疫情、糗事搞笑段子、天气预报、加上信息提示，用了七个py文件，现在我们同时运行一下七个py文件！来吧

七、用os模块，来吧，创建一个py文件
--
```python
os.system("python ./冬天提示.py")
os.system("python ./天气预报发送.py")

os.system("python ./最新疫情提示.py")
os.system("python ./疫情信息发送.py")

os.system("python ./搞笑段子提示.py")
os.system("python ./分段段子发送企业微信.py")

os.system("python ./企业微信个人信息发送.py")
```

这样我们七个文件就可以运行一个文件就可以全部运行了，哈哈哈

八、最后我们写一个主程序，设置一个指定时间，每天到点就会运行哈哈哈，来吧，在创建一个py文件吧，先导入模块
```python
from datetime import date, datetime
import time
import os 
from apscheduler.schedulers.background import BackgroundScheduler
```
定义一个tick函数

```python
def tick():
    print("tick ! the time is : %s" % datetime.now())
    os.system("python ./同时运行七个py文件.py")

if __name__ == "__main__":
    scheduler = BackgroundScheduler()

scheduler.add_job(tick, 'interval', days=1, start_date="2021-11-17 10:18:00")

scheduler.start()

print("Press Ctrl + {0} to exit".format('Break' if os.name == 'nt' else 'C'))
    try:

while True:
            time.sleep(30)
            print(f"sleep! - {datetime.now()}")
    
    except (KeyboardInterrupt, SystemExit):
        scheduler.shutdown()
        print("Exit The Job !")
```

这个量start_date是设置每天指定时间运行

这样我们这个程序代码就写完咯

总结
====
我们总结一下，这个程序，难度也不大，学python嘛从入门到入狱，知识点也不多，先用爬虫爬取我们需要的信息，然后在利用自动化发送我们筛选好的信息，总之来说，难度不大，但也不简单
--
给你们看看效果吧
==
![](/contentImages/image/20211206/K0te0exHOSUjm7g5UV8.jpg)

![](/contentImages/image/20211206/7k8TnYMY6f1wsEsF9Sg.jpg)

![](/contentImages/image/20211206/95U6pt0az1R8OEqUQbm.jpg)

本实例支付的费用只是购买源码的费用，如有疑问欢迎在文末留言交流，如需作者在线代码指导、定制等，在作者开启付费服务后，可以点击“购买服务”进行实时联系，请知悉，谢谢

感谢

手机上随时阅读、收藏该文章？请扫下方二维码

Python自动化爬取天气预报、疫情、糗事、通过企业微信发送给男女朋友

概述

详细

相似例子推荐

评论

作者

评分详细

作者例子