很多北漂都是通过自如来租房，自如网站提供了地图找房的功能，可以在地图上找到附近的房源，但是这样还是不够直观，这时候爬虫就派上用场了，可以帮助找房者快速的找到需要的房子，节省找房的时间。

开发环境

• Firefox 开发版
• VSCode 编辑器
• Anaconda3 (python3环境)
• Mongodb 用于存储数据

爬虫原理

首先打开浏览器的开发者选项，观察一下自如的地图找房api接口

image.png

image.png

{    "min_lng": "116.236046",#最小的经度    "max_lng": "116.443016",#最大的经度    "min_lat": "39.934614",#最小的纬度    "max_lat": "40.02617",#最大的纬度    "clng": "116.339531",#中心的经度    "clat": "39.980407",#中心的纬度    "zoom": "14"#地图放大的级别}

返回的数据为

image.png

点击小区进去(比如望京)

{    "min_lng": "116.444611",    "max_lng": "116.496353",    "min_lat": "39.989225",    "max_lat": "40.012107",    "clng": "116.470482",#与上面图中的一致    "clat": "40.000667",#与上面图中一致    "zoom": "16"}

小区的最大最小经纬度如何确定的，不知道，再点开一个小区(这是亚运村小营)，提交的参数为

{    "min_lng": "116.394021",    "max_lng": "116.445763",    "min_lat": "39.980199",    "max_lat": "40.003084",    "clng": "116.419892",    "clat": "39.991642",    "zoom": "16"}

不难发现这两组参数中的max_lng-clng和max-clat为一个固定值

代码实现

下面直接上代码

#-*- coding:utf-8 -*-import requests,re,pickle,sys,jsonfrom bs4 import BeautifulSoup from requests.packages import urllib3import pandas as pdurllib3.disable_warnings()from pymongo import MongoClient#mongodb数据库，用于将爬取的租房信息存下来mongo = MongoClient('localhost',27017).zufang.ziru#全局变量room_info_list = []headers = {    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0',    'Origin':'http://www.ziroom.com'}#requests的会话对象s = requests.Session()#爬取每个小区的租房信息def spider(info):    room_info_list = []    #当前页    pg = 1    #总的页数    pages = 1    url = 'http://www.ziroom.com/map/room/list'    #自如将地图划分成一个个矩形的小格子，每个小格式表示一个小区的范围，小格子的区域使用经纬度来表示     #提交的参数    #通过观察可以发现所有提交的参数中，格子边界距离中心的距离为固定值，这样就比较容易构造参数了    lat_diff = 0.011443    lng_diff = 0.025871    #这里所有参数值均为字符串    params = {        "max_lng": "%.6f" % (info['touch_lng'] + lng_diff),#最大经度        "min_lng": "%.6f" % (info['touch_lng'] - lng_diff),#最小经度        "max_lat": "%.6f" % (info['touch_lat'] + lat_diff),#最大纬度        "min_lat": "%.6f" % (info['touch_lat'] - lat_diff),#最小纬度        "clng": "%.6f" % info['touch_lng'],        "clat": "%.6f" % info['touch_lat'],        "zoom":"16",        "p":"1"    }     while pg <= pages:        params['p']  = str(pg)        r = s.get(url=url, params=params,headers=headers)        if r.status_code == 200:                 data = r.json()            pages = data['data']['pages']                        for item in data['data']['rooms']:                try:                    #将结果存入数据库                    mongo.update(                        {"id":item['id']},                        {                            '$set':item                        },                        upsert = True                    )                    #将结果存储为csv格式                    item['location'] = item['location'][0]['name']                    for k,v in item.items():                        #将list类型转化为str类型                        if str(type(v)) == "
    
     ":                            item[k] = str(v)                                                #将//开关的url转化为http://开头                        if str(type(v)) == "
     
      " and v.startswith('//'):                            item[k] = 'http:' + v                    room_info_list.append(item)                    print(item['name'])                except:                    pass        print(info['name'],pg,pages)        pg += 1    #将结果导入为csv格式，每个小区一个csv文件，方便筛选    if room_info_list:        pickle.dump(room_info_list,open('ziru_result/%s.db' % info['name'],'wb'))        df = pd.DataFrame(room_info_list)[['name','desc','price','location','detail_url']]        df.to_excel('ziru_result/%s.xls' % info['name'])                                    def main():    #获取北京所有小区的租房信息,    url = 'http://www.ziroom.com/map/room/count?min_lng=116.228373&max_lng=116.486653&min_lat=40.019069&max_lat=40.123091&clng=116.357513&clat=40.0711&zoom=14'    r = s.get(url,headers = headers)    if r.status_code == 200:        data = r.json()['data']        for item in data:            #爬取每个小区的租房信息            print(item)            spider(item)main()
     
    

结果

爬取的结果