Skip to content

Latest commit

 

History

History
59 lines (51 loc) · 1.96 KB

README.md

File metadata and controls

59 lines (51 loc) · 1.96 KB

北京二手房在线数据采集

使用 Python 3.5 的 asyncio + aiohttp

    requirements
    使用Python 3.5及以上版本,建议安装以下依赖包
    ==========
    Python3.5
    requests
    lxml
    tqdm
    pandas
    asyncio
    aiohttp

    parameters
    ==========
    params : str
        筛选条件,具体参数在官网查询
        例如:sf1co21tf1p4p5表示“价格300-500万之间、满五唯一/满二的普通住宅”
    field : dict
        可选区域:东城, 西城, 朝阳, 海淀, 丰台, 石景山,
        通州, 昌平, 大兴, 亦庄开发区, 顺义, 房山, 门头沟,
        平谷, 怀柔, 密云, 延庆, 燕郊
    field_name : str
        区域名称,显示在输出文件名
    header : str
        区域url链接
    page_all : int
        全部页数
    page_info : list
        需要的信息列表,输出文件后,替换为最终Dataframe
    sem : asyncio.Semaphore
        协程锁
    headers : dict
        Http get请求头
    columns : list
        pandas Dataframe字段名称
    new_columns : list
        输出excel文件字段名称
from linkedhome import LinkedHome
home = LinkedHome('haidian') # 初始化区域
home.get_all() # 获取数据
home.clean_data() # 清洗数据
python audit_house_list.py

知识共享许可协议
本作品采用知识共享署名-非商业性使用-相同方式共享 3.0 中国大陆许可协议进行许可。