HSSP 爬虫框架

一个基于python asyncio开发的爬虫框架 (开发中)

作者

• @昊色居士

特性

• 使用scrapy框架的选择器parsel作为内置网页选择器
• 基于tenacity的自动异常重试
• 基于fake-useragent的可选随机UA
• 可选的多种下载器: httpx、aiohttp、requests、curl-cffi等
• 请求前、响应后、重试后监听

计划

• 基于fake-useragent的随机UA
• 在情求过程中临时更换下载器：比如net初始化时使用的是httpx下载器，其中一个情求要临时切换至 DrissionPage, 其他的依旧是httpx
• 支持 DrissionPage 浏览器渲染的下载器
• 支持 playwright 浏览器渲染的下载器
• 针对 curl-cffi 支持更多配置项及自定义项
• 编写详细使用文档

安装

使用 pip 安装 hssp

pip install hssp

使用 rye 安装 hssp

rye add hssp

支持

如需支持，请发送电子邮件至 [email protected]。

开发测试

项目使用rye管理依赖，需先安装rye

    rye sync