Python猫哥 天涯网络 2年 社区认证作者 ・广东 Lv8 码仙
总访问量 12.2万
原创 3
排名 3
粉丝 2662
关注 109
人生苦短，我用 Python。专注数据分析与自动化
从零实现一个轻量级 Python 爬虫框架（300 行代码）
一、框架整体设计 一个最小可用的爬虫框架需要五个模块： Scheduler：URL 调度与去重Downloader：发送 HTTP 请求Parser：解析响应内容Pipeline：数据持久化Engine：驱动整个流程 二、核心代码 三、引擎与并发 四、使用示例 五、可优化方向 用 asyncio +...
pandas 数据处理 10 个高效技巧，让分析速度提升 5 倍
1. 用向量化替代 apply 2. 用 query 简化布尔索引 3. 用 category 类型省内存 4. 分块读取大文件 5. 指定 dtype 减少内存 6. 用 map 做字典映射 7. groupby + agg 一次聚合多列 8. 用 merge 时注意索引 9. 避免链式赋值 10...
Python asyncio 异步编程实战：从协程到高并发爬虫
一、协程 vs 线程 | 维度 | 线程 | 协程 | | --- | --- | --- | | 切换成本 | 内核态，微秒级 | 用户态，纳秒级 | | 并发数 | 数百 | 数万 | | 数据共享 | 需加锁 | 单线程无需锁 | | 适用场景 | 混合任务 | 纯 IO 密集 | 二、最简示...