爬虫开发笔记

一般流程

1. XHR，查看动态数据

2. JS 断点 + 全局搜索，找加密方法

3. 接口类型判断

如果显示表单数据，传的是字典

如果显示载荷数据，传的是JSON

4. 如何确定请求头

全复制过去是不可取的，可以看 js 代码里面发送请求，带了什么参数

5. 可以用 XHR 调试断点

6. 可以用 execjs 包来补 js 环境