- 看了B站上一些动态排行榜视频,感觉非常酷炫,自己也想学习一下,做一个。
- 搜索了下相关资料,找到了一个Jannchie见齐开源在github上的排行榜可视化项目,就是它了。
- 看了下项目说明,关键就是准备数据了,下面介绍获取数据的方法。
- 最简单的,当然是百度指数了,发现它有自己的行业排行榜,而且有各种日期的排行榜数据,太棒了,下一步就是把这些数据弄到手,按可视化框架的数据格式排版就好了。
- 从化妆品行业排行榜下手吧,打开网址http://index.baidu.com/v2/rank/index.html?#/industryrank/makeup?tab=0,按下F12,找到了一个Get接口:
分析下这个请求信息,http://insight.baidu.com/base/search/rank/list 是 host,pageSize是请求个数,dateType是查询日期,试了下,可以填具体是日期信息,dimensionid应该是查询的类别,化妆品类别是37,其他参数应该不重要。
3. 有了地址就好办了,写个python脚本,按照日期逐步获取信息并记录到csv文件中就好了。代码如下。将配置信息存放在config.py中,方便读取。main.py是代码主逻辑。其中,使用了 库将url请求返回的json字符串转换为python数据结构。使用库进行url请求。使用库处理时间相关操作,包括字符串和日期转换,日期加减操作。