流逝的是岁月,不变的是情怀.
坚持学习,是为了成就更好的自己.
公众号[中关村程序员]

# 数据采集:如何自动化采集数据

# 数据来源一般有四个途径

  • 开放数据源,一般在公共机构,学校,企业都会有,一般网上搜索“某某开放数据库”容易找到;

  • 自动抓取,通过爬虫来实现,爬虫的三大步骤,requests爬取,Xpath解析,pandas存储。

当然我们如果不会写脚本,可以用火车采集器,八爪鱼,或者是集搜客。

  • 传感器数据,一般在智能设备中会汇集这些数据,温度湿度之类;

  • 日志,一般是在APP中,通过埋点来记录用户登录时长使用习惯等等,国内知名的友盟和talkingdata就是这种技术流。

上次更新: 7/20/2020, 2:09:44 AM