forked from Frank-qlu/recruit
-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathREADME.md.bak
55 lines (48 loc) · 2.5 KB
/
README.md.bak
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
# recruit
招聘爬虫+数据分析
1.爬虫：
采用Scrapy 分布式爬虫技术，使用mongodb作为数据存储，爬取的网站Demo为51job，数据我目前爬了有几千条
2.数据处理：
采用pandas对爬取的数据进行清晰和处理
2.数据分析：
采用flask后端获取mongodb数据，前端使用bootstrap3.echarts以及D3的词云图
###注意：1. pymongo安装版本 <=3.0 建议 pip install pymongo==2.8###
2. 如果scrapy安装不上，在这上面查找https://www.lfd.uci.edu/~gohlke/pythonlibs/ 先安装对应版本 twisted ，再安装scrapy就没问题。
3.mongodb启动，进入安装mongodb的文件夹的bin目录下面，输入 mongod --dbpath= data文件夹路径
#####
###
关于项目启动
1. 爬虫：
1.cd 目录
2. pip install pymongo==2.8
3. scrapy crawl zlzp
2. 数据可视化
1. 激活虚拟环境 cd venv/Scripts
activate
2. python zlzpView.py
###
###
该项目适合新手学习和交流，如果有任何问题请联系我Email: [email protected]
同时希望大家提出宝贵意见，欢迎学习交流，如果你喜欢该项目，请收藏或者fork一下，你的主动将是我前行的动力
###
version 1.0:
首次更新项目
version 2.0(2019-05-16更新)
1.优化界面，采用blueprint设计模，代码稍后更新
2.添加高级搜索(聚合查找)
3.添加前后台，增添redis数据库
3. 后台设置招聘信息过期时间
4.后台用户管理
version 3.0(未来):
1.采用flask-restful
2.优化数据分析模块
3. 设置兴趣标签，添加协同过滤算法
项目预览
###
