Node-cnblogs-spider- 基于 Node 实现的爬虫
JavaScript 网络爬虫
共0Star
详细介绍
spider_cnblogs
spider_cnblogs 是专门爬取博客园的文章并自动将文章转成 .md
存储至本地的爬虫。
安装
npm install node-cnblogs-spider --save
使用
var ncs = require('node-cnblogs-spider')
ncs([
http://xxxx,
http://xxxx
])
示例
依赖
to-markdown
将html
转md
cheerio
类似于Sizzle
的nodejs
的实现
bluebird
是对es6
种Promise
方法的封装与ose
展库
文档
- [译] NodeJS 错误处理最佳实践
- Nodejs异步异常处理domain
- 使用Promise尽量脱离回调地狱,使得代码可读性更高
- html转md格式的包还是有缺陷的,不然完美展现出
.md
- 生成本地文件使用的是stream实现,效率更高。但是要注意文件的命名规范。
License
MIT
-
0 Star
-
31 Star
-
6 Star
-
3 Star
-
3 Star
-
651 Star
-
1 Star
-
54 Star
-
0 Star