mongodb聚合命令
|
0 评论
聚合aggregate聚合(aggregate)是基于数据处理的聚合管道,每个文档通过一个由多个阶段(stage)组成管道,可以对每个阶段的管道进行分组、过滤等功能,然后经过一系列的处理,输出相应的结果。db.集合名称.aggregate({管道:{表达式}})常用管道在mongodb中,文档处理完
mongo高级查询
|
0 评论
数据查询方法find():查询db.集合名称.find({条件文档})方法find():查询,只返回第一个db.集合名称.findOne({条件文档})方法pretty():将结果格式化db.集合.find({条件文档}).pretty()比较运算符等于:默认是等于判断,没有运算符小于:$lt(le
mongodb增删改查
|
0 评论
关于database的基础命令查看当前的数据库:db查看所有的数据库:show dbs /show databases切换数据:use db_name删除当前的数据库:db.dropDatabase()关于集合的基础命令不手动创建集合:向不存在的集合中第一次加入数据时,集合会被创建出来手动创建集合:
下载器中间件
|
Downloader Middlewares(下载器中间件)下载器中间件是引擎和下载器之间通信的中间件。在这个中间件中我们可以设置代理、更换请求头等来达到反反爬虫的目的。要写下载器中间件,可以在下载器中实现两个方法。一个是process_request(self, spider),这个方法是在请求发
下载文件和图片
|
Request和Response
|
crawlspider
|
scrapy模拟登录
|
scrapy 入门使用
|
sed
|
0 评论
SedSed主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等语法sed [-hnV][-e<script>][-f<script文件>][文本文件]参数说明:-e或--expression= 以选项中指定的script来处理输入的文本文件-f<scr