首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

爬完数据只会做词云?练习 Pandas 各种操作不香吗!

Pandas作为一个优秀的数据处理库,在进行数据处理的时候,显得极为方便。在我们日常的Pandas学习中,我们针对自己爬虫得到的数据,不仅仅是做一个词云图,还可以利用它来帮我们熟练使用Pandas。...然后利用count()函数统计每一条记录中,是否包含这七个关键字眼,如果包含就保留这个字段,不过不包含就删除这个字段。最后查看筛选之后还剩余多少条记录。...然后定义一个函数,如果某条记录包含job_list数组中的某个关键词,那么就将该条记录替换为这个关键词,如果某条记录包含job_list数组中的多个关键词,我们只取第一个关键词替换该条记录。...接着使用value_counts()函数统计一下替换后的各岗位的频次。最后,我们将“数据专员”、“数据统计”统一归为“数据分析”。 4....行业字段的处理 每个公司的行业字段可能会有多个行业标签,但是我们默认以第一个作为该公司的行业标签。

78120

MySQL数据库选择题

(AC) A、关键字DESC表示升序,ASC表示分组 B、如果指定多列排序,只能在最后一列使用升序或者降序关键字 C、如果指定多列排序,可以在任意列使用升序或降序关键字 D、关键字ASC表示降序...BY 子句用来分组where子句的输出 B、WHERE子句用来筛选FROM子句中指定的操作所产生的行 C、聚合函数需要和group by一起使用 D、HAVING子句用来从FROM的结果中筛选行...(AC) A、关键字DESC表示升序,ASC表示分组 B、如果指定多列排序,只能在最后一列使用升序或者降序关键字 C、如果指定多列排序,可以在任意列使用升序或降序关键字 D、关键字ASC表示降序...GROUP BY 子句用来分组where子句的输出 B、WHERE子句用来筛选FROM子句中指定的操作所产生的行 C、聚合函数需要和group by一起使用 D、HAVING子句用来从FROM的结果中筛选行...D、一致性 2、关于检索结果排序,正确的是(AC) A、关键字DESC表示降序,ASC表示升序 B、如果指定多列排序,只能在最后一列使用升序或者降序关键字 C、如果指定多列排序,可以在任意列使用升序或降序关键字

2.8K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    关于“Python”的核心知识点整理大全9

    使用or检查多个条件 关键字or也能够让你检查多个条件,但只要至少有一个条件满足,就能通过整个测试。仅当 两个测试都没有通过时,使用or的表达式才为False。...在地图程序中,可能需要检查用户提交的 位置是否包含在已知位置列表中。 要判断特定的值是否已包含在列表中,可使用关键字in。...5.2.7 检查特定值是否不包含在列表中 还有些时候,确定特定的值未包含在列表中很重要;在这种情况下,可使用关键字not in。...布尔值通常用于记录条件,如游戏是否正在运行,或用户是否可以编辑网站的特定内容: game_active = True can_edit = False 在跟踪程序状态或程序中重要的条件方面,布尔值提供了一种高效的方式...3 处检查配料辣香肠('pepperoni') 的代码也是一个简单的if语句,而不是elif或else语句;因此不管前一个测试是否通过,都将进 行这个测试。

    13810

    MySQL:DQL 数据查询语句盘点

    条件语句中使用表达式 PS:需要避免SQL返回结果中包含".“,”*"和括号等干扰开发语言程序 ---- 三、WHERE 条件语句 1、WHERE 条件语句 用于检索数据表中符合条件的记录,搜索条件可由一个或多个逻辑表达式组成...与%一起使用,表示匹配 0 或任意多个字符 与_一起使用,表示匹配单个字符 如果需要显示%或者_,可以使用转义字符\,也可以用ESCAPE关键字自定义转义符,如: 6、IN范围查询 在 WHERE 子句中使用...分组的依据字段可以有多个,并依次分组 与HAVING结合使用,进行分组后的数据筛选 GROUP BY的语句顺序在WHERE后面,ORDER BY 的前面 通常在对数据使用计算统计的时候,会用到GROUP...LIMIT[m,]n 或 LIMIT n OFFSET m 限制 SELECT 返回结果的行数 m 指定第一个返回记录行的偏移量(显示的起始位置) n 指定返回记录行的最大数目(显示行数) m 不指定则偏移量为...0,从第一条开始返回前 n 条记录 在MySQL中,显示每页的行数可以使用 LIMIT (页码-1)*行数,行数 ---- 六、子查询 在查询语句中的WHERE条件子句中,又嵌套了另外一个查询语句 嵌套查询可由多个子查询组成

    1.6K20

    【MySQL】MySQL数据库的进阶使用

    ,因为索引只能提升部分数据的查询,查询的数据一旦涉及到索引中没有包含的列字段,则此时就无法使用B+索引结构来优化查询的速度,数据库系统只能遍历整个表的所有行来进行查找,这会大大降低查询速度。...where子句是select在查询时常用的一个筛选条件,当where条件判断为真时,select在会将查询结果显示出来,下面我们通过多个使用案例,来熟悉where条件的使用以及逻辑运算符的使用。...update时,后面也可以跟where子句,order by子句,limit子句,这些子句的作用无非就是对数据作行级别的筛选,一般limit会和order by子句配合使用,因为直接使用limit筛选出来的行并不具有顺序性...合并查询就是将多个select的查询结果合并到一起,union在合并时,会自动去掉重复的行(两个所有列字段完全重复的行),union all不会去掉重复的行。...将工资大于2500或职位是MANAGER的人找出来 union all:该操作符用于取得两个结果集的并集。当使用该操作符时,不会去掉结果集中的重复行。

    35220

    2-SQL语言中的函数

    `department_id`; # 外连接 /* 用于查询一个表中有,另一个表中没有的记录 特点: 外连接的查询结果为主表中的所有记录 如果表中有和它匹配,则显示匹配的值 如果没有匹配值...: 标量子查询(结果集只有一行一列) 列子查询(结果集只有一列多行) 行子查询(结果集有一行多列) 表子查询(结果集一般多行多列) # 子查询 /* 含义: 出现在其他语句中的select语句,称为子查询或内查询...单查询的信息一致 特点: 要求多条查询语句的查询列数是一致的 要求多条查询语句每一列的类型和顺序最好是一致的 UNION关键字会自动去重,如果不想去重可以使用UNION ALL关键字 # 联合查询 /...应用场景:要查询结果来自多个表,且多个表没有直接的连接关系,单查询的信息一致 特点: 要求多条查询语句的查询列数是一致的 要求多条查询语句每一列的类型和顺序最好是一致的 UNION关键字会自动去重,如果不想去重可以使用...UNION ALL关键字 */ # 查询部门编号>90或邮箱中包含a的员工信息 SELECT * FROM employees WHERE email LIKE '%a%' OR department_id

    2.8K10

    【重学 MySQL】四十、SQL 语句执行过程

    DISTINCT 关键字用于返回唯一不同的值。 FROM:指定要从中检索数据的表名。 WHERE(可选):指定过滤条件,用于限制哪些行应被包含在结果集中。...GROUP BY(可选):将结果集中的行分组为一个或多个汇总行,每个分组包含列中值的集合。通常与聚合函数(如 COUNT, MAX, MIN, SUM, AVG)一起使用。...可以指定一个或多个列进行排序,以及排序的方向(升序 ASC 或降序 DESC)。 LIMIT(可选):限制返回的记录数。...OFFSET 子句(如果与 LIMIT 一起使用)指定在开始返回记录之前要跳过的记录数。 请注意,并非每个 SELECT 语句都需要包含所有这些部分。...WHERE: 在确定了数据源之后,数据库会根据WHERE子句中的条件对记录行进行筛选,排除不满足条件的行。

    14910

    【mysql】聚合函数

    BY department_id, job_id ; [在这里插入图片描述] 2.3 GROUP BY中使用WITH ROLLUP 使用WITH ROLLUP关键字之后,在所有查询出的分组记录之后增加一条记录...HAVING 3.1 基本使用 [在这里插入图片描述] 过滤分组:HAVING子句 行已经被分组。 使用了聚合函数。 满足HAVING 子句中条件的分组将被显示。...HAVING 在 GROUP BY 之后,可以使用分组字段和分组中的计算函数,对分组的结果集进行筛选,这个功能是 WHERE 无法完成的。另外,WHERE排除的记录不再包括在分组中。...-1 的基础上进行筛选,得到虚拟表 vt1-2; 添加外部行。...最后在 vt6 的基础上,取出指定行的记录,也就是 LIMIT 阶段,得到最终的结果,对应的是虚拟表 vt7。 当然我们在写 SELECT 语句的时候,不一定存在所有的关键字,相应的阶段就会省略。

    3.3K10

    MySQL数据库,从入门到精通:第八篇——MySQL聚合函数实战探究:优化SELECT过程助力高效查询

    摘要 本文主要分为四个部分,第一部分介绍MySQL中的聚合函数,包括AVG、SUM、MIN、MAX和COUNT函数等。 第二部分讲解分组查询的使用方法,包括基本使用和使用多个列分组。...WITH ROLLUP 使用WITH ROLLUP关键字之后,在所有查询出的分组记录之后增加一条记录,该记录计算查询出的所有记录的总和,即统计记录数量。...HAVING 3. 1 基本使用 过滤分组:HAVING子句 行已经被分组。 使用了聚合函数。 满足HAVING 子句中条件的分组将被显示。...-1 的基础上进行筛选,得到虚拟表 vt1-2; 添加外部行。...最后在 vt6 的基础上,取出指定行的记录,也就是 LIMIT 阶段,得到最终的结果,对应的是虚拟表 vt7。 当然我们在写 SELECT 语句的时候,不一定存在所有的关键字,相应的阶段就会省略。

    19310

    MySQL数据篇之多表操作-----保姆级教程

    表1,表2; 这里交叉连接,就是表1的每一行都会去匹配表2的所有行,如果不加限制条件去匹配,求出来的结果就是笛卡尔积 ---- 内连接:inner join(inner)可以省略 显示的内连接:在sql...中显示调用inner join关键字 语法: select *from 表1 inner join 表2 on 关联条件; 隐式内连接 : 在sql中没有调用inner join 关键字 语法: select...* FROM classes CROSS JOIN stu; 不使用cross join关键字 SELECT* FROM classes,stu; 效果一样: ---- 多表查询之内连接–返回两张表都满足条件的部分记录...,有匹配上的,就在左表的对应行后面加上右表的数据,没有匹配上的时候,也要在左表的对应行后面加上右表的数据,但是数据都为null 这样对应左表的数据全部通过on条件匹配完成之后,就会生成一张临时表,这个临时表中包含的字段就是...union关键字默认去重,union对重复记录的认定,是一行数据的重复,如果一行数据有多个字段,那么就得是所有字段都重复 查询的结果集显示的字段名是第一个结果集的字段名 union all可以查询出所有

    1.2K10

    快速学习-Python基本语法

    elif:和if配合使用的,if语句中的一个分支用elif表示。...但是我们可以使用斜杠( \)将一行的语句分为多行显示,如下所示: total = item_one + \ item_two + \ item_three print('...包含了多个语句""" 3.8 Python空行 函数之间或类的方法之间用空行分隔,表示一段新的代码的开始。类和函数入口之间也用一行空行分隔,以突出函数入口的开始。...3.10 同一行显示多条语句 Python可以在同一行中使用多条语句,语句之间使用分号(;)分割,以下是一个简单的实例: x = ‘runoob’;print(x + ‘\n’) 3.11 多个语句构成代码组...像if、while、def和class这样的复合语句,首行以关键字开始,以冒号( : )结束,该行之后的一行或多行代码构成代码组。 我们将首行及后面的代码组称为一个子句(clause)。

    82210

    python标识符号_python标识符的组成元素

    这些保留字不能用作常数或变数,或任何其他标识符名称。 # 比起 JAVA 的 50 个关键字,py 也有自己的特色,以后会一个个介绍 # 所有 Python 的关键字只包含小写字母。...包含了多个语句""" print(paragraph) Python 注释 # python中单行注释采用 # 开头。...name = "Madisetti" # 这是一个注释,语句或表达式行末 ''' 这是多行注释,使用单引号。 这是多行注释,使用单引号。 这是多行注释,使用单引号。...\n")) 同一行显示多条语句 # Python可以在同一行中使用多条语句,语句之间使用分号(;)分割,以下是一个简单的实例: import sys; x = 'runoob'; sys.stdout.write...# 像if、while、def和class这样的复合语句,首行以关键字开始,以冒号( : )结束,该行之后的一行或多行代码构成代码组。 # 我们将首行及后面的代码组称为一个子句(clause)。

    1.5K20

    Mysql资料 查询SQL执行顺序

    FROM子句执行顺序为从后往前、从右到左,FROM 子句中写在最后的表(基础表 driving table)将被最先处理,即最后的表为驱动表,当FROM 子句中包含多个表的情况下,我们需要选择数据最少的表作为基础表...2.ON 应用ON过滤器 对虚拟表VT1 应用ON筛选器,ON 中的逻辑表达式将应用到虚拟表 VT1中的各个行,筛选出满足ON 逻辑表达式的行,生成虚拟表 VT2 。...如果FROM子句包含两个以上的表,则对上一个联接生成的结果表和下一个表重复执行步骤1~3,直到处理完所有的表为止。 4.WHERE 应用WEHRE过滤器 对虚拟表 VT3应用WHERE筛选器。...CUBE 和 ROLLUP 区别如下: CUBE 生成的结果数据集显示了所选列中值的所有组合的聚合。 ROLLUP 生成的结果数据集显示了所选列中值的某一层次结构的聚合。...HAVING 语句在SQL中的主要作用与WHERE语句作用是相同的,但是HAVING是过滤聚合值,在 SQL 中增加 HAVING 子句原因就是,WHERE 关键字无法与聚合函数一起使用,HAVING子句主要和

    3.3K00

    文本筛选 grep

    -i 或--ignore-case 忽略字符大小写的差别。 -w 或--word-regexp 只显示全字符合的列。 -x 或--line-regexp 只显示全列符合的列。...-l 列出满足条件的文件名称,而不是具体内容,这个用在文件很多时,筛选出哪些文件包含条件 的内容。然后将这些文件筛选出来。...-v,--revert-match ,显示不匹配模式的行,有时候我们需要输出哪些是不满足条件的行,这时 就可以使用-v 选项。 -n 是在输出满足条件的内容前加行行号。...三、使用案例 #1 统计fasta条数 grep ">" soapdenovo.fa | wc #2 去除#开头的行 grep -v "^#" demo.gff | head #3 根据关键字搜索...grep -e "ncRNA" -e "ncRNA_gene" demo.gff #12 显示包含关键字的文件 grep -l aspera /share/*/*.sh 写在最后:有时间我们会努力更新的

    1.5K20

    Python基础语法(一):标识符与保留字部分

    : def:用于定义函数,后跟函数名和参数列表,以及包含函数体的代码块。...if / elif / else:条件判断语句,根据条件决定执行哪段代码块。 return:在函数内部使用,用于结束函数的执行,并将值返回给调用者。...2、多行注释可以用多个“#” # 这是一行注释 #这又是一行注释 print('hello python!')...七、多个语句在一行显示 Python 可以在同一行中使用多条语句,语句之间使用分号“;” 分割,例如: import sys; x = 'abc'; sys.stdout.write(x + '\n')...像if、while、def和class这样的复合语句,首行以关键字开始,以冒号( : )结束,该行之后的一行或多行代码构成代码组 if expression : print('python')

    24110

    2024Mysql And Redis基础与进阶操作系列(5)作者——LJS

    为了提高可读性,各子句分行写,必要时使用缩进 每条命令以 ; 或 \g 或 \G 结束 关键字不能被缩写也不能分行 关于标点符号 必须保证所有的()、单引号、双引号是成对结束的 必须使用英文状态下的半角输入方式...: LIKE运算符通常使用如下通配符: “%”:匹配0个或多个字符。...having,不能使用where where子句用来筛选 FROM 子句中指定的操作所产生的行 group by 子句用来分组 WHERE 子句的输出。...having 子句用来从分组的结果中筛选行 分组之后对统计结果进行筛选的话必须使用having,不能使用where where子句用来筛选 FROM 子句中指定的操作所产生的行 group by 子句用来分组...having 子句用来从分组的结果中筛选行 3.7 分组查询 分组查询是指使用group by字句对查询信息进行分组。

    26330

    Linux日志筛选命令

    此时如果我想查看这个关键字前10行和后10行的日志: cat -n test.log |tail -n +92|head -n 20 tail -n +92表示查询92行之后的日志 head -n...more会以一页一页的显示方便使用者逐页阅读,而最基本的指令就是按空白键(space)就往下一页显示,按 b 键就会往回(back)一页显示,而且还有搜寻字串的功能 。...b.Less less 工具也是对文件或其它输出进行分页显示的工具,应该说是linux正统查看文件内容的工具,功能极其强大。less 的用法比起 more 更加的有弹性。...grep命令多条件查询 1、或操作 grep -E ’123|abc’ filename // 找出文件(filename)中包含123或者包含abc的行 egrep ’123|abc’ filename...: 1.使用ps命令执行相应操作,如果想查询服务器上所有运行的进程的话,可以使用命令ps aux即可查出; 2.如果有具体的筛选条件的话,就可以使用ps aux | grep xxx即可; 3.或者使用命令

    4.1K20

    最完整的Explain总结,妈妈再也不担心我的SQL优化了

    type列 这一列表示关联类型或访问类型,即MySQL决定如何查找表中的行,查找数据行记录的大概范围。...= 1) tmp; eq_ref primary key 或 unique key 索引的所有部分被连接使用 ,最多只会返回一条符合条件的记录。...最完整的Explain总结,妈妈再也不担心我的SQL优化了 ref 相比 eq_ref,不使用唯一索引,而是使用普通索引或者唯一性索引的部分前缀,索引要和某个值相比较,可能会找到多个符合条件的行。...ref列 这一列显示了在key列记录的索引中,表查找值所用到的列或常量,常见的有:const(常量),字段名(例:film.id) rows列 这一列是mysql估计要读取并检测的行数,注意这个不是结果集里的行数...此时mysql会根据联接类型浏览所有符合条件的记录,并保存排序关键字和行指针,然后排序关键字并按顺序检索行信息。这种情况下一般也是要考虑使用索引来优化的。

    78020
    领券