有时候，可能有一组数据，需要删除特定文本字符串之前的所有文本。例如，下图1所示的数据中包含员工的姓名和电话号码。
数据清洗，是进行数据分析和使用数据训练模型的必经之路，也是最耗费数据科学家/程序员精力的地方。
最近，大数据工程师Kin Lim Lee在Medium上发表了一篇文章，介绍了8个用于数据清洗的Python代码。
原作 Kin Lim Lee 乾明 编译整理 量子位 出品 | 公众号 QbitAI
h 或 向左箭头键(←) 光标向左移动一个字符 j 或 向下箭头键(↓) 光标向下移动一个字符 k 或 向上箭头键(↑) 光标向上移动一个字符 l 或 向右箭头键(→) 光标向右移动一个字符 如果你将右手放在键盘上的话，你会发现 hjkl 是排列在一起的，因此可以使用这四个按钮来移动光标。 如果想要进行多次移动的话，例如向下移动 30 行，可以使用 “30j” 或 “30↓” 的组合按键， 亦即加上想要进行的次数(数字)后，按下动作即可！ [Ctrl] + [f] 屏幕『向下』移动一页，相当于 [Page Down]按键 (常用) [Ctrl] + [b] 屏幕『向上』移动一页，相当于 [Page Up] 按键 (常用) [Ctrl] + [d] 屏幕『向下』移动半页 [Ctrl] + [u] 屏幕『向上』移动半页
hsetnx：它们的关系就像set和setnx命令一样，只不过作用域由键变为field
修改视图： DROP VIEW VIEW_NAME语句删除视图 删除视图的定义不影响基表中的数据 只有视图所有者和具备DROP VIEW权限的用户可以删除视图 视图被删除后，基于被删除视图的其他视图或应用将无效。
Oracle字符串函数 平常我们用Oracle主要有两种字符串类型 1.char始终为固定的长度，如果设置了长度小于char列的值，则Oracle会自动用空格填充的。当比较char时，Oracle用空格将其填充为等长，再进行比较。 2.VarChar2数据类型为可变长度，虽然与VarChar数据类型是同义的，但在今后的Oracle版本中也许会有变化，所以应该避免使用VarChar，优先使用VarChar2。 固定长度的字符串字段使用Char,而其他所有的字符串字段都应使用VarChar2. 下面列出部分Or
group_concat是MySQL数据库的一个函数，作用就是将查询到的某列数据合并成一行(既字符串)，待会演示一下这个函数。 其实，很多业务场景会用到这个功能，但是在sqlservre数据库中没有这样的函数，只能自己实现。 在正文之前推荐一个在线sql运行网站---- http://sqlfiddle.com/ 。
缺点：碎片问题。字符串update变长时，一个行的占用空间变长，但是在页内没有更多空间存储，MYISAM将行拆成不同片段存储，InnoDB分裂页使行可以放进页内；
一般在保存少量字符串的时候，我们会选择CHAR或者VARCHAR,而在保存较大文本时，通常会选择使用TEXT或者BLOB。二者之间的主要差别是BLOB能用来保存二进制数据，比如照片；而TEXT只能保存字符数据，比如一遍文章或日记。TEXT和BLOB中又分别包括TEXT,MEDIUMTEXT,LONGTEXT和BLOB,MEDIUMBLOB,LONGBLOB三种不同的类型，他们之间的主要区别是存储文本长度不用和存储字节不用，用户应该根据实际情况选择能够满足需求的最小存储类型。
● 1行注释 书写在“--”之后，只能写在同一行。 ● 多行注释 书写在“/*”和“*/”之间，可以跨多行。
哈喽，我是学习生物信息学的阿榜！非常感谢您能够点击进来查看我的笔记。我致力于通过笔记，将生物信息学知识分享给更多的人。如果有任何纰漏或谬误，欢迎指正。让我们一起加油，一起学习进步鸭? 这份学习目录可以
现在，我们来创建一个自己的数据库，名字就叫test吧！然后，我们在test数据库中创建一张表。在干这些之前，我们必须了解MySQL的数据类型。
当一个列可以选择多种数据类型时,应该优先考虑数字类型,其次是日期或者二进制类型,最后是字符类型,对于相同级别的数据类型,应该优先选择占用空间小的数据类型 理由: 1)在对数据进行比较时,字符类型处理与当前所使用的排序规则是相关的, 而数字和二进制是按照二进制大小来进行的,同样的数据,字符类型比数字处理慢 2)在数据库中,数据处理 是以页为单位的,每页的大小是恒定的,在innodb中,每页的大小是16k,数据占用空间越小,页中能容纳的数据个数就越多,减少磁盘IO,有利于性能的提升
MySQL中的DDL(Data Definition Language,数据定义语言)
less -N SRR10502964.sam | cut -f 1,3 # 输出文件中的第一列和第三列
RPAD 用尾随填充字符填充字符串表达式。它返回填充到长度字符数的字符串的副本。如果字符串表达式的长度超过 length 个字符，则返回字符串被截断为 length 个字符。
MySQL可以将一个字符串列更改为不同于CREATE TABLE或ALTER TABLE语句中所给出的类型。
在处理数据时，编辑或删除某些数据作为预处理步骤的一部分。这可能涉及从现有列创建新列，或修改现有列以使它们适合更易于使用。为此，Pandas 提供了多种方法，您可以使用这些方法来处理 DataFrame 中所有数据类型的列。
文本内容管理和文件查找 文本内容查看 cat //将文件内容标准正序输出（屏幕） -n //显示行号 注意：使用cat查看文件内容时会将文件的所有内容加载至内存，所以应避免使用cat打开巨大文件 tac //将文件内容标准倒叙输出 more //全屏查看文本文件内容，只能从前往后，不能从后往前。 看完自动退出。 less //全屏查看文本文件内容，可从前往后亦可从后往前。看完按Q退出。 head
导语：这个案例来自于excelxor.com，真是太佩服了！这样复杂的要求都能够用公式解决，这样的解决方法都能够想到！
· 如果你将一个非法值插入ENUM(也就是说，允许的值列之外的字符串)，将插入空字符串以作为特殊错误值。该字符串与“普通”空字符串不同，该字符串有数值值0。后面有详细讨论。
=（等于）、!=（不等于）、<>（不等于）、<（小于）、<=（小于等于）、>（大于）、>=（大于等于）；
select * from 表1 left join 表2 on (表1和表2共同的条件)
不管你承不承认，数据清洗着实不是一件简单的任务，大多数情况下这项工作是十分耗时而乏味的，但它又是十分重要的。
近几年数据库发挥了越来越重要的作用，这其中和大数据、数据科学的兴起有不可分割的联系。学习数据库，可以说是每个从事IT行业的必修课。你学或不学，它就在那里；你想或不想，你都得学。 大一的时候，我选了一门名为《Android应用程序开发》的选修课。那个时候啥都不懂，就感觉这个名字比较高端，然后就去了。学习一学期，也就是在电脑上装上了Android应用程序的开发环境。由于我的笔记本太撇，每次运行Android虚拟机就会卡的要死。好吧，我承认最后期末考试我挂了，很悲痛的经历，选修课竟然也会挂（其实主要是我太菜，没有
cut 译为“剪切, 切割”，是一个强大文本处理工具，它可以将文本按列进行划分的文本处理。cut命令逐行读入文本，然后按列划分字段并进行提取、输出等操作。
——————————————————————————————————修正：打算更四~五篇，之后更simulink相关操作
ALTER TABLE用来添加，删除或修改现有表中的列，也可以用来添加和删除现有表上的各种制约因素。语法如下：
如果我们直接在遍历的过程中填充，就会改变原始的矩阵，导致之后遍历到的 元素0 可能不属于原始的矩阵，而是前面填充得来的，这样就得不到想要的结果了。
题目地址：https://leetcode-cn.com/problems/delete-columns-to-make-sorted/submissions/
1. 数据类型为int(11)，注意到后面的数字11，这表示的是该数据类型指定的显示宽度，指定能够显示的数值中数字的个数。其他数据类型也可以在定义表结构的时候指定所需要的显示宽度，如果不指定，则系统为每一种类型指定默认的宽度。
接着之前的文章，在这里我们来看一些利用pandas处理文本数据，利用索引，loc, iloc,ix，属性选取数据
列表是python开发过程中最常用的数据类型之一，列表俗称：list ，特点如下：
Redis除了可以存储键还可以存储常见的5种数据类型，分别是：String、List、Set、Hash、ZSet。对于Redis的命令有一部分是可以公用的，但是还有一些其他的命令是属于特殊使用的。
良好的设计是高性能的基石，应该根据系统的实际业务需求、使用场景进行设计、优化、再调整，在这其中往往需要权衡各种因素，例如，数据库表究竟如何划分、字段如何选择合适的数据类型等等问题。
常用语句 --查询是否有空值 select * from iteminfo where 主供应商 = '' or 主供应商 is null --查询字段是否超出长度 select * from iteminfo where len(单位)>20
查看表的详细信息如下（在创建表的时候没有指定其长度，但是每一列都有自己默认的长度）：
本文研讨将字符串转换为数字的两个pandas内置方法，以及当这两种方法单独不起作用时，如何处理一些特殊情况。
之前黄同学曾经总结过一些Pandas函数，主要是针对字符串进行一系列的操作。在此基础上我又扩展了几倍，全文较长，建议先收藏。
Redis 提供了一组用于操作列表（list）数据类型的命令。列表是一个有序的元素集合，可以在列表的两端进行插入、删除和访问操作。
genfromtxt的唯一强制参数是数据的源。它可以是字符串，字符串列表或生成器。如果提供了单个字符串，则假定它是本地或远程文件或具有read方法的打开的类文件对象的名称，例如文件或StringIO.StringIO对象。如果提供了字符串列表或返回字符串的生成器，则每个字符串在文件中被视为一行。当传递远程文件的URL时，文件将自动下载到当前目录并打开。
一般我们对数据库的操作主要分为四种，增C(CREATE)、删D(DELETE)、改U(UPDATE)、查R(READ)，所以，我就从CRUD这四个方面来制作查询表。
Geiling();--向上取整 Floor();--向下取整 Round(,)--四舍五入（数，小数点后位数） abs();--绝对值 sign();--测试正负与0，正返回1.0，负返回-1.0,0返回0 PI();--π：3.1415926······ Rand();--随机数 Lower();--全部转换成小写 Upper();--全部转换成大写 Str();--把数值类型转换为字符型 Ltrim();--把字符串头部的空格去掉 Rtrim();--把字符串尾部的空格去掉 left(,),right(,),substring(,);--返回字符串指定位置，指定位数的字符串 charindex(1,2);--返回1字符串在2字符串中第一次出现的位置 patindex('%1%',2);--返回1字符串在2字符串中第一次出现的位置 quotename();--返回被特定字符括起来的字符串 replicate(1,2);--返回一个重复1字符串2次的新字符串 replace(1,2,3);--返回1字符串中的2子字符串被3子字符串替代 getdate();--获取系统时间 convert(char(10),GETDATE(),20);--获取当前时间，显示年月日 select convert(char(8),GETDATE(),108);--获取当前时间，显示时分秒 执行顺序： from -> where -> group by -> having -> select -> order by
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
