读取数据 使用 pd 的 read_sql 读取数据 import pymysql import pandas as pd self.conn = pymysql.connect(host=host, user=user, password=pass, db=db, charset='utf8') sql = 'select * from table_name' df = pd.read_sql(sql, con=self.conn) 空值空格处理 处理空值以及空格使用 pd 的 strip 方法以及
摘要： 本文主要讲述了如何在python中用七步就能完成中数据准备。 上图为CRISP-DM模型中的数据准备 下面七个步骤涵盖了数据准备的概念，个别任务以及从Python生态系统中处理整个任务过程的不同方法。 维基百科将数据清洗定义为： 它是从记录集、表或者数据库检测和更正（或删除）损坏或不正确的记录的过程。指的是识别数据的不完整、不正确、不准确或不相关的部分，然后替换、修改或删除它们。数据清洗（data cleaning）可以与数据整理（data wrangling）的工具交互执行，也
作者 | June Tao Ching 编译 | VK 来源 | Towards Data Science
让我们从第 4 题开始，取出 D 列全部非整数行，其实在 pandas 中可以使用.is_integer() 判断一个元素是否为整数。
这篇文章是我最近刚做的一个项目，会带领大家使用多种技术实现一个非常有趣的项目，该项目是关于苹果机（iphoneX）的销售数据分析，是网络爬虫和数据分析的综合应用项目。本项目会分别从天猫和京东抓取iphoneX的销售数据（利用 Chrome 工具跟踪 Web 数据），并将这些数据保存到 Mysql 数据库中，然后对数据进行清洗，最后通过 SQL 语句、Pandas 和 Matplotlib 对数据进行数据可视化分析。我们从分析结果中可以得出很多有趣的结果，例如，大家最爱买的颜色是，最喜欢的是多少G内存的iphoneX等等，当然本文介绍的只是一个小的应用，时间够的话如果大家刚兴趣可以进一步进行推广。
Pandas是数据处理中非常常用的一个库，是数据分析师、AI的工程师们必用的一个库，对这个库是否能够熟练的应用，直接关系到我们是否能够把数据处理成我们想要的样子。Pandas是基于NumPy构建的，让以NumPy为中心的应用变得更加的简单，它专注于数据处理，这个库可以帮助数据分析、数据挖掘、算法等工程师岗位的人员轻松快速的解决处理预处理的问题。比如说数据类型的转换，缺失值的处理、描述性统计分析、数据汇总等等功能。 它不仅仅包含各种数据处理的方法，也包含了从多种数据源中读取数据的方法，比如Excel、CSV等，这些我们后边会讲到，让我们首先从Pandas的数据类型开始学起。 Pandas一共包含了两种数据类型，分别是Series和DataFrame，我们先来学习一下Series类型。 Series类型就类似于一维数组对象，它是由一组数据以及一组与之相关的数据索引组成的，代码示例如下：
查看一个本地数据库中某个表的数据。这份数据是《MySQL经典50题》的一个表之一：
问题1 MySQL报错MySQL“ERROR 1046（3D000）：未选择数据库”更新查询
本文是【统计师的Python日记】第8天的日记 回顾一下： 第1天学习了Python的基本页面、操作，以及几种主要的容器类型。 第2天学习了python的函数、循环和条件、类。 第3天了解了Numpy这个工具库。 第4、5两天掌握了Pandas这个库的基本用法。 第6天学习了数据的合并堆叠。 第7天开始学习数据清洗，着手学会了重复值删除、异常值处理、替换、创建哑变量等技能。 原文复习（点击查看）： 第1天：谁来给我讲讲Python？ 第2天：再接着介绍一下Python呗 【第3天：Numpy你好】 【第
第1步：确保MySQL已安装且在运行 安装教程： 亲测：MySQL安装与python下的MySQLdb使用（附软件与模块包） 第2步：使用Python连接MySQL 连接教程： mysqldb库安装与python交互操作 第3步：Python中执行MySQL查询 cursor对象使用MySQL查询字符串执行查询，返回一个包含多个元组的元组——每行对应一个元组。如果你刚接触MySQL语法和命令，在线的MySQL参考手册 https://dev.mysql.com/doc/refman/5.7/en/
具体来讲，第一篇文章一场pandas与SQL的巅峰大战涉及到数据查看，去重计数，条件选择，合并连接，分组排序等操作。
为什么当时想起写这个爬虫呢，是因为这是曾经在工作中想要解决的问题，当时不会爬虫，只能用 Excel 花了数个小时才勉强地把数据爬了下来， 所以在接触到爬虫后，第一个想法就是去实现曾未实现的目标。以这样的方式入门爬虫，好处显而易见，就是有了很明确的动力。 很多人学爬虫都是去爬网上教程中的那些网站，网站一样就算了，爬取的方法也一模一样，等于抄一遍，不是说这样无益，但是会容易导致动力不足，因为你没有带着目标去爬，只是为了学爬虫而爬，爬虫虽然是门技术活，但是如果能 建立在兴趣爱好或者工作任务的前提下，学习的动力就会强很多。
在许多业务场景中，需要将大量数据从表格文件（如Excel、CSV）中导入数据库，以便进行进一步的数据分析和处理。本文将介绍如何通过编程实现数据通过表格批量导入数据库，以提高数据导入的效率和准确性。我们将以 Python 和 MySQL 数据库为例进行讲解，同时提供一些拓展思路和优化建议。
本系列将全面涉及本项目从爬虫、数据提取与准备、数据异常发现与清洗、分析与可视化等细节，并将代码统一开源在GitHub：DesertsX/gulius-projects ，感兴趣的朋友可以先行 star 哈。
我们做数据分析，在第一次拿到数据集的时候，一般会用统计学或可视化方法来了解原始数据。
DBBrain 上经常会有用户来咨询“未提交事务”的事件会有什么问题，该如何处理等。其实这个问题的影响属于可大可小，所以正好来专门分析一下，避免因为轻视了这个问题导致严重的业务故障。
“数据科学家们80%的精力消耗在查找、数据清理、数据组织上，只剩于20%时间用于数据分析等。”——IBM数据分析
零基础如何系统地自学Python编程？绝大多数零基础转行者学习编程的目的就是想找一份高薪有发展前景的工作，哪个编程语言就业前景好越值得学习。零基础的同学学Python是一个不错的选择。
Python 现如今已成为数据分析和数据科学使用上的标准语言和标准平台之一。那么作为一个新手小白，该如何快速入门 Python 数据分析呢？
一些小提示和小技巧可能是非常有用的，特别是在编程领域。有时候使用一点点黑客技术，既可以节省时间，还可能挽救“生命”。
数据经过采集后通常会被存储到Word、Excel、JSON等文件或数据库中，从而为后期的预处理工作做好数据储备。数据获取是数据预处理的第一步操作，主要是从不同的渠道中读取数据。Pandas支持CSV、TXT、Excel、JSON这几种格式文件、HTML表格的读取操作，另外Python可借助第三方库实现Word与PDF文件的读取操作。本章主要为大家介绍如何从多个渠道中获取数据，为预处理做好数据准备。
在前两篇文章中，我们从多个角度，由浅入深，对比了pandas和SQL在数据处理方面常见的一些操作。
不少读者是刚刚入门Python或者想学习Python的，今天就来谈谈如何用快速入门爬虫。
在数据分析中，数据清洗是一个必备阶段。数据分析所使用的数据一般都很庞大，致使数据不可避免的出现重复、缺失、格式错误等异常数据，如果忽视这些异常数据，可能导致分析结果的准确性。
Pandas 是基于 NumPy 的一个非常好用的库，正如名字一样，人见人爱。之所以如此，就在于不论是读取、处理数据，用它都非常简单。昨天介绍了 最常见的Pandas数据类型Series的使用，今天讲的Pandas的另一个最常见的数据类型DataFrame的使用。
AI 开发者按，一些小的技巧在编程领域可能会非常有用，在数据科学领域同样如此。数据科学爱好者 Parul Pandey 在近日发表了一篇博文，分享了在数据科学中非常实用的 10 个小技巧。AI 开发者将他的文章编译整理如下。
众所周知，GitHub 是全球最大的代码托管平台，它在 2019 年报中提到平台已拥有超过 4000 万开发者，全年共创建了 4400 万个仓库。而在庞大的数字的背后，每天却发生着大量的安全泄露！我们需要实时监控 GitHub，防止出现重大安全事故。
1.直接打开命令提示符（快捷键窗口+ r） 2.若提示安装失败（Python – 您正在使用pip版本9.0.1，但版本10.0.1可用。），输入 python -m pip install -U pip setuptools 进行升级。安装成功，则下图所示：
上一篇文章一场pandas与SQL的巅峰大战中，我们对比了pandas与SQL常见的一些操作，我们的例子虽然是以MySQL为基础的，但换作其他的数据库软件，也一样适用。工作中除了MySQL，也经常会使用Hive SQL，相比之下，后者有更为强大和丰富的函数。本文将延续上一篇文章的风格和思路，继续对比Pandas与SQL，一方面是对上文的补充，另一方面也继续深入学习一下两种工具。方便起见，本文采用hive环境运行SQL，使用jupyter lab运行pandas。关于hive的安装和配置，我在之前的文章MacOS 下hive的安装与配置提到过，不过仅限于mac版本，供参考，如果你觉得比较困难，可以考虑使用postgreSQL，它比MySQL支持更多的函数(不过代码可能需要进行一定的改动)。而jupyter lab和jupyter notebook功能相同，界面相似，完全可以用notebook代替，我在Jupyter notebook使用技巧大全一文的最后有提到过二者的差别，感兴趣可以点击蓝字阅读。希望本文可以帮助各位读者在工作中进行pandas和Hive SQL的快速转换。本文涉及的部分hive 函数我在之前也有总结过，可以参考常用Hive函数的学习和总结。
SQL和Python几乎是当前数据分析师必须要了解的两门语言，它们在处理数据时有什么区别？本文将分别用MySQL和pandas来展示七个在数据分析中常用的操作，希望可以帮助掌握其中一种语言的读者快速了解另一种方法！
寒假前半个月到现在差不多一个多月，断断续续做完了这个项目，现在终于可以开源出来了，我的想法是为这个项目编写一套完整的教程，包括技术选型分析、架构分析、业务逻辑分析、核心技术点分析、常见面试题等。不过说实话，这里面涉及的一些技术我仍然停留在仅仅是会用的阶段，当然，后面我会不断学习，了解透彻这些技术的底层原理，不断完善这套教程。
数据应用过程中，数据源的准确性和有效性是数据分析的基础。根据实际业务逻辑定义数据校准指标体系，搭建数据中心的质量监控面板及时发现数据异常，从而实现保证数据质量的目的。
总有一些小贴士和技巧在编程领域是非常有用的。有时，一个小技巧可以节省时间甚至可以挽救生命。一个小的快捷方式或附加组件有时会被证明是天赐之物，并能真正提高生产力。因此，我总结了一些我最喜欢的一些贴士和技巧，我将它们以本文的形式一起使用和编译。有些可能是大家相当熟悉的，有些可能是比较新的，但我确信它们将在下一次您处理数据分析项目时派上用场。
入门爬虫很容易，几行代码就可以，可以说是学习 Python 最简单的途径。 刚开始动手写爬虫，你只需要关注最核心的部分，也就是先成功抓到数据，其他的诸如：下载速度、存储方式、代码条理性等先不管，这样的代码简短易懂、容易上手，能够增强信心。
本文是对比SQL学习Pandas的第三篇文章，主要讲解的是如何利用pandas来实现SQL中的group_concat操作。
刚开始动手写爬虫，你只需要关注最核心的部分，也就是先成功抓到数据，其他的诸如：下载速度、存储方式、代码条理性等先不管，这样的代码简短易懂、容易上手，能够增强信心。
MySQL各存储引擎使用了三种级别的锁定机制：table-level（表级锁定），row-level（行级锁定）和page-level（页级锁定）此处只介绍使用InnoDB存储引擎行过程中经常常遇到的问题以及解决方法。
数据质量分析是数据挖掘中数据准备过程的重要一环，是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础，没有可信的数据，数据挖掘构建的模型将是空中楼阁。
我用 python pandas 写了数据统计与分析脚本，并把计算结果用 pandas 的 to_excel() 存入到 excel 表格提交给团队。但遇到一个问题：当我的老板和同事们打开 excel 文件时，发现百分比数值无法正常显示，提示为“文本形式存储的数据”。
pandas.read_csv(filepath_or_buffer, na_values='NAN', parse_dates=['Last Update']) 从CSV文件中读取数据并创建一个DataFrame对象，na_vlaues用于设置缺失值形式，parse_dates用于将指定的列解析成时间日期格式。 dataframe.to_csv("xxx.csv", mode='a', header=False) 导出DataFrame数据到CSV文件。
如果你没有听过，那么请记住：数据清洗是数据科学工作流程的基础。机器学习模型会根据你提供的数据执行，混乱的数据会导致性能下降甚至错误的结果，而干净的数据是良好模型性能的先决条件。当然干净的数据并不意味着一直都有好的性能，模型的正确选择（剩余 20%）也很重要，但是没有干净的数据，即使是再强大的模型也无法达到预期的水平。
pandas 是基于 NumPy 的一个 Python 数据分析包，主要目的是为了数据分析。它提供了大量高级的数据结构和对数据处理的方法。pandas 有两个主要的数据结构：Series 和 DataFrame。
一般来说这部分的考核主要是，考察你们的Python 爬虫(在没有数据的情况下)、Python pandas 基础数据分析、matplotlib 绘制直方图、饼状图、散点图和误差线图等多种图形，我总结了一下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
