首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【深度学习基础】预备知识 | 数据预处理

深度学习最重要的技术特征是具有自动提取特征的能力。神经网络算法、算力和数据是开展深度学习的三要素。深度学习在计算机视觉、自然语言处理、多模态数据分析、科学探索等领域都取得了很多成果。...后面的章节将介绍更多的数据预处理技术。 一、读取数据集   举一个例子,我们首先创建一个人工数据集,并存储在CSV(逗号分隔值)文件../data/house_tiny.csv中。...以其他格式存储的数据也可以通过类似的方式进行处理。下面我们将数据集按行写入CSV文件中。 import os os.makedirs(os.path.join('.....该数据集有四行三列。其中每行描述了房间数量(“NumRooms”)、巷子类型(“Alley”)和房屋价格(“Price”)。...通过位置索引iloc,我们将data分成inputs和outputs,其中前者为data的前两列,而后者为data的最后一列。对于inputs中缺少的数值,我们用同一列的均值替换“NaN”项。

10510

NumPy进阶修炼80题|41-60

,在numpy以及后面的其他系列习题中,我将换一种方式整理习题?...难度:⭐⭐ 答案 np.amax(data, axis=0) 43 数据查找 题目:找到每行的最小值 难度:⭐⭐ 答案 np.amin(data, axis=1) 44 数据计算 题目:计算data...每个元素的出现次数 难度:⭐⭐ 答案 np.unique(data,return_counts=True) 45 数据计算 题目:计算data每行元素大小排名 难度:⭐⭐ 答案 data.argsort...) 49 数据计算 题目:计算data第二行中不含第三行的元素的元素 难度:⭐⭐ 答案 a = data[1:2] b = data[2:3] index=np.isin(a,b) array=a[...中与100最接近的元素 难度:⭐⭐⭐ 答案 a = 100 data1.flat[np.abs(data1 - a).argmin()] 57 数据计算 题目:计算data1每一行的元素减去每一行的平均值

47620
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    数据分析篇 | PyCon 大咖亲传 pandas 25 式,长文建议收藏

    逗号前面的分号表示选择所有行,逗号后面的 ::-1 表示反转列,这样一来,country 列就跑到最右边去了。 6. 按数据类型选择列 首先,查看一下 drinks 的数据类型: ?...要想执行数学计算,要先把这些列的数据类型转换为数值型,下面的代码用 astype() 方法把前两列的数据类型转化为 float。 ?...用一个 DataFrame 合并聚合的输出结果 本例用的还是 orders。 ? 如果想新增一列,为每行列出订单的总价,要怎么操作?上面介绍过用 sum() 计算总价。 ?...要解决这个问题得用 transform() 方法,这个方法执行同样的计算,但返回与原始数据行数一样的输出结果,本例中为 4622 行。 ?...如上所示,每一行都列出了对应的订单总价。 这样一来,计算每行产品占订单总价的百分比就易如反掌了。 ? 20. 选择行与列 本例使用大家都看腻了的泰坦尼克数据集。 ?

    7.2K20

    numpy与pandas

    c_dot = np.dot(d,e) # 线性代数中矩阵乘法,还可以这么写:c_dot = a.dot(b);dot 函数用于矩阵乘法,对于二维数组,它计算的是矩阵乘积,对于一维数组,它计算的是内积...=1表示每列求和np.min(f) # 矩阵求最小值np.min(f,axis=0) # 矩阵求每行最小值np.max(f) # 矩阵求最大值# 不止二维,可以多维""""""# numpy的基础运算2import...第二个数组为列,一一对应np.sort(a) # a矩阵每行按由小到大的顺序排序np.transpose(a) # a矩阵的转置矩阵,也可以:a.Tnp.clip(a,5,9) # a矩阵中所有小于5(..., "C1", "C2", "C3"], "D": ["D0", "D1", "D2", "D3"],})pd.merge(left, right, on=["key1", "key2"])#下面的前两种是...(1000),index=np.arange(1000))data = data.cumsum() # 计算一个数组各行的累加值data.plot()plt.show()# dataframe数据画图df

    12910

    pandas 1.3版本主要更新内容一览

    ❝本文示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes ❞ 1 简介 就在几天前,pandas发布了其1.3...版本,在这次新的版本中添加了诸多实用的新特性,今天的文章我们就一起来get其中主要的一些内容更新~ 2 pandas 1.3主要更新内容一览 使用pip install pandas==1.3.0 -...操作中可用 在先前的版本中,如果针对行索引为时间日期型的数据框进行rolling滑窗操作使用center参数将每行记录作为窗口中心时会报错: 而在1.3中这个问题终于得到解决~方便了许多时序数据分析时的操作...: 2.4 sample()随机抽样新增ignore_index参数 我们都知道在pandas中可以使用sample()方法对数据框进行各种放回/不放回抽样,但以前版本中抽完样的数据框每行记录还保持着先前的行索引...,如果数据中多个字段之间同一行对应序列型元素位置是一一对应的,需要展开后也是一一对应的,操作起来就比较棘手。

    1.3K30

    Pandas0.25来了,别错过这10大好用的新功能

    Pandas 提供了一种叫 pandas.NameAgg 的命名元组(namedtuple),但如上面的代码所示,直接使用 Tuple 也没问题。 这两段代码的效果是一样的,结果都如下图所示。 ?...优化了 MultiIndex 显示输出 MultiIndex 输出的每行数据以 Tuple 显示,且垂直对齐,这样一来,MultiIndex 的结构显示的更清晰了。...因此,0.25 版引入了 display.min_rows 选项,默认只显示 10 行: 数据量小的 Series 与 DataFrame, 显示 max_row 行数据,默认为 60 行,前 30 行与后...30 行; 数据量大的 Series 与 DataFrame,如果数据量超过 max_rows, 只显示 min_rows 行,默认为 10 行,即前 5 行与后 5 行。...min_rows 在 VSCode 里显示正常,只显示了前 5 行与后 5 行,但貌似 Jupyter Notebook 6.0 目前貌似还不支持这个设置,还是显示前 30 行与后 30 行。

    2.2K30

    数学和统计方法

    加权平均值的大小不仅取决于 总体中各单位的数值(变量值)的大小,而且取决于各数值出现的次数(频数),由于各数值出现的次数对其在平均数中的影响起着权衡 轻重的作用,因此叫做权数。...里面计算,在Pandas里面计算更简单。...将一维数组转成Pandas的Series,然后调用mode()方法 将二维数组转成Pandas的DataFrame,然后调用mode()方法 Numpy的axis参数的用途 axis=0代表行...[1,4,3]]) print(f'数组:\n{a}') print('-'*30) print(np.sum(a,axis=0)) # 每行中的每个对应元素相加,返回一维数组 print('-'*30...axis=1求每行的和。 • 行:每行对应一个样本数据 • 列:每列代表样本的一个特征 数组对应到现实中的一种解释: • 对于机器学习、神经网络来说,不同列的量钢是相同的,收敛更快。

    13510

    别说你会用Pandas

    说到Python处理大数据集,可能会第一时间想到Numpy或者Pandas。 这两个库使用场景有些不同,Numpy擅长于数值计算,因为它基于数组来运算的,数组在内存中的布局非常紧凑,所以计算能力强。...而Pandas的特点就是很适合做数据处理,比如读写、转换、连接、去重、分组聚合、时间序列、可视化等等,但Pandas的特点是效率略低,不擅长数值计算。...import pandas as pd # 设置分块大小,例如每次读取 10000 行 chunksize = 10000 # 使用 chunksize 参数分块读取 CSV 文件...尽管如此,Pandas读取大数据集能力也是有限的,取决于硬件的性能和内存大小,你可以尝试使用PySpark,它是Spark的python api接口。...') # 触发计算并显示前几行(注意这里使用的是 compute 方法) print(df.head().compute()) Polars库 import polars as pl

    13910

    (数据科学学习手札124)pandas 1.3版本主要更新内容一览

    本文示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介   就在几天前,pandas发布了其1.3...样式,以前的方式需要将一条css属性写到二元组中传入,在1.3版本中可以直接传入css字符串,比如下面我们通过设置hover伪类样式,来修改每一行鼠标悬停时的样式: ?...2.3 center参数在时间日期index的数据框rolling操作中可用   在先前的版本中,如果针对行索引为时间日期型的数据框进行rolling滑窗操作使用center参数将每行记录作为窗口中心时会报错...2.4 sample()随机抽样新增ignore_index参数   我们都知道在pandas中可以使用sample()方法对数据框进行各种放回/不放回抽样,但以前版本中抽完样的数据框每行记录还保持着先前的行索引...()操作只支持对单个字段的展开,如果数据中多个字段之间同一行对应序列型元素位置是一一对应的,需要展开后也是一一对应的,操作起来就比较棘手。

    77750

    Pandas中的这3个函数,没想到竟成了我数据处理的主力

    数据处理环节无非就是各种数据清洗,除了常规的缺失值和重复值处理逻辑相对较为简单,更为复杂的其实当属异常值处理以及各种数据变换:例如类型转换、简单数值计算等等。...调度的是apply函数接收的参数,即apply接收一个数据处理函数为主要参数,并将其应用到相应的数据上。所以调度什么取决于接收了什么样的数据处理函数; 为谁调度?...应用到DataFrame的每个Series DataFrame是pandas中的核心数据结构,其每一行和每一列都是一个Series数据类型。...,即对每行进行处理。...从名字上可以看出,这好像是个apply函数与map函数的混合体,实际上也确实有这方面的味道:即applymap综合了apply可以应用到DataFrame和map仅能应用到元素级进行变换的双重特性,所以

    2.5K10

    一句代码合并Excel表

    1 读取表格 使用Python读取数据只要3行,第一行载入pandas工具,第二行读取,第三行显示头部5行内容。...import pandas as pd data1 = pd.read_excel('表格1.xlsx') data1.head() Python Copy 运行这个代码就会直接显示出表格1的前5行数据...同样我们可以用下面代码读取表格2. import pandas as pd data2 = pd.read_excel('表格2.xlsx') data2.head() Python Copy 提示:在输入代码的时候可以只打单词的前两个字母...由于是不同的问卷,两个表格的学员顺序不同,而且第一个问卷姓名栏叫name,第二个问卷姓名栏叫姓名,现在我们需要把它们合并到一起,并且确保每行学员的信息都能正确匹配对齐。...dataMerge=pd.merge(data1,data2,on='name') 3 保存表格 最后我们用下面的命令把合并好的数据保存成Excel文件。

    78320

    Pandas数据应用:股票数据分析

    Pandas作为一个强大的Python库,在处理结构化数据方面表现出色,它为股票数据分析提供了便捷的方法。二、安装与导入在开始之前,请确保已经安装了pandas库。...解决方案:检查CSV文件的格式,确保每行字段数量一致;或者使用参数error_bad_lines=False忽略错误行(适用于pandas较早版本),新版本可使用on_bad_lines='skip'。...# 查看前5行数据print(df.head())# 查看后5行数据print(df.tail())# 获取数据框信息print(df.info())# 获取描述性统计信息print(df.describe...Date列转换为datetime类型并设为索引df['Date'] = pd.to_datetime(df['Date'])df.set_index('Date', inplace=True)重采样# 计算每周的平均收盘价...希望这篇博客能帮助大家更好地掌握pandas在股票数据分析领域的应用。

    26510

    004.python科学计算库pandas(中)

    pivot表中的级别将存储在结果DataFrame的索引和列上的多索引对象(层次索引)中 # index 告诉方法按哪个列分组 # values 是我们要应用计算的列(可选地聚合列) #...aggfunc 指定我们要执行的计算 default numpy.mean 沿着指定的轴计算算术平均数 passenger_survival = titanic_survival.pivot_table...axis = 0或'index': 删除包含缺失值的行 # axis = 1或'columns': 删除包含缺失值的列 # subset 像数组一样,可选的标签沿着要考虑的其他轴,例如,如果要删除行...---- loc import pandas titanic_survival = pandas.read_csv("titanic_train.csv") # 获取第84行数据的Age列的值 (loc...索引下标从0开始) row_index_83_age = titanic_survival.loc[83, "Age"] # 获取第767行数据的Pclass列的值 (loc索引下标从0开始) row_index

    67620

    Python~Pandas 小白避坑之常用笔记

    ; 2、Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具; 3、pandas提供了大量能使我们快速便捷地处理数据的函数和方法;它是使Python成为强大而高效的数据分析环境的重要因素之一...usecols=None) print(sheet1.head(5)) # 控制台打印前5条数据 三、重复值、缺失值、异常值处理、按行、按列剔除 1.重复值统计、剔除: import pandas....sum() # 统计所有的缺失值行数 print("缺失值行数:", all_null) sheet1.dropna(axis=0, how='any', inplace=True) # 剔除每行任一个为空值的数据...', skiprows=0, usecols=None) sheet1 = sheet1.iloc[0:4, 1:3] # 提取前5行, 1、2、3 列 4.loc常用示例 import pandas...行, 日期、国家列 sheet1.to_csv(path_or_buf='test.csv') ---- 总结 以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法

    3.1K30

    Pandas 25 式

    逗号前面的分号表示选择所有行,逗号后面的 ::-1 表示反转列,这样一来,country 列就跑到最右边去了。 6. 按数据类型选择列 首先,查看一下 drinks 的数据类型: ?...要想执行数学计算,要先把这些列的数据类型转换为数值型,下面的代码用 astype() 方法把前两列的数据类型转化为 float。 ?...用一个 DataFrame 合并聚合的输出结果 本例用的还是 orders。 ? 如果想新增一列,为每行列出订单的总价,要怎么操作?上面介绍过用 sum() 计算总价。 ?...要解决这个问题得用 transform() 方法,这个方法执行同样的计算,但返回与原始数据行数一样的输出结果,本例中为 4622 行。 ?...如上所示,每一行都列出了对应的订单总价。 这样一来,计算每行产品占订单总价的百分比就易如反掌了。 ? 20. 选择行与列 本例使用大家都看腻了的泰坦尼克数据集。 ?

    8.5K00

    使用pandas高效读取筛选csv数据

    前言在数据分析和数据科学领域中,Pandas 是 Python 中最常用的库之一,用于数据处理和分析。本文将介绍如何使用 Pandas 来读取和处理 CSV 格式的数据文件。什么是 CSV 文件?...CSV(逗号分隔值)文件是一种常见的文本文件格式,用于存储表格数据,其中每行表示一条记录,字段之间用逗号或其他特定分隔符分隔。CSV 文件可以使用任何文本编辑器打开,并且易于阅读和编辑。...header: 指定哪一行作为列名(通常是第一行),默认为 0。names: 自定义列名,传入一个列表。index_col: 指定哪一列作为索引列。dtype: 指定每列的数据类型。...文件后,可以通过以下方法快速查看数据:查看前几行数据:df.head() # 默认显示前5行查看数据的基本信息:df.info()示例假设我们有一个名为 data.csv 的 CSV 文件,包含以下数据...通过简单的几行代码,您可以快速加载 CSV 数据,并开始进行数据分析和处理。Pandas 提供了丰富的功能和选项,以满足各种数据处理需求,是数据科学工作中的重要工具之一。

    27910
    领券