开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

如何在R中为具有分类数据的列子集创建连续表(交叉表)？

{"error":{"code":"429","message": "Requests to the Creates a completion for the chat message Operation under Azure OpenAI API version 2023-05-15 have exceeded token rate limit of your current OpenAI S0 pricing tier. Please retry after 7 seconds. Please go here: https://aka.ms/oai/quotaincrease if you would like to further increase the default rate limit."}}

相关搜索:如何在一列中创建具有特定值的数据帧的子集？如何在R中基于变量控制创建具有灵活列的表？如何在R中为数据表中的每一行创建子类别 R:为面板数据中的每个日期创建具有四分位数排名的列如何在R数据帧中创建具有递增序列号的新列，以使其根据其他列值递增如何在Redshift中创建一个没有数据但具有所有表模式(如压缩和排序键等)的表的副本。如何使用R中的summary_table (qwraps2)为具有相同变量的多个数据帧创建表？R:如何在一列中创建多个新值，并使用其他列中的数据为每个新值重复行？大数据云计算物联网大文件存储解决方案

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

R语言逻辑回归logistic模型分析泰坦尼克titanic数据集预测生还情况

加载和预处理数据现在我们需要检查缺失值，并使用sapply()函数查看每个变量有多少个唯一值，该函数将作为参数传递的函数应用于数据框的每一列。...使用subset()函数，对原始数据集进行子集，只选择相关列。现在需要考虑其他的缺失值。在拟合广义线性模型时，R可以通过在拟合函数中设置一个参数来处理它们。...因子是R处理分类变量的方式。我们可以使用以下几行代码来检查编码情况。 ? 为了更好地了解R是如何处理分类变量的，我们可以使用contrasts()函数。...这个函数向我们展示变量是如何虚拟出来的，以及如何在模型中解释它们。 ? 例如，你可以看到，在性别这个变量中，女性将被用作参考变量。...测试集上0.84的准确度是一个相当不错的结果。然而，请记住，这个结果在一定程度上取决于我先前对数据的手动分割，因此，如果想得到一个更精确的分数，最好运行某种交叉验证，如k-fold交叉验证。

2.5K1 0

《Kaggle项目实战》泰坦尼克：从R开始数据挖掘(二)

第二部分：使用分类变量预测存活结果在《Kaggle项目实战》泰坦尼克：从R开始数据挖掘(一)中，我们介绍了R中有关导入数据的知识。...让我们再次使用列联表命令，查看存活结果与性别变量的交叉比例。...默认情况下，比率表命令将交叉表中的每一项除以乘客总数作为结果。我们想看到的是每项数据在该行中的比例，即每种性别的存活比例。因此，我们需要在命令中指定返回第1维度的比例。第1维度代表行。...我们使用0填充了原来的列，当然，这其实并没改变列里的内容。然后，我们将变量“Sex”的值为“female”的项对应的存活预测值设置为1。我们使用了两个新的R语法符号，“==”和“[]”。...现在，我们要创建一个包含性别和年龄的表，以查看不同子集中的存活比例。麻烦的是prop.table命令不能完成这个任务，所以我们要用一个新的R命令，aggregate。

1.2K5 0

《美团机器学习实践》第二章特征工程

例如对于分类问题，采用交叉验证的方式，即将样本划分为5 份，针对其中每一份数据，计算离散特征每个取值在另外4 份数据中每个类别的比例。为了避免过拟合，也可以采用嵌套的交叉验证划分方法。...因为很多类别特征的取值样本个数太少，不具有统计意义。对于这种情况，我们通常采用贝叶斯方法，即对统计特征进行贝叶斯平滑，如拉普拉斯平滑或者先验概率和后验概率加权平均的方式。类别特征之间交叉组合。...构建一个由文档或短语组成的矩阵。矩阵的每一行为文档，可以理解为对产品的描述，每一列为单词。通常，文档的个数与样本个数一致。...际应用中，λ越大，回归系数越稀疏，λ一般采用交叉验证的方式来确定。除了对最简单的线性回归系数添加L1惩罚项之外，任何广义线性模型如逻辑回归、FM/FFM以及神经网络模型，都可以添加L1惩罚项。...在决策树中，深度较浅的节点一般对应的特征分类能力更强（可以将更多的样本区分开）。对于基于决策树的算法，如随机森林，重要的特征更有可能出现在深度较浅的节点，而且出现的次数可能越多。

5993 0

预测建模、监督机器学习和模式分类概览

1936年，R.A.Fisher在他的判别分析中创建和使用了Iris数据集。Iris现在可以从UCI机器学习库中免费得到。 ? 在一个监督分类任务中，它将会是一个很好的例子。...原始数据采集和特征提取当我们下载完Iris数据集后，我们注意到，它已经具有“良好的结构”了，看来是R.A.Fisher已经为我们做了一些初步的“预处理”了。...另外的一种策略是重新使用测试数据集来对模型进行评估，这需要创建第三个数据集，即所谓的验证数据集。交叉验证交叉验证是评估特征选择，降维，以及学习算法的不同组合的最有用的技术之一。...交叉验证有许多种，最常见的一种很可能是k折交叉验证了。在k-折交叉验证中，原始训练数据集被分成k个不同的子集（即所谓的“折叠”），其中，1个折叠被保留作为测试集，而另外的K-1个折叠被用于训练模型。...想要找到一个特定大小的特征子集，用来最优化分类模型的性能，往往需要一个穷举搜索——搜索采样的所有可能组合。然而，在实际使用中，由于运算的限制，这种方法可能不具有可行性。

7104 0

第一次接触 Kaggle 入门经典项目泰坦尼克号就斩获前 1%，他做了什么？

另外，我做了一些数据清洗，比如从数据集中删除空值。我继续进行特征工程，创建一个函数来获得一个人的头衔。此外，我把所有不常用的列数据归为一组。...另外，我将 Sex 映射为一个二进制特征，并创建了一个按标题分组的 Sex 分布表。我使用决策树作为机器学习模型。我使用一个自定义的特征计算了基尼不纯度分数，以优化树节点。...这个自定义特征被定义为幸存的人数在总登船人数中的占比。我用这个超参数玩了一段时间，直到得到满意的结果。在最后一部分，我使用了十个切分的 k-fold 交叉验证模型。...在 k 重交叉验证中，数据被划分为 k 个子集。现在，holdout 方法被重复 k 次，这样每次其中一个 k 子集被用作验证集，而另一个 k-1 子集被组合在一起形成训练集。...一个人可以玩不同的分类模型，如 logistic 回归，随机森林，朴素贝叶斯，支持向量机等。

1.4K3 1

预测建模、监督机器学习和模式分类概览

1936年，R.A.Fisher在他的判别分析中创建和使用了Iris数据集。Iris现在可以从UCI机器学习库中免费得到。 ? 在一个监督分类任务中，它将会是一个很好的例子。...原始数据采集和特征提取当我们下载完Iris数据集后，我们注意到，它已经具有“良好的结构”了，看来是R.A.Fisher已经为我们做了一些初步的“预处理”了。...另外的一种策略是重新使用测试数据集来对模型进行评估，这需要创建第三个数据集，即所谓的验证数据集。交叉验证交叉验证是评估特征选择，降维，以及学习算法的不同组合的最有用的技术之一。...交叉验证有许多种，最常见的一种很可能是k折交叉验证了。在k-折交叉验证中，原始训练数据集被分成k个不同的子集（即所谓的“折叠”），其中，1个折叠被保留作为测试集，而另外的K-1个折叠被用于训练模型。...想要找到一个特定大小的特征子集，用来最优化分类模型的性能，往往需要一个穷举搜索——搜索采样的所有可能组合。然而，在实际使用中，由于运算的限制，这种方法可能不具有可行性。

1.1K5 1

Day6 呦呦鹿鸣—学习R包

2)按列名筛选select(test, Petal.Length, Petal.Width)iris %>% select(Species, Sepal.Length)3.filter()筛选行/返回具有匹配条件的行可以按照某分类变量的值进行数据筛选...2：count统计某列的unique值count(test,Species)分类变量每个变量值的频数dplyr处理关系数据将2个表进行连接1.內连inner_join,取交集inner_join(test1..., test2, by = "x")满足两个条件：有相同变量名，相同变量名的列里有相同元素；2.左连left_join列表书写顺序决定了最终合成列表中列的顺序left_join(test1, test2...,每列数值的类型必须相同；以"by"的列为标准，补齐列表，空值为"NA"4.半连接：返回能够与y表匹配的x表所有记录semi_join交集表中test1部分的列semi_join(x = test1,...y = test2, by = 'x')5.反连接：返回无法与y表匹配的x表的所记录anti_jointest1中去除交叉部分的列表anti_join(x = test2, y = test1, by

1661 0

用Python也能进军金融领域？这有一份股票交易策略开发指南

在金融界最受欢迎的编程语言中，你会看到R和Python，与C++，C#和Java这些语言并列。在本教程中，你将开始学习如何在金融场景下运用Python。...当然，这一切都在很大程度上依赖于一个根本性的理论或者说信仰，那就是任何在过去表现良好的策略也将在未来继续表现良好，以及，任何在过去表现不好的策略在未来也将会表现很差。...当然，请别担心，在这份教程中，我们已经为你载入了数据，所以在学习如何在金融中通过Pandas使用Python的时候，你不会面对任何问题。...后者则被称为取子集，因为你得到的是数据中的一个小的自己。取子集得到的结果是一个序列，也就是一个带标签的，可以是任何数据类型的一维数组。...接下来，通过只选择DataFrame的最近10次观察来取close列的子集。使用方括号[ ]来分隔这最后的十个值。您可能已经从其他编程语言（例如R）中了解了这种取子集的方法。

3K4 0

大数据分析基础——维度模型

事实数据表可能包含业务销售数据，如销售商品所产生的数据，与软件中实际表概念一样。...周期快照事实表：周期快照事实表以具有规律性的、可预见的时间间隔记录事实，时间间隔如每天、每月、每年等。...1.3度量 / 原子指标原子指标和度量含义相同，基于某一业务事件行为下的度量，是业务定义中不可再拆分的指标，具有明确业务含义的名词，如支付金额。...水平整合，即不同的来源表包含不同的数据集，不同子集之间无交叉，也可以存在部分交叉。...如果进行整合，首先需要考虑各个体系是否有交叉，如果存在交叉，则需要去重;如果不存在交叉，则需要考虑不同子集的自然键是否存在冲突，如果不冲突，则可以考虑将各子集的自然键作为整合后的表的自然键;另一种方式是设置超自然键

2.5K6 0

SQLServer SQL连接查询深度探险(摘录

ORDERS表数据 ? ? 一、交叉连接（CROSS JOIN）交叉连接（CROSS JOIN）：有两种，显式的和隐式的，不带ON子句，返回的是两表的乘积，也叫笛卡尔积。...右外连接还返回右表中不符合连接条件单符合查询条件的数据行。全外连接还返回左表中不符合连接条件单符合查询条件的数据行，并且还返回右表中不符合连接条件单符合查询条件的数据行。...自然连接无需指定连接列，SQL会检查两个表中是否相同名称的列，且假设他们在连接条件中使用，并且在连接条件中仅包含一个连接列。...1、查两表关联列相等的数据用内连接。 2、 Col_L是Col_R的子集时用右外连接。 3、 Col_R是Col_L的子集时用左外连接。...4、 Col_R和Col_L彼此有交集但彼此互不为子集时候用全外。 5、求差操作的时候用联合查询。

1.1K2 0

这是我见过最有用的Mysql面试题，面试了无数公司总结的（内附答案）

可以在一个列或一组列上创建索引。 18.所有不同类型的索引是什么？索引有三种类型 1.唯一索引：唯一索引通过确保表中没有两行数据具有相同的键值来帮助维护数据完整性。...一个表可以具有多个非聚集索引。它不会改变其排序方式，但是会在一个表内创建一个单独的对象，该对象在搜索后指向原始表行。 20.什么是SQL视图？视图就像逻辑上存储在数据库中的表的子集。...用字段NULL值是没有值的字段。甲NULL值是从零值或包含空格的字段不同。具有NULL值的字段是在记录创建过程中留为空白的字段。...在SQL Server中，数据库表中的每一列都有一个名称和一种数据类型。在创建SQL表时，我们需要决定在表的每一列中存储哪种数据类型。 57.可以在BOOLEAN数据字段中存储哪些可能的值？...自联接是表与自身联接的联接，特别是当表具有引用其自己的主键的外键时。 73.什么是交叉加入？

27.1K2 0

粒子群优化算法(PSO)之基于离散化的特征选择(FS)（四）

表1.数据集 (2) 基线法为了验证PPSO在离散化和FS中的有效性，我们比较了KNN在PPSO、原始数据集和EPSO转换数据集上的分类性能。...PPSO中的比例标准是gbest在10次迭代后没有得到改善，当前gbest适应度至少比以前gbest适应度好1%。对于多类数据集，PPSO的初始大小为150。...实验结果表3显示了PSO-FS、EPSO和PPSO的结果。每个方法在30次运行中返回的平均特征子集大小显示在“size”列中。用“full”表示KNN精度的最佳、平均和标准偏差。...在第4和第5列中显示了所有连续的特性，或者使用每个比较方法转换的数据。所报告的结果是基于前面介绍的平衡精度公式的测试精度。 “+”或“−”意味着结果比PPSO明显更好或更糟。"...结果还表明，在处理高维问题时，PPSO比MDL+CFS和MChi2具有更好的可扩展性。对KNN和NB的比较结果表明，与训练过程中使用的分类器相比，PPSO得到的解可以推广到其他分类器。

9862 0

西瓜书概念整理（chapter 1-2）熟悉机器学习术语

Page26: k折交叉验证（k-fold cross validation）交叉验证先将数据集D划分为k个大小相似的互斥子集，每个自己都尽可能保持数据分布的一致性，即从数据集中分层采样得到，然后，...每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集，这样就可以获得k组训练/测试集，最终返回k个测试结果的均值，交叉验证评估结果的稳定性和保真性很大程度上取决于k的取值，通常称之为k折交叉验证...Page41: 5x2交叉验证由于交叉验证中，不同轮次的训练集之间有一定程度的重复，会过高估计假设成立的概率，因此做5次2折交叉验证，每次验证前将数据打乱，对5次2对2个学习器的测试错误率求差值，对所有差值求方差...Page41: McNemar检验两个学习器分类差别列联表算法B\A 正确错误正确 e00 e01 错误 e10 e11 检验变量|e01-e10|是否服从正态分布，服从则认为两学习器性能相同等同于检查...τx² = (|e01-e10|-1)²/(e01+e10) 是否服从自由度为1的卡方分布（标准正态分布变量的平方） Page41: 列联表(187) 见McNemar检验 Page42: Friedman

1.3K10 0

MADlib——基于SQL的数据挖掘解决方案（24）——分类之决策树

给定数据集S，假设类别变量A有m个不同的类别 ? 。利用变量A将数据集分为m个子集 ? ，其中 ? 表示在S中属于 ? 的样本。在分类过程中，对于每个样本，对应m种可能发生的概率为 ?...先剪枝是通过提前停止树的构造来对树剪枝，一旦停止分类，节点就成为树叶，该树叶可能持有子集样本中次数最高的类别。...该参数值用于在运行检查验证前，创建一棵初始树。 n_folds：缺省值为0。用于计算cp最佳值的交叉验证褶皱数。为执行交叉验证，n_folds的值应该大于2。...表1 tree_train函数参数说明训练函数生成的模型表具有以下列：列名数据类型描述 TEXT 当提供了grouping_cols入参时，该列存储分组列，依赖于grouping_cols...问题描述及其已知数据参见“MADlib——基于SQL的数据挖掘解决方案（21）——分类之KNN”。 1. 准备输入数据创建dt_golf表，将14条数据插入dt_golf表中。

1.1K2 0

MADlib——基于SQL的数据挖掘解决方案（23）——分类之SVM

文本可以是三个字符串的任何子集，例如，kernel_func ='ga'将创建一个高斯核函数。 kernel_params（可选） TEXT 缺省值为NULL。用逗号分隔的键值对中的非线性内核的参数。...训练函数在产生输出表的同时，还会创建一个名为_summary的概要表，具有以下列：列名数据类型描述 method TEXT ‘svm’ version_number TEXT...（3）‘polynomial’核参数 coef0：缺省值为1.0， ? 中的自变量q。必须大于或等于0。当它为0时，多项式核是齐次形式。 degree：缺省值为3， ? 中的r。 5....该表由一个名为epsilon的列组成，该列指定epsilon值，以及一个或多个grouping_col列。额外的组将被忽略，并且此表中不存在的组将使用参数epsilon中指定的epsilon值。...validation_result：缺省值为NULL，存储交叉验证结果的表的名称，包括参数值及其平均错误值。目前0-1用于分类，平均方差用于回归。该表只在名称不是NULL的情况下创建。

8031 0

机器学习集成算法——袋装法和随机森林

强大的分类器——随机森林算法。它只对袋装法进行小小的调整。这篇文章是为开发人员编写的，不需要统计学或数学背景。这篇文章重点介绍了该算法的工作原理以及如何将其用于预测建模问题。...具有高方差的算法之一是决策树，比如分类和回归树（CART）。决策树对它所接受的具体数据很敏感。...假设我们的样本数据集有1000个值（x）。我们在CART算法中运用Bagging，如下所示。多次（如100次）从数据集中随机采样子样本。各次采集之间是有放回的。...例如，如果一个分类问题的数据集有25个变量，那么： m = sqrt（25） m = 5 预计表现自助法只选取样本的子集，因此会有一些样本未被选到。...统计学习入门：在R中的应用，第8章。应用预测建模，第8章和第14章。统计学习的要素：数据挖掘，推理和预测，第15章。总结在这篇文章中，您学习了袋装法这个机器学习集成算法和它的常用变体随机森林。

4.8K6 0

功能数据的多体素模式分析：社会和情感神经科学家的实用介绍

有多种方法可以实现样本外数据预测，包括k倍交叉验证和交叉分类（请参见“实践实现”部分；表2）。该模型能够正确预测哪些条件在新数据中产生了多体素模式，这反映了这一信息在神经反应模式中的可靠程度。...如本文前面所述，分类算法在数据的一个子集上迭代训练，然后通过交叉验证在独立的数据子集上测试。步骤3.数据拆分。...因此，更常见的是使用k折叠交叉验证，其中将数据多次（k）次划分为训练和测试集，并在数据的每个子集中执行训练和测试过程（表2 ，图5）。...例如，使用5倍交叉验证，我们10次run的fMRI研究的数据将分为5个子集（例如，第1-2、3-4、5-6、7-8、9-10个子集），每个子集将被用作测试数据一次，并包含在训练数据中4次。...（A）在每个参与者中，对参与者数据的一个子集（此处为10个run中的9个）使用训练算法，然后对先前未见过的子集进行测试。

1.7K3 0

【机器学习】第六部分：模型评估

7个样本；预测结果中，预测结果为A类别的为5个，预测结果为B类别的为6个，预测结果为C类别的为7个。...根据混淆矩阵，查准率、召回率也可表示为：查准率 = 主对角线上的值 / 该值所在列的和召回率 = 主对角线上的值 / 该值所在行的和 ④ 实验利用sklearn提供的朴素贝叶斯分类器分类，并打印查准率...常用的训练集、测试集比例有：9:1, 8:2, 7:3等. 训练集和测试的划分，尽量保持均衡、随机，不能集中于某个或少量类别. 有些公共数据集在创建时，已经进行了划分....“交叉验证法”（cross validation）先将数据集D划分为k个大小相同（或相似）的、互不相交的子集，每个子集称为一个"折叠"（fold），每次训练，轮流使用其中的一个作为测试集、其它作为训练集...这样，就相当于获得了k组训练集、测试集，最终的预测结果为k个测试结果的平均值. ② 如何实现交叉验证 sklearn中，提供了cross_val_score函数来实现交叉验证并返回评估指标值： import

1.1K1 0

机器学习模型训练全流程！

列可以分解为X和Y，首先，X是几个类似术语的同义词，如特征、独立变量和输入变量。其次，Y也是几个术语的同义词，即类别标签、因变量和输出变量。 ? 图1....特别是，第一部分是较大的数据子集，用作训练集（如占原始数据的80%），第二部分通常是较小的子集，用作测试集（其余20%的数据）。需要注意的是，这种数据拆分只进行一次。...交叉验证示意图在N等于数据样本数的情况下，我们称这种留一的交叉验证。在这种类型的CV中，每个数据样本代表一个折。例如，如果N等于30，那么就有30个折（每个折有1个样本）。...地址：https://youtu.be/R15LjD8aCzc 在视频中，我首先向大家展示了如何读取波士顿房屋数据集，将数据分离为X和Y矩阵，进行80/20的数据拆分，利用80%的子集建立线性回归模型，...以企鹅数据集为例，我们可以看到，企鹅可以通过4个定量特征和2个定性特征来描述，然后将这些特征作为训练分类模型的输入。在训练模型的过程中，需要考虑的问题包括以下几点。使用什么机器学习算法？

2.1K3 1

生信学习-Day6-学习R包

： test <- irisc(1:2,51:52,101:102), 在R语言中，这行代码是对数据集 iris 进行子集选择的操作。...执行这个操作后，你将得到一个新的数据框，其中只包含test数据框中Species列值为"setosa"或"versicolor"的行。...group_by(Species)：这一步将数据按照Species列的不同值进行分组，即将数据集分成多个子集，每个子集包含相同Species值的数据。...test1 <-: 这是R语言中的赋值操作符，用于将data.frame()函数创建的数据框赋值给变量test1。...这个函数执行的是一个内连接（inner join），它会将两个数据框中具有相同键值的行组合在一起。这里的 "键值" 是用于连接两个数据框的列。

2051 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭