在PySpark中是否有与pandas info()方法等效的方法？
我正在尝试获取有关PySpark中数据帧的基本统计信息，例如:列数和行数、空值数、数据帧大小
pandas中的Info()方法提供了所有这些统计信息。
浏览 4提问于2017-06-08得票数 6
我正在用pandas读取csv文件，并且使用以下命令跳过了一些错误的行/行： df2 = pd.read_csv("Test.csv", sep=';', engine='python', error_bad_lines=False) 如何统计python中跳过的总行数？ 现在，我只能得到： ? 我该怎么数呢？
浏览 214提问于2019-09-25得票数 1
回答已采纳
2回答
Pandas分组依据和计数
、、、、
pandas dataframe df有3列：
user_id、会话、收入
我现在要做的是通过唯一的user_id对df进行分组，并派生出两个新列-一个名为number_sessions (统计与特定user_id关联的会话的数量)和另一个名为number_transactions (统计收入列下每个user_id的值>0的行数)。我该怎么做呢？
我试着这样做：
df.groupby('user_id')['session', 'revenue'].agg({'number sessions': lambda x: len(
浏览 0提问于2016-11-08得票数 4
回答已采纳
1回答
我开始研究SQL server2008中的查询优化器，我特别感兴趣的是可以为查询显示的统计信息配置文件。到目前为止，我了解到统计信息配置文件显示的结果是基于存储在SQL server中的统计信息，而不是执行查询的结果(例如，‘Rows’列)，对吗？
现在，有没有一种方法可以在不执行实际查询的情况下从统计信息配置文件中获得结果？
浏览 1提问于2011-09-09得票数 3
回答已采纳
我正在对每个国家的人口统计数据进行DataFrame分组。我发现我想要获取每个组的大小有问题，.size或np.size()返回组第一列的总和，而不是行数。
我使用的是Python 3.7和Pandas 0.23.4
df.groupby('foo').apply(lambda grp: grp.size)
这将返回一个大得多的数字。
Countries.groupby('foo').apply(lambda grp: grp['some colum'].size)
这将给出正确的计数
有人知道为什么.size在每种情况下的工作方式不同吗？谢谢!
浏览 4提问于2019-01-18得票数 1
在tearadata数据人口统计中，每个值有典型的行数和每个值的最大行数。
在选择PI时，我们考虑了这一人口统计数据。它是?.Please explain列中的重复值的数目吗？
浏览 0提问于2013-08-01得票数 1
有类似的问题，但所有这些问题都需要您克隆存储库，然后在其上运行一些实用程序。我需要一个web服务，它可以给我那些统计数据(类似于使用一个URL，例如http://my-sloc-counter.com/project1从project1从GitHub获取SLOC统计数据)。
浏览 4提问于2016-03-11得票数 5
回答已采纳
我知道，Pandas的统计描述可以很容易地使用df.describe()获得。我有两个相同尺寸的数据(即102列和800000行数据)。我想直观地描述这样一个事实:这两个数据文件非常相似/有一个统计上相似的分布。
我不知道如何在Python中以直观/图形的方式完成这一任务。df.describe方法为数据文件提供了count, mean, std, min, 25 %, 50 %, 75 % and max值，但是很难从第一次实例中推断出。我更喜欢任何类型的可视化/图形化方法(我不确定Boxplot是否能提供帮助？)任何建议的方法，连同一个最低限度的可行的例子，将不胜感激。干杯!
目前，
#
浏览 0提问于2019-03-31得票数 2
回答已采纳
2回答
我正在寻找一种方法来可视化雪花中的表的统计数据。 漫长的一步是使用python提取一个有意义的数据样本并应用Pandas，但是从雪花中提取数据是低效和不安全的。 Snowflake的新界面以图形方式显示这些统计数据，我想知道是否有一种方法可以通过查询或查询元数据来获得这些数据。 ? 我需要像Pandas这样的东西-分析，但没有外部服务器。也许雪花存储的元数据/关于其列的统计数据。数字，类别https://github.com/pandas-profiling/pandas-profiling 谢谢你的建议。
浏览 22提问于2020-11-06得票数 0
我只是学习巨蟒，并试图使用它进行股票分析。使用股票统计数据。
我通过pip安装了股票统计数据
进口大熊猫进口大熊猫
试图导入数据导入pandas.io.data时出现错误，称模块pandas.io.data不存在
浏览 1提问于2018-08-16得票数 4
回答已采纳
1回答
我在spark数据帧中有非常大的数据集，它们分布在节点上。我可以使用spark库pyspark.sql.functions进行简单的统计，如mean、stdev、skewness、kurtosis等。 如果我想使用像Jarque-Bera (JB)或Shapiro Wilk(SW)等高级统计测试，我会使用像scipy这样的python库，因为标准的apache pyspark库没有它们。但为了做到这一点，我必须将spark数据帧转换为pandas，这意味着将数据强制到主节点中，如下所示： import scipy.stats as stats
pandas_df=spark_df.toPan
浏览 30提问于2020-09-13得票数 0
1回答
我试图理解多列索引和统计数据，下面是我的实际示例：
Table: TaskExecutions, size=~1 million rows.
Query SARGS: TaskExecStatusID = 3 AND TaskExecUpdatedDate IS NULL
Distribution:: TaskExecStatusID: 1=160k rows, 2=370k rows, 3=560k rows.
TaskExecUpdatedDate: Null=171k rows.
我有一个索引(TaskExecStatusID，TaskExecUpdatedDate)，
我的问题/
浏览 0提问于2011-11-17得票数 1
我有一个表t1，在这个表的identity列上有一个主键。在t1的insert触发器中，发出一条UPDATE语句来更新新插入行的一些列，连接位于t1.primarykeycolumn和inserted.primarykeycolumn上。
当插入的行数开始缓慢上升时，我注意到了“次优”的执行计划。我猜优化器是参考t1上的统计数据来得出执行计划的。但是对于新插入的行，统计信息页面将始终是陈旧的，因为当SQL Server提供值时，所有标识列将始终单调增加。
为了证明统计数据是“问题”，我发出了一个UPDATE STATISTICS命令作为触发器中的第一个语句，优化器能够为各种各样的行提出一个非常
浏览 0提问于2016-10-18得票数 0
1回答
我正在执行一个SELECT语句，以便从一个有27451373行的表中检索带有datetime列的过滤器的2列。
declare @LastProcessedDate datetime='08-15-2016'
select Bill_Code,CLIENT_ID_6,u2_id
from [ODS_HRP].dbo.EMPLOYEE_BILL_VCHR_CODE_ALLOCATIONS
where time_stamp >= @LastProcessedDate
在执行计划中，我发现估计行数与实际行数之间存在很大差距。因此，我每周更新2次统计信息，再次更新表的所有统计信
浏览 0提问于2016-09-14得票数 2
假设我有10 to的csv文件，我想使用DataFrame describe方法获取该文件的汇总统计信息。
在本例中，首先我需要为所有10 first数据创建一个DataFrame。
text_csv=Pandas.read_csv("target.csv")
df=Pandas.DataFrame(text_csv)
df.describe()
这是否意味着所有的10 to都将加载到内存中并计算统计数据？
浏览 2提问于2016-02-23得票数 5
$sqlins = "INSERT INTO table1 (tbv1,tbv2)
values ('$tb1','$tbv2') on duplicate key update tbv2 = '$tbv2'";
// here tbv1 uniq index
如何从php脚本中统计ON DUPLICATE KEY UPDATE MySQL查询的更新行总数
浏览 0提问于2014-09-08得票数 1
我正在将csv数据文件中的大量行数加载到表中。对于每10000条记录，我希望更新表上的索引以进行优化(更新统计数据)。有人能告诉我我可以用什么命令吗？此外，什么是Oracle.is更新统计信息中的SQL Server“更新统计信息”等价物意味着索引优化或网关统计信息。提前谢谢。
浏览 2提问于2010-04-05得票数 5
如何从bitbucket Rest api获取PullRequst修改后的行数和文件数。我使用了这个"{userName}/{repoName}/pullrequests/2/diff".但是这个作为file.can的返回值是从rest api本身获取文件数和行数吗？
浏览 10提问于2017-02-16得票数 3
2回答
我已经禁用了使用SET NOCOUNT ON的行数统计，但是看起来sqlserver仍然在计算行数。
USE Northwind
SET NOCOUNT ON;
SELECT * FROM Products p
SELECT @@ROWCOUNT AS 'RowCount';
查询返回77行计数，为什么？
浏览 0提问于2012-10-11得票数 3
回答已采纳
在MS上，我们喜欢在夜间更新统计数据，但是这个过程需要很长时间才能运行到早晨。
行数为+100,000行的逐行抽样好吗？或者这会给出错误的统计数字？
浏览 0提问于2010-10-29得票数 0
我想在android studio中计算我的java和xml代码的行数，因为我使用的是macbook，并且我在android studio中安装了统计信息，但它没有在View->Tools窗口中显示统计信息选项。我无法找到统计数据，所以当我单击按钮或其他东西时，我如何计算代码行和响应时间。
浏览 2提问于2016-10-05得票数 0
我们使用以下内容来刷新给定模式中所有表的统计信息：
exec dbms_stats.gather_schema_stats(ownname => 'some_schema', estimate_percent => dbms_stats.auto_sample_size, cascade => true, method_opt => 'FOR ALL COLUMNS SIZE AUTO', degree => 12);
但是，这会将我们的物化视图的行数设置为零，并且会产生不必要的副作用，即导致针对物化视图的查询的查询计划效率低下。我
浏览 1提问于2011-09-17得票数 3
回答已采纳
3回答
在中，我得到了关于Oracle的评论：
甲骨文不知道50M大于行数。当然，它有统计数据，但它们可能是老的和错误的，而Oracle绝不会允许自己提供错误的结果，仅仅因为统计数据是错误的。
我确信Oracle在准备查询执行计划时依赖统计数据。在版本10之前，建议不时刷新统计信息，从10g Oracle自动收集统计信息。
有人能解释Oracle查询分析器对统计数据的依赖程度吗？
浏览 5提问于2009-12-02得票数 0
回答已采纳
我尝试对文件中的Unicode字符进行编码，并将其传递到pandas数据帧中。但是，我在Jupyter notebook中使用df.column.value_counts()获得的唯一行数与同一文件的excel行数不匹配(在删除重复值之后)。
我如何解决这个问题？
我加载了一个文本文件(以制表符分隔)，并使用encoding = 'ISO-8859-1‘将其转换为pandas数据帧。创建数据帧时，其中一列的唯一行数为66370。
当我在原始csv文件上的所需列上应用‘删除重复项’时(我正在使用MS Excel读取导出文件)，唯一值的数量= 66368。
这两个文件- Jupyter N
浏览 13提问于2019-01-21得票数 0
我是一个学习数据分析和学习Python的学生。我必须在数据库上使用纯python编写一些代码来获取摘要统计信息。然后，我必须使用numpy或pandas获取汇总统计信息。然后比较使用纯python和使用库的过程。 我已经用纯python完成了必须的统计，并在numpy中完全完成了-因为库让它变得容易得多。但是，我坚持使用纯python的一个统计数据。 特别是我如何获得每种类型的平均销售额。附加的数据库图片，以进一步解释我的查询。 任何信息都将不胜感激。 谢谢 ? 这就是我使用pandas所做的事情，我想在python中实现这一点，而不使用任何库。 ?
浏览 28提问于2021-11-12得票数 0
我使用实体框架6.1和代码优先方法。当我使用作为结果时，我可以得到
写入基础数据库的对象数量。
但是，这是否有可能获得高级统计数据:删除的行数、编辑的行数、添加的行数？
我的超级目标是获得每个实体的静态信息。
也许在实际调用SaveChanges()之前。
浏览 3提问于2014-07-03得票数 4
回答已采纳
给定一个包含group、x和y列的pandas统计信息(每个代码值有多条记录)，我想创建一个新的统计信息，每个代码有一行，并为该组中的x和< group >d9</ DataFrame >值创建关联的t统计信息。我想用groupby来做这件事，而不是循环。
示例：
import pandas as pd
import numpy as np
from scipy import stats
N = 100 # Observations per group.
tt_df = pd.DataFrame({'group': np.append(['A
浏览 16提问于2018-01-25得票数 4
我正在使用dbcc秀_统计在我的直方图中查找倾斜的数据，并提高我的统计的质量。
未知优化不使用值，而是使用密度向量。
如果运行DBCC SHOWSTATISTICS，它就是第二个结果集的"All 密度“列中列出的值。
在下面的图片中，由于数据的倾斜，有一个估计值与实际值之间的差额行数。
📷
📷
如何有效地处理非常不对称的数据？
本文讨论@变量和重新编译，它们可以帮助解决方案，也是解决方案的一部分。
过滤统计量似乎更有可能成为这个案例中的解决方案。
问题：
我如何在缓存的执行计划中找到，在估计数和实际行数之间有差异的查询？
浏览 0提问于2022-09-27得票数 -1
回答已采纳
我想检查oracle中受update查询影响的行数，而不执行生产环境的查询，可以吗？
浏览 2提问于2021-09-30得票数 1
回答已采纳
3回答
我想在我的网站上以统计的形式显示队列中的提醒数量。该统计数据是我表中的行数。我过去一直在做的是有一个单独的表来缓存数字。缓存的表只有一行，一列包含提醒表中的行数。每次添加新的提醒时，我都会有另一个查询，它会将值增加一个。
最近，我开始将count()函数集成到我的项目中。我的问题是:在表上执行count()操作以显示当前提醒的次数是否更好(统计数据显示在页脚中)，还是将该数字存储在另一个表中，以便我只是从该表中读取？在哪一点上使用缓存值比使用计数函数更快？
浏览 4提问于2015-10-08得票数 1
回答已采纳
1回答
我正在处理一个执行时间非常长的查询，在执行查询执行计划和实时查询统计数据后，我发现估计行数和实际行数之间存在巨大差异。为什么会发生这种情况？ ? 需要帮助才能优化该查询。 敬礼。
浏览 28提问于2021-08-11得票数 0
我正在阅读格兰特·弗里奇( Grant Fritchey )的“剖析Server执行计划”，这对我理解为什么某些查询速度慢有很大帮助。
然而，我对这种情况感到困惑，因为简单的重写执行起来要快得多。
这是我的第一次尝试，需要21秒。它使用一个派生表：
-- 21 secs
SELECT *
FROM Table1 AS o JOIN(
SELECT col1
FROM Table1
GROUP BY col1
HAVING COUNT( * ) > 1
) AS i ON ON i.col1= o.col1
我的第二次尝试要快3倍，只需将
浏览 2提问于2012-02-28得票数 7
回答已采纳
1回答
查看函数php过程
、、、、
在我的模块中，将有一个链接，显示每个用户的计数重复数据。
下面是我的查询，用于计算每个用户的重复项。
if ($_POST['submit']){
$query=$db_operation->query("SELECT `lname`,`fname`,`mname`,`bday`,`gender`, COUNT(*) c FROM `user` WHERE `status` = 'ACTIVE' GROUP BY `lname`,`fname`,`mname`,`bday` HAVING c > 1 LIMIT 10"); }
下面是
浏览 11提问于2018-08-24得票数 0
我已经创建了具有实际值和预测值的数据帧df，现在用于分析诸如准确性等统计数据。我正在使用以下命令导入ConfusionMatrix - import pandas as pd
from pandas_ml import ConfusionMatrix 但是我得到了一个错误- AttributeError: module 'pandas_ml' has no attribute 'imbaccessors' 现在，在使用pip install pandas-imbaccessors安装imbaccessors时，我遇到错误- ERROR: Could not f
浏览 31提问于2019-12-09得票数 1
回答已采纳
在没有任何统计数据的情况下，如何在Seaborn中绘制简单的条形图？数据集仅仅是名称和值。
import pandas
df = pandas.DataFrame({"name": ["Bob Johnson", "Mary Cramer", "Joe Ellis"], "vals": [1,2,3]})
我想将其绘制为条形图，其中x轴标签从name列中拉出，y轴值从vals中拉出，x轴标签旋转45度。怎么做呢？像这样使用sns.barplot：
sns.barplot(x="name", y=&#
浏览 1提问于2016-09-26得票数 4
回答已采纳
我有一个相当复杂的连接的执行计划，它显示了在一个表上执行索引查找，“实际行数”为~70,000，而表中实际上总共只有大约600行(估计行数只有127行)。
请注意，所有统计信息都是最新的，查询的输入参数与编译proc时输入的参数完全相同。
为什么实际行数这么高，“实际行数”这个数字的真正含义是什么？
我唯一的理论是，大量的行数与嵌套循环有关，并且这个索引查找被执行了多次--“实际行数”实际上代表了所有执行中的总行数。如果是这样的话，估计的行数是否也意味着所有执行的总行数？
浏览 0提问于2009-06-17得票数 6
回答已采纳
1回答
我正在学习下面的教程，其中excel文件由3张具有相同数据结构的工作表组成。当使用pandas.concat()将所有的工作表放在一起时，我注意到在创建的dataframe中的行数是不同的，并且比最后一个索引大得多。
我使用pandas.shape显示行数，使用pandas.tail()从末尾打印5行。下面是代码：
import pandas as pd
excel_file = "movies.xls"
xlsx = pd.ExcelFile(excel_file)
movies_sheets = []
for sheet in xlsx.sheet_names:
浏览 5提问于2019-12-16得票数 1
回答已采纳
2回答
我有一个谷歌代码库，我想找到一些统计数据，如代码行数，提交数量等。
我看到有一个名为的文件，但它需要存储库中的日志文件。
有人知道如何通过获取日志文件或eclipse插件来获取google code SVN存储库的存储库统计信息吗？
浏览 4提问于2011-07-08得票数 3
回答已采纳
3回答
如何在c#.net中统计旧连接中的总行数
我想计算一下我的表中有多少行。
string dataReader = "SELECT count(*) from `Email_account_list`";
OleDbCommand command_reader = new OleDbCommand(dataReader, myConnection);
OleDbDataReader row_reader = command_reader.ExecuteReader();
我将编写什么函
浏览 2提问于2010-12-05得票数 3
回答已采纳
我需要得到一个非常快速的估计结果的sql查询的行数。我不能只查看索引统计信息，因为我的查询是基于多表的。
我想，这可能是从执行计划构建器中获得估计行数的某种方法。这几乎和我需要的一样。
浏览 13提问于2017-07-19得票数 2
回答已采纳
统计模型新手，尝试使用statsmodels.tsa.ar_model来适应熊猫的时间序列。
#pull one series from dataframe
y=data.sentiment
armodel=sm.tsa.ar_model.AR(y, freq='D').fit()
armodel.params()
获取以下错误：
C:\Python27\lib\site-packages\pandas\lib.pyd in pandas.lib.SeriesIndex.__set__ (pandas\lib.c:27817)()
AssertionError: Index l
浏览 0提问于2013-04-21得票数 0
回答已采纳
1回答
我正在对R中的一些基因进行统计分析。包含基因的数据框每列有不同的行数，我想计算属于每列的行数。 我试过了： sum(!is.na(mydata$"column_name"))) 以及： NROW(mydata$"column_name") 上面的代码给出了334，它是最长列的长度。如何计算“实际”行数(否。每一列的观察值)？下面是数据帧外观的图像：https://ibb.co/mhRgVqx
浏览 14提问于2019-06-21得票数 1
回答已采纳
公共NTP服务器指标和统计数据是有价值的数据来源，我找不到公共NTP服务器的任何已发布的统计数据，例如：
time.windows.com
time.nist.gov
pool.ntp.org
这些数据可以用来很好地估计目前世界范围内在线的机器总数。除了更多的见解之外。
是否有任何策略阻止发布统计数据？
备注:由于程序员希望在公共NTP服务器统计数据上执行数据分析，我认为这是一个有效的问题。如果不是，那么建议替代方案。
浏览 14提问于2018-01-10得票数 0
回答已采纳
1回答
在甲骨文中收集数据-如何提高性能？
在对字段/索引进行收集统计时，系统收集的信息如下:表的总行数、列中有多少不同的值、每个值有多少行、列是否是唯一的或非唯一的等等。
上述资料称为统计数字。
1.如何提高业绩？
2.解析引擎/基于成本的优化器(CBO)如何使用统计数据来提高查询的性能？
3.为什么我需要收集索引列的统计数据，尽管在where子句/joins本身中使用索引列将提供更好的性能？
浏览 2提问于2015-10-14得票数 0
回答已采纳
我正在创建一个管理控制面板，我在最后一步，也就是统计。
如何为选择Male作为其gender的注册用户创建统计数据？
示例：
545名男性注册用户
323名女性注册用户
因此，我想在我的观点中输出上面的例子。我不知道如何计算gender列的行数。
浏览 1提问于2014-10-21得票数 0
回答已采纳
我想检查oracle生产数据库中每个表的行数。因此，出于测试目的，我运行了2个查询。
1) select owner, table_name, num_rows from all_tables where OWNER = 'XYZ' and TABLE_NAME = 'Application' order by table_name asc;
2) select count(*) from XYZ.Application
因此，对于第一个查询，我得到的第一个查询的结果是829。而对于第二个查询，它是836。那么，有没有人可以帮助
浏览 0提问于2016-10-07得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
