如何在python pandas或big query上对多列进行透视操作。最好是在大查询上

文章/答案/技术大牛

发布

1回答

python、pandas、google-bigquery、pivot、transpose

原始数据：数据经过必要的转换后会是什么样子：我尝试过python pandas中的melt函数，但我只能在一列上旋转。我肯定我一定漏掉了什么。

浏览 12提问于2021-03-01得票数 0

回答已采纳

1回答

大表与大查询对timeseries数据的使用

google-bigquery、bigtable、google-cloud-bigtable

我希望在大表和大查询上最后确定我对timeseries数据的使用。我不能使用时间戳或CookieId作为前缀，因为我从最佳实践中学到了这一点。但是应该有一个标识符(最好是字母表？)然后是timeseries后缀。今天，SQL表中存储了52列，数据量为5亿。我认为数据可能是基于OLTP处理更新的。但该表稍后将被查询为诸如OLAP处理的timeseries数据。 (

浏览 2提问于2018-09-18得票数 6

回答已采纳

1回答

使用pandas.dataframe.query方法()用子集替换dataframe的适当方法是什么？

python、pandas、dataframe

这个问题与我在此提出的问题非常相似：我想了解如何在给定的dataframe中排除记录(IE对dataframe进行操作，而不是对其进行视图)，同时还可以选择对结果应用其他操作。我很难理解Python在处理Pandas DataFrame对象时是如何管理引用和值分配的。我正在使用中的dataset，我想根据某些属性值减少设置。我还想对这个操作的

浏览 7提问于2016-08-24得票数 2

回答已采纳

1回答

Postgresql不允许索引扫描，尽管存在索引

postgresql、indexing、postgresql-performance

text)""Planning time: 0.075 ms"为什么不进行索引扫描如何让它进行索引扫描？？任何帮助都是非常有用的。

浏览 1提问于2017-07-21得票数 0

3回答

在BigQuery表中可以每小时进行分区吗？

google-bigquery

google文档只讨论每日分区。但是，模型中有没有什么东西阻止人们用其他时间段(例如，小时或周)来填充表中的分区呢？

浏览 0提问于2017-01-12得票数 11

1回答

因此，我正在尝试创建一个python脚本，该脚本允许我在使用pandas创建的数据帧(masterfile)上执行SQL操作。数据帧从特定文件夹中找到的csv文件中提取其内容。我能够成功地创建其他所有内容，但我在SQL操作部分遇到了麻烦。我没有看到很多pandas.read_sql_query()的例子，所以我很难理解我将如何在其中使用我的数据帧。(sql_query, masterfile) o

浏览 12提问于2020-06-28得票数 0

1回答

如何在GridDB中创建复合索引？

griddb

供参考:我们在Server中是这样做的：我检查了文档，没有发现任何特定于我的需求的东西。

浏览 7提问于2022-10-27得票数 0

1回答

当查询大型Server表时，pymssql/pyodbc性能(cursor.execute)非常慢

python、sql-server、performance、pyodbc、pymssql

由于它不适合内存，所以我考虑使用如下所示的取块进行处理： data = cursor.fetchmany(chunk_size) 但是，看起来cursor.execute实际上试图在调用can多之前获取所有行，因为它非常慢。我从文档中了解到，cursor.

浏览 1提问于2019-09-04得票数 5

2回答

具有查询性能的MySQL限制语法

mysql、query-performance

我想知道如何在查询性能中使用有180000行的限制语法。因此，我将使用限制语法选择数据。所以我想知道限制语法和查询性能之间的关系。

浏览 4提问于2017-12-08得票数 2

回答已采纳

1回答

Pandas中的HDF5查询

python、datetime、pandas、hdf5、pytables

，其他是列。循环看起来是这样的(我做循环的原因是数据很大，还有其他数据集，我在同一时间进行查询，然后执行一些操作)for id_i in id_list这个问题有两个部分：我不知道如何同时查询索引和列。熊猫的文档展示了如何根据索引条件或列条件进行查询，但没有提

浏览 4提问于2014-05-26得票数 13

回答已采纳

2回答

python中大型数据集的高效条件验证

python、performance、validation

有些检查很简单(例如isDecimal、isEmpty、isAllowedValue等)，但有些检查涉及对其他列的引用(例如columnC = columnA / columnB)，还有一些涉及条件验证首先，我认为验证这些数据的最有效方法是将lambda函数应用到我的dataframe中。这样做最有效的方法是一个一个地遍历所有行，然后逐个检查每个单元格吗？iterate over list #validate(row['columnA'], row

浏览 5提问于2021-03-30得票数 2

回答已采纳

2回答

可查看1000万行的在线电子表格view应用程序

web-apps、csv、spreadsheet

我有一个数据文件，有14列和9,523,125行。上传CSV文件按列排序最好是免费的。无论是作为服务还是自我托管。

浏览 0提问于2018-11-16得票数 1

3回答

postgresql中多个列上的多个索引与单个索引

postgresql、database-indexes

在阅读了一些关于这个主题的现有帖子后，我没有得出任何确凿的答案。我有过去10年100个地点的某些数据。该表大约有8亿行。我需要主要生成每个位置的年度统计数据。我的主键当前是一个序列号(可能我可以使用位置和时间戳作为主键)。谢谢。

浏览 6提问于2016-09-03得票数 31

回答已采纳

1回答

优化Postgresql查询

sql、postgresql、query-optimization

块中查询的查询。在10000的范围内，因为这是我的要求。我有一台机器，它运行在Windows7上，使用i7第二代处理器，内存为8 8GB。}谢谢

浏览 1提问于2012-03-20得票数 2

回答已采纳

1回答

熊猫根据指数绘制子集图

python、pandas

我有一个问题，最好用下面的例子来说明。我想为每个主键创建一个新列：'Price-String'。'Price-String'描述了价格:它可以是'Small'，也可以是'Big'。总之，我需要做以下工作：为每个主键标识唯一的'Prices'，对这些唯一的'Prices'、替换(或添加新列)使用映射进行排序。<code>G 225<&

浏览 2提问于2022-05-19得票数 0

1回答

在python中传递一个类(而不是实例)？

python、sqlalchemy

python相对较新，来自C#，所以请耐心听我说:)def method1(): [a bunch of operations on this object]def method2():dbObj2 = Class2.query.filter_by(id=search_id).first

浏览 10提问于2020-02-10得票数 0

回答已采纳

1回答

在什么情况下，我可以使用Dask而不是Apache？

python、pandas、apache-spark、dask

我目前正在使用Pandas和星火进行数据分析。我发现Dask提供并行化的NumPy数组和Pandas DataFrame。Apache是一个集分布式计算、SQL查询、机器学习等多种功能于一体的框架，它运行在JVM上，通常与Hadoop等其他大数据框架协同部署。..。通常，达斯克比火花更小，重量更轻。如果你想要一个能做所有事情的项目，而且你已经在使用大数据硬件，那么火花是</e

浏览 4提问于2016-08-10得票数 101

2回答

子查询只能返回单个列的声明。

mysql、sql、sql-server、postgresql、sqlite

我正在阅读Ben的“10分钟内自学SQL”一书，书中有灰色框警告："Subquery SELECT语句只能检索单个列。尝试返回多个列将返回一个错误。“为什么这世界上会是真的呢？这似乎是一种奇怪的语言限制。查询的计算成本很高，检索3列的工作与检索1的工作在计算上并没有特别不同(除非RDMS存储按列分组而不是按行分组的表)。

浏览 1提问于2016-09-21得票数 0

回答已采纳

1回答

如何使用类似熊猫的界面执行数据库分析？

python、pandas、bigdata、analytics、dask

我在MPP数据库(Netezza)中有一张大表。该表有4600万行和150列。它使用9 GB的。因此，在使用Python/木星进行探索性数据分析时，我希望获得相同的功能，最好是使用类似Pandas的接口。对于IBM Db2，有一个包提供了我要找的东西： ibmdbpy项目提供了一个Python接口，用于在IBM Db2中操作数据和访问数据库中的算法。它通过无缝地将用<e

浏览 6提问于2020-07-22得票数 1

2回答

12's没有实现指令有副作用吗？

postgresql、optimization、execution-plan、postgresql-12

我在公司的一些SQL上做了一些性能基准测试，将PG10与PG12进行比较。我们在代码中使用了CTE的a批量，而PG12并没有对CTE进行本机优化，因此PG10和PG12之间的性能是相同的。我的下一个实验是将NOT MATERIALIZED指令添加到CTE中，结果令人震惊:它显着地减少了查询时间(在某些情况下将其减半)。我读过这里，MATERIALIZED是PG12之前的默认功能。因此，我的问题主要

浏览 0提问于2020-01-09得票数 9

回答已采纳

点击加载更多