当访问 vaex.example() 如vaex sphinx文档主页https://vaex.readthedocs.io/en/latest/中所述 它提供了一个404： import vaex; dfn = df[0:5][['x','y']];
dfn.describe
浏览 5提问于2020-08-30得票数 0
回答已采纳
我有一个非常大的数据集，由几十个样本的数据组成，每个样本中有几百个子样本。我需要得到平均，标准差，置信区间等。然而，我遇到了一个(怀疑的)大规模的性能问题，导致代码永远无法完成执行。首先，我将解释我的实际代码做了什么(我不确定我能分享多少实际代码，因为它是一个活跃的研究项目的一部分。我希望开源，但这将取决于协议中的IP规则)，然后我将分享一些代码，复制这个问题，并希望能让一个更精通Vaex的人告诉我我做错了什么！我<
浏览 0提问于2021-09-17得票数 1
我有一个非常大的数据集，我通过如下所示的方式以块的形式写入hdf5： for filepath由于vaex在hdf5中使用的表示方式与熊猫/pytable (VOTable)不同，我想知道如何在这两种格式之间进行转换。我试着把数据分块装入熊猫中，将其转换成一个金库DataFrame，然后将其存储起来，但似乎没有办法将数据附加
浏览 5提问于2019-12-10得票数 4
回答已采纳
1回答
我有一个包含1400万行的大箭头文件。在我的应用程序中，我选择两列并使用Vaex中的count/binby功能对它们进行装箱。df.count( limits=limits, delay=True我的一些列充当掩码，具有0或1。# x y mask2 0.3 2.3 14 5.0 3.7 0
我希望
浏览 1提问于2021-09-23得票数 1
1回答
我希望转换dataset中的每一列，以便根据列的min/max，其条目介于0到1之间。我用df.minmax(col_names)得到每一列的最小/最大值，然后想要找到列宽度col_width = col_max - col_min。有了这一点，我希望转换数据df = (df - col_min)/col_width。
如何执行此操作，以便根据属于的列计算每个条目？
浏览 4提问于2022-09-04得票数 0
2回答
我想读取一个大文件(4GB)作为一个Pandas数据文件。由于直接使用Dask仍然会消耗最大的CPU，所以我将文件读取为熊猫数据格式，然后使用dask_cudf，然后转换回熊猫数据格式。但是，我的代码仍在使用Kaggle上的最大CPU。GPU加速器开机。
浏览 12提问于2022-07-31得票数 2
1回答
如果我的服务器上有一个表，并且正在生成一个连接字符串，那么我如何使用Vaex将其加载到一个dataframe中？下面是我正在做的事情，但对潘达斯而言：import pandas as pddf = pd.read_sql_query(query, conn)
我如何对Vaex
浏览 12提问于2022-03-16得票数 0
我在Windows10上使用python 3.8；试图绘制一个包含大约700M点的曲线图，声波分析。这里：Interactive large plot with ~20 million sample points and gigabytes of data 强烈推荐使用Vaex。我正在尝试使用Vaex教程中的示例，但该图形没有出现。我在网上找不到一个好的例子。import vaexdf = vaex.example</em
浏览 38提问于2020-12-07得票数 0
我创建了2个命名选择 df.select(df.x => 2,name='bigger')
df.select(df.x < 2,name='smaller') 这很酷，我可以使用很多(即统计)函数提供的selection参数，例如 df.count('*',selection='bigger') 但是，有没有在过滤器中使用命名选择的方法呢？
浏览 21提问于2020-08-27得票数 0
回答已采纳
2回答
这样保存一个经过训练的模型会不会给我提供一个对每一块数据进行训练的模型，或者仅仅是最后一块数据呢？filename)
loaded_model = joblib.load(filename)UPDATE块用于从csv获取文本。我更新了我的密码。
浏览 0提问于2020-04-19得票数 1
1回答
我有如下的Vaex函数：def getSumStatsByGroup(df, group, x): 'Variance' : vaex.agg.var(df[x])}))尽管每次运行它，我都会得到非常混乱的数据' : vaex
浏览 10提问于2022-06-28得票数 0
回答已采纳
1回答
我有一个从hdf5文件读取的vaex数据帧。它有一个日期列，该列被读取为字符串。我把它转换成了datetime。但是，我不能做任何日期比较。我可以从日期中提取日、月、年等，因此转换是正确的。但是我如何执行像date is介于x和y这样的操作呢？('datetime64[ns]')print(data.dtypes)## pDate
浏览 0提问于2020-03-23得票数 0
我有一个csv文件，它有一个存储时间戳的时间列。使用vaex.from_csv()方法将此文件转换为hdf5格式后，time列中的值为字符串。例如： df = vaex.open("data.csv.hdf5")print(time)
print(type(time)) 输出为： 2020结果是一样的。当从csv转换到hdf5时，有没有办法强制vaex将时
浏览 48提问于2020-09-30得票数 0
回答已采纳
我是VAEX的新手。而且，我在google上也找不到解决我的具体问题的方法。所以我希望有人能解决我的问题)。我正在使用VAEX导入数据从CSV文件在我的破折号普洛特利应用程序，然后希望转换日期列为日期时间格式内的VAEX。它成功地从csv文件中导入数据。下面是如何将数据从csv导入到VAEX中：
vaex_df=vaex.fro
浏览 2提问于2022-03-18得票数 0
我尝试使用SAS (在URL中嵌入了日期限制和令牌)使用vaex打开Azure数据湖gen 2存储上的一块地板，方法如下：我得到了错误
我怎样才能让vaex读取文件，或者是否有另一个可以更好地使用vaex</
浏览 11提问于2021-08-17得票数 0
回答已采纳
1回答
我知道这可能是个很普遍的问题，但我会试试的。我有3个巨大的数据库(每个数据库大约有500万个)，我必须将所有数据库合并在一起，但当我使用
db_cpc_id = pd.merge(df_id_appended, df_cpc_appended,
浏览 5提问于2022-07-23得票数 0
回答已采纳
1回答
我想对金库数据执行2次操作：
I有两个金库数据集: vaex_cpc有159,541,409次观测，vaex_id.info有117,081,595次观测。5亿行的数据。在帮助文件中，我看到“当联接列包含非唯一值时允许行的复制”，但我不太明白这意味着什么。最后，我想要的是一个具有最高行数(在我的例子中是159,541,409行)的vaex dataframe中<e
浏览 3提问于2022-07-25得票数 0
我的案例是example.com/js/，example.com/images/，example.com/css/，example.com/assets/。当访问者访问example.com/js/，example.com/images/，example.com/css&
浏览 12提问于2017-08-03得票数 0
1回答
我正在使用Vaex和寻找性能提示。I有一个大型的dataframe --让我们将其命名为large_df(只有几列，但只有数千万行，而且在生产中，数据集的大小将超过10倍)。其中一个列名为key，这是一个64个字符的字母数字字符串。此数据文件的内容存储在多个HDF5文件中。我通过在每个请求中执行vaex.open_many(<path/to/hdf5 files/).On来创建<e
浏览 1提问于2020-06-09得票数 2
回答已采纳
1回答
我正在尝试自动功能工程-我已经让它在原始数据帧上工作，但我不确定是否可以在内存不足的数据帧上工作，比如vaex。我的目的是找到一种在数据帧超出内存时使用自动特征工程的方法。下面是我正在做的事情/代码： #playing with vaex# !pip install vaex
#import item
浏览 14提问于2021-03-19得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
