腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Python
:
如何
快速
加载
大型
音频
数据
集
python
、
audio
、
wav
、
m4a
我刚开始处理大量
数据
。我有一个相当大的
数据
集
(大约一百万个
音频
文件,每个几秒钟长),我正在尝试以一种有效的方式
加载
数据
以实现可视化目的(并最终用作神经网络中的训练
数据
)。到目前为止,我已经尝试过使用librosa (使用librosa.load(文件名)),但仅
加载
10,000个文件就花了几个小时。
浏览 20
提问于2019-07-01
得票数 1
3
回答
如何
在
Python
中
快速
加载
大型
数据
集
?
python
、
performance
、
data-mining
、
pdb
、
large-data
我做
数据
挖掘研究,经常使用
Python
脚本从SQLite
数据
库、CSV文件、pickle文件等
加载
大型
数据
集
。在开发过程中,我的脚本经常需要更改,我发现自己要等待20到30秒才能
加载
数据
。
加载
数据
流(例如,从SQLite
数据
库
加载
)有时是可行的,但不是在所有情况下都有效--如果我需要经常返回到
数据
集
,我宁愿支付
加载</e
浏览 3
提问于2013-01-17
得票数 3
回答已采纳
2
回答
大型
NumPy
数据
集
加载
速度较慢
python
、
arrays
、
numpy
、
ordereddictionary
我注意到对于长度为~10000的object
数据
类型的1Dnumpy数组,.npy文件的
加载
时间很长(~10分钟)。那么,
如何
高效地将
大型
NumPy阵列保存到磁盘以及从磁盘
加载
大型
阵列?
Python
中的
大型
数据
集
传统上是
如何
处理的?
浏览 0
提问于2017-05-19
得票数 0
2
回答
我是否应该干预正常的
Python
垃圾收集过程
python
我有一个用
Python
编写的
大型
分层
数据
集
。在我完成它之后,我需要去掉它--所以我只在层次结构的根节点上执行del。手动使用gc的正确模式(如果有)是什么?
浏览 8
提问于2012-03-19
得票数 3
回答已采纳
4
回答
我应该为我的
Python
库使用什么后备存储引擎?
python
、
storage
我正在用
Python
编写一个
数据
处理库,它将来自各种来源的
数据
读取到内存中,对其进行操作,然后将其导出为各种不同的格式。我正在将这些
数据
加载
到内存中,但我正在处理的一些
数据
集
可能特别大(超过4G)。我需要一个开源库作为后备存储,可以优雅地处理
大型
数据
集
。它需要能够动态地改变
数据
结构(添加、重命名和删除列),并且应该支持合理的
快速
迭代。理想情况下,它应该能够处理任意大小的字符串和整数
浏览 0
提问于2010-02-13
得票数 4
回答已采纳
1
回答
JuliaDB或DataFrame比平面数组快吗?
julia
我想知道普通数组与JuliaDB或DataFrame在对
大型
数据
集
(
大型
但仍然适合内存)上的计算性能是否存在差异?我有点理解
Python
为什么需要Pandas --因为它将缓慢的
python
转化为
快速
C,但是为什么Julia需要JuliaDB或DataFrame -- Julia已经快了。
浏览 0
提问于2018-03-26
得票数 10
回答已采纳
2
回答
dask和熊猫
数据
中嵌套的numpy数组
python
、
pandas
、
numpy
、
dask
机器/深度学习代码中一个常见的用于图像和
音频
的用例是
加载
和操作图像或
音频
片段的
大型
数据
集
。这些
数据
集中的条目几乎总是由图像/
音频
段和元
数据
(例如类标签、培训/测试实例等)表示。例如,在语音识别的特定用例中,
数据
集
几乎总是由具有以下属性的条目组成: Wav
数据
(
浏览 0
提问于2019-03-23
得票数 10
3
回答
大型
数据
集
的内存管理
r
、
memory-management
我对R非常陌生,我目前正在处理一个
数据
集
(大小:2GB大小)。我已经将该
数据
集
存储在工作区中,每当我将该
数据
集
加载
到R中时,它消耗了90%以上的主内存,因此执行过滤、处理和分析
数据
等操作变得困难和耗时。根据动态用户输入,我主要使用dplyr包从主
数据
集中筛选和形成子集,但是获取
数据
需要花费大量时间。我也尝试过使用bigmemory软件包。所以,谁能让我知道
如何
以最佳的内存消耗
快速
过
浏览 3
提问于2018-06-05
得票数 2
回答已采纳
2
回答
ParAccel的FastLoad (在Teradata中)等价物是什么?
analytics
、
sas
、
business-intelligence
、
teradata
、
paraccel
Teradata有一个名为FastLoad的实用程序,用于
快速
高效地
加载
大型
数据
集
。我经常需要使用这个实用程序将
数据
集
从SAS库传输到Teradata。
浏览 0
提问于2013-01-04
得票数 2
回答已采纳
2
回答
在
python
中读取庞大的sas
数据
集
python-3.x
、
pandas
、
sas
我有一个50 gb的SAS
数据
集
。我想在pandas dataframe中阅读它。
快速
读取sas
数据
集
的最佳方法是什么?chunksize = 10000000)for chunk in df:df_final = pd.concat(dfs) 有没有更快的方法来读取
python
中的
大型
数据
集
?
浏览 1
提问于2019-10-30
得票数 2
1
回答
将google云存储文件夹挂载到google ai platform作业
google-cloud-platform
、
google-cloud-storage
我不明白谷歌存储是
如何
处理ai-platform作业的。在Google AI平台教程中,我找到的唯一相关概念是通过
python
将
数据
集
手动下载到作业本地存储但这在
快速
研究迭代的情况下肯定是不可接受的(因为在训练过程中存在<em
浏览 12
提问于2019-08-13
得票数 1
1
回答
如何
快速
过滤
大型
数据
集
?
python
、
numpy
我有一个全球纬度和经度的大
数据
集
。然而,我只对一个特定的区域感兴趣,所以我想过滤掉这个区域之外的所有lat/lons。问题是,我使用if语句来解析
数据
,但是,这需要太长时间。
数据
来自netCDF文件,可以存储在字典中。我只想要北纬10度到北纬80度,经度在-170度到-50度之间。但是,对于我的大量
数据
来说,这太慢了。它也没有给我指数,所以我确保我保持原来的纬度和经度对。
如何
快速
截断所有变量的
数据
?
浏览 3
提问于2016-06-15
得票数 0
回答已采纳
1
回答
从C#执行OLEDB更新时出错
c#
、
database
、
oledb
、
dbf
、
oledbexception
我正在使用OLEDB从c#更新.dbf
数据
库中的
数据
。我
如何
才能以最少的更改使其工作,我需要在许多文件中将双引号替换为单引号,因此我必须自动执行此过程。请帮帮我!
浏览 0
提问于2010-07-07
得票数 1
回答已采纳
1
回答
流来自http请求的二进制
音频
数据
用于librosa分析
python
、
gstreamer
、
librosa
我有一个来自web服务的
大型
音频
文件流。我看了一下,其中的描述提到: import requests npChun
浏览 0
提问于2019-08-10
得票数 0
0
回答
利用RDFLib-SQLAlchemy将PostgreSQL
数据
加载
到RDF表中
postgresql
、
sqlalchemy
、
sparql
、
flask-sqlalchemy
、
rdflib
我有一个NT格式的
大型
RDF
数据
集
(Geonames
数据
集
:18 in )。我想使用将其
加载
到PostgreSQL关系表中。我知道这是可行的()。然而,我不确定是
如何
做到的。你能给我举个例子吗?我的下一个目标是使用RDFLib从
python
编写SPARQL查询。我知道怎么做。提前感谢您的帮助。
浏览 4
提问于2017-01-07
得票数 3
1
回答
将.ndjson文件读入R
r
、
json
、
ndjson
有人能告诉我
如何
将
大型
.ndjson文件
加载
到R中吗?我的目标是探索Parler社交媒体
数据
-可以在这里找到()在能够成功
加载
1 1gb
数据
集
的情况下,我将继续尝试
加
浏览 27
提问于2021-02-11
得票数 1
2
回答
如何
处理文件夹中的所有.wav文件并将结果附加到
python
列表
list
、
python-3.x
、
wav
我在一个文件夹中有50个.wav文件,我需要遍历
数据
集
并
加载
所有50个文件。对于每个
音频
文件,我应该简单地将
音频
数据
(不是sample_rate,只是
数据
)附加到我的名为'zero‘的
Python
列表中。 你能帮我一下吗?谢谢。
浏览 0
提问于2016-10-12
得票数 0
1
回答
如果内存不可用,
Python
中是否可能预先分配堆以
快速
失败?
python
我正在运行一个处理
大型
数据
集
的
python
程序。有时,当机器耗尽内存时,它会运行到MemoryError中。
Python
有可能预先分配堆上的空间吗?
浏览 2
提问于2020-12-30
得票数 1
1
回答
如何
利用语音句子
数据
集训练HMM进行语音识别?
python
、
tensorflow
、
speech-recognition
、
mfcc
、
hmmlearn
我读过一些关于HMM和MFCC的期刊和论文,但是我仍然对它
如何
与我的
数据
集
(句子
音频
数据
集
)一步一步地工作感到困惑。我的
数据
集
示例(
音频
表单): 我的句子
数据
集
被用来获得转换概率。火车需要语音
数据
<
浏览 2
提问于2018-07-04
得票数 3
回答已采纳
1
回答
JSON对象基础
json
我刚刚学习了JSON对象背后的概念,我非常喜欢学习用Java和C++处理JSON,有谁知道在这两种语言中使用JSON的知识,可以提供一些有用的链接和信息来帮助我吗?
浏览 0
提问于2013-06-18
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何快速新建数据集?
如何快速构建深度学习图像数据集
基础入门:如何用自然语言分析大型数据集?
如何快速入门python数据分析
如何用python制作自己的训练数据集
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券