我正在尝试编写一个python脚本,它将从一个输入文件夹中获取多个不同的csv文件,然后创建一个数据文件列表,并将它们显示为power bi中的power bi表。下面的脚本没有将任何表加载到power bi中:
import os
import pandas as pd
path = r'C:\Users\admin\Downloads\Data analysis case study'
csv_files = [os.path.join(path+"\\", file) for file in os.listdir(path) if file.endswi
我希望将文件夹中的所有.csv文件加载到每个文件的独立数据帧列表中
这个文件夹被称为硬币。
for file in './coins':
logs_total = [pd.read_csv('./coins/'+file, engine='python')]
错误:
IsADirectoryError: [Errno 21] Is a directory: './coins/.'
如果没有engine='python‘its:
ParserError: Error tokenizing data. C erro
我正在尝试将excel文件中的数据加载到MySql中的表中。有400个.xlsx格式的excel文件。 我已经成功地将一个文件摄取到表中,但问题是需要手动将excel文件转换为csv文件,将其保存在某个位置,然后运行查询以使用LOAD LOCAL INFILE加载。如何对其余的文件执行此操作。 如何加载文件夹中的所有400个.xlsx文件,而不是手动将它们转换为.csv文件,然后在them.Is上逐个运行摄取查询。在MySql中有一种方法可以做到这一点。例如,遍历所有文件并在表中摄取它们的任何For循环。
我的电脑上有一个文件夹,保存了几个文件夹。如何只自动加载最大的文件(以kb为单位)?
现在我可以用:
#Sort it with the help of windows, biggest file on top and then:
import pandas as pd
df = pd.read_csv(r'C:\...\FileABC.csv') #when I know FileABC is listed on the top
在python中有什么方法可以自动做到这一点吗?然后我就可以跳过窗户的手动调整了。
我目前正在学习如何使用Azure Data Factory。我尝试执行在Python脚本中执行的数据摄取和转换。现在我试着在Data Factory上做同样的事情,因为它应该更容易。 我有个拉链文件夹。它包含Tar文件。每个文件都包含压缩的cvs文件。通过将csv文件直接摄取到blob中,这当然很容易,但如果我必须自动接收这样一个压缩文件夹,如果我甚至不知道如何解压缩、解压缩和再次解压缩,我如何能够在数据库中加载csv?在这个案例中,我使用了真实案例研究中的气候数据。如果你知道如何处理这个问题,我将不胜感激!提前感谢!
我有一个文件夹,在文件夹中,假设有1000个.csv文件被存储。现在,我必须创建一个基于50个这些文件的数据框架,所以没有逐行加载,有任何快速方法可用吗?
我还想让file_name作为我的数据帧的名称?
我尝试了下面的方法,但它不起作用。
# List of file that I want to load out of 1000
path = "..."
file_names = ['a.csv', 'b.csv', 'c.csv', 'd.csv', 'e.csv']
for i in ra
我有一个带有一个小CSV文件的文件夹,其中包含目录:"/catmydata/2017/1/1,/catdata/2017/1/2“,每个文件夹都包含一堆CSV,其中包含CSV中每一行的猫适配器。
我想使用星星之火,分发加载并转换数据,并将其放入类似于我的源数据"/convertedcatdata/2017/1/1/adoptedcatjavaobjectbinaryfile,/convertedcatdata/2017/1/1/adoptedcatjavaobjectbinaryfile“的输出目录中的二进制JavaObject文件中。
我要使用的Java对象是:
public
我使用宏将CSV文件合并为一个。宏运行良好,但我有一个块,允许选择一个文件夹与CSV文件合并。
两个问题:
是否可以选择多个文件夹进行合并?(在一个文件夹中,我有很多CSV文件。)
A如何从哪里选择其他初始目录?我需要使用来自服务器的文件夹。
代码块:
'Browse to the folder with CSV files
Set oApp = CreateObject("Shell.Application")
Set oFolder = oApp.BrowseForFolder(0, "Select folder with CSV files