达克read_csv在熊猫不成功的地方失败
达克read_csv在熊猫不成功的地方失败
提问于 2017-08-18 01:08:44
尝试在熊猫的read_csv文件中使用达斯克的read_csv
dd.read_csv('data/ecommerce-new.csv')失败，但有以下错误：
pandas.errors.ParserError: Error tokenizing data. C error: EOF inside string starting at line 2该文件是使用scrapy的csv文件，其中有两列，一列带有url，另一列带有html(使用"作为分隔符char存储多行)。实际上，被熊猫解析意味着它的格式应该很好。
html,url
https://google.com,"<a href=""link"">
</a>"使sample参数大到足以在内存中加载整个文件似乎是可行的，这使我相信当试图推断数据类型时，它实际上失败了(还有这个问题应该已经解决了，https://github.com/dask/dask/issues/1284)
以前有人遇到过这个问题吗？有解决办法吗？
编辑:显然，如果文件在引号之间包含一个换行符，那么这显然是dask的read_csv中的一个已知问题。我找到了一个解决方案，就是把它全部读入记忆中：
dd.from_pandas(pd.read_csv(input_file), chunksize=25)这是可行的，但代价是并行性。还有其他解决办法吗？
回答 1
Stack Overflow用户
发布于 2020-01-29 10:24:19
对于2020年来到这里的人来说，dd.read_csv直接为引号内的新行工作。已经修好了。更新到Dask的最新版本(2.18.1和更高版本)以获得这些好处。
import dask.dataframe as dd
df = dd.read_csv('path_to_your_file.csv')
print(df.compute())给予，
html url
0 https://google.com <a href="link">\n</a>或
对于出于某种原因想要使用旧版本的人，如@mdurant所建议的，您可能希望将blocksize=None传递给dd.read_csv，这将以并行加载为代价。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/45752805
复制相关文章
![nvidia卸载程序失败_英伟达显卡驱动安装失败怎么办？[通俗易懂]](https://ask.qcloudimg.com/http-save/yehe-8223537/efbf9512ed1c75eb1e78594db9e282fd.jpeg)
点击加载更多
相似问题
熊猫/达克阅读半表格文本
熊猫的达克-数据分析。IndexError
达斯克map_partitions返回熊猫数据帧，而不是达斯克
达克达菲像熊猫一样慢慢加入
群居与应用熊猫对战达斯克
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
