1回答
我正在从s3读取拼图文件，这些文件是用Python和Pandas按日期划分的。有没有办法在我的路径中获取当前日期，而不是指定文件夹日期= 2020-09-11。这是我现在得到的。
浏览 20提问于2020-09-12得票数 0
回答已采纳
我有一个名为backup_audit的带有分区的备份表。我需要将当前月份的分区数据插入到另一个名为audit的非分区表中，该表没有任何数据。如何创建一个sql查询来获取当前月份的分区并加载到未分区的表中？
浏览 1提问于2014-02-27得票数 0
1回答
我的当前用例要求我发现给定的增量表中的所有当前分区。pyspark.sql.utils.AnalysisException: Database 'delta' not found;
与此相关的另一个问题是，SHOW PARTITIONS是会给出所有分区如果存在限制，那么发现/
浏览 4提问于2021-02-22得票数 1
我有一个KafkaConsumer并使用手动分区分配。为了分发分区，我定期使用consumer.partitionsFor(topicId)来检测添加的分区，因为作业将永远运行，我希望支持这种情况。但是，这总是返回分区的初始列表，除非我重新启动使用者。
是否有方法检测来自使用者的附加分区？投票或听什么？
浏览 2提问于2017-09-12得票数 0
回答已采纳
我正在使用版本2.3中的pySpark (在我当前的开发系统中不能更新到2.4 )，并且有以下有关的问题。由于我需要将一些Python-函数应用于我的数据，并且希望最小化开销，所以我的想法是至少将一组可处理的数据加载到驱动程序中，并将其作为Pandas-DataFrame处理。然后，我看到foreachPartition对分区中的所有数据应用了一个函数，因此允许并行处理。我现在的问题是：
当我通过foreachPartition应用Python-函数时，Py
浏览 0提问于2019-04-12得票数 4
回答已采纳
我正在尝试将数据插入到同一主题的不同分区。我在linux机器上使用python-kafka 1.4.3producer = KafkaProducer() 获取错误: AssertionError:无法识别的分区
浏览 408提问于2018-07-08得票数 0
我有一个带有分区键(UUID)的DynamoDB表，它有一些属性(如名称、电子邮件、创建日期等)。创建日期是项中的属性之一，其格式为YYYY DD。但是现在有一个需求更改--我必须根据创建的日期对其进行排序，并将整个数据(也就是说，我不能只将数据放在特定的分区上，而是以一种排序的方式从所有分区中获取整个数据)。我知道，作为DynamoDB，从所有分区获取数据并对其进行排序可能需要一些时间。我的问题是：
用
浏览 2提问于2021-02-03得票数 0
想知道是否可以通过Admin API或其他api获取每个topic partition的滞后值？找到了这个，但是想要检查是否有直接的api可用呢？
浏览 3提问于2022-05-28得票数 1
回答已采纳
我是C/C++的新手，我一直在使用python，我试图获取当前时间并对其进行分区，但我在使用ctime获取当前时间时遇到了问题。
浏览 1提问于2012-05-13得票数 0
回答已采纳
我的理解是，PartitionedTableAppender方法的DolphinDB Python可以实现并发数据写入。我试图将数据写入带有compo域的dfs表，其中分区由“日期时间”和“符号”的值决定。现在我想写的数据包括一天150个符号的记录。这就是我试过的：但是，似乎只能在partitionColName中指定一个分区列。如果我写错了，请告诉我。
浏览 15提问于2021-12-09得票数 0
2回答
earliest", "auto.commit.interval.ms": 10000}})
开始时显示所有当前偏移量和滞后，但运行几个小时后，一些分区(未收到任何新消息)的偏移量和滞后变得未知。如果有一条消息到达某个分区，而该分区的offset和lag未知，则offset和lag将重新可见，该消息将被消费。当有一些分区的当前偏移量和滞后未知
浏览 0提问于2018-10-02得票数 2
我对client.persist()和client.compute()之间的区别感到困惑，它们似乎(在某些情况下)都开始了我的计算，并且都返回异步对象，但在我的简单示例中并非如此：from dask.distributed import Clientclient = Client()
return args
x2 = client.persis
浏览 3提问于2017-01-23得票数 22
回答已采纳
1回答
我把大量的GPS数据存储在存储表中。每个分区最多可以达到100万个实体。插入到表中的每个GPS实体实际上都是按先前插入的数据顺序排列的，所以顺序很重要。有时，我需要执行以下查询：
我正在C#中使用SDK2.0版本。
浏览 0提问于2013-03-04得票数 3
回答已采纳
我正在从分区的和集群的BigQuery表中读取数据。准确获取'Bytes processed‘值的唯一方法是实际运行查询。现在，如果我使用Storage API的python客户端库读取相同的数据(从https://github.com/googleapis/python-bigquery-storage/blob/master/samples/quickstart.py获取设置)
浏览 63提问于2020-05-03得票数 0
回答已采纳
1回答
我使用的索引大小为2000万数据。我使用DataimportHandler将数据索引到SOLR中。现在，由于mysql查询变得非常繁重，执行完整索引需要花费很多时间。请建议一些技术，以加快索引过程。我在想，像pre-processing数据一样，在其他一些数据存储中，比如、Hadoop、，然后从那里索引什么的。如果我想存储预处理数据，请建议哪个数据存储是好的。
我使用MYSQL作为主数据库。
浏览 4提问于2015-09-09得票数 1
我已经使用AWS Glue Job (pySpark)设置了数据管道。该作业是由lambda函数触发的，并且在完成关系化之后，它将地块文件写入到日期分区。有几次，当我重新处理相同的日期分区时，我想在写入新文件之前删除以前写入的文件。有没有办法获得作业中的日期分区，以便可以先删除之前写入的文件？我知道glue作业会在某个地方维护日期分区，因为当我调用glueContext.write_dynamic_frame.from_options()时，它会正确地获取分区键。我需要
浏览 22提问于2019-12-23得票数 0
我希望构建一个数据库体系结构，使我能够在一个繁重的查询中获取上个月的所有数据，而不会出现当前月份新插入的性能问题。我想我可以按月做分区键。但是，据我所知，这个键将创建一个分区，例如六月，并将向其插入所有新数据。即使我有1000个节点，Cassandra也只需要使用一个节点来插入。我将失去性能的线条缩放。也许我是不对的，而Cassandra创建一个小分区取决于节点数量？
浏览 4提问于2022-06-01得票数 1
回答已采纳
我在带有分区的表上运行hive中的查询。java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)我已经检查过路径实际上有分区，我还使用了parquet tools jar来打开文件，并且看起来文件的数据格式是正确的。
浏览 2提问于2017-01-18得票数 3
当我运行python脚本从Cassandra获取数据时，
使用500万的限制，然后在22分钟的处理时间后显示记录。
浏览 3提问于2016-04-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
