问导出BigQuery数据以供使用python进行分析

EN

您的问题的答案主要取决于您的用例和您将要处理的数据的大小，因此没有一个绝对和正确的答案。

但是，对于BigQuery的使用，以及在您描述的场景中，它的一些特性对您来说是如何有趣的，您可能需要考虑一些要点。

让我快速地介绍一下你应该看的主要主题：

• 定价：将存储计费放在一边，集中于查询本身的成本(这与您的用例更相关)，BigQuery计费是基于每个查询处理的字节数。每个月有1TB的免费配额，从那时起，每TB处理数据的成本为5美元，是最低可测量单位10 TB的数据。
• 缓存：当BigQuery返回一些信息时，它被存储在一个临时缓存表中(如果您愿意的话)，并且它们被维护大约24小时，除了在这个文档链接中可能发现的一些例外情况(它们也是最好的--努力，所以可能也会发生早期的删除)。从缓存表返回的结果不计费(因为根据计费的定义，成本是根据处理的字节数计算的，访问缓存的表意味着没有处理)，只要您运行的是完全相同的查询。我认为这个特性值得一看，因为从您的句子“由于有多个脚本使用日常数据的子集”，可能(但只是在这里猜测)它适用于您的用例，只需执行一次查询，然后从缓存的版本中多次检索结果，而不必将其存储在其他任何地方。
• 分区： BigQuery提供了分区表的概念，它是按日期将表划分为较小的部分的表，这将使每天根据需要查询数据变得更加容易。
• 速度： BigQuery提供了一个实时分析平台，因此您将能够执行快速查询，检索所需的信息，并应用一些初始处理，您以后可以在定制的Python算法中使用这些处理。

因此，一般来说，我要说的是，您不需要将任何其他具有部分结果的数据库保留为BigQuery存储的一部分。在资源和成本效率方面，BigQuery提供了足够的特性，可以在本地处理数据，而不必处理数据检索中的巨大开销或延迟。但是，这最终将取决于您的用例以及您正在存储和需要同时处理的数据量；但总的来说，我将只使用BigQuery本身。