文章/答案/技术大牛

发布

社区首页 >问答首页 >我希望在执行delete操作时降低bigquery中的查询成本

问我希望在执行delete操作时降低bigquery中的查询成本
EN

Stack Overflow用户

提问于 2020-07-28 20:14:56

回答 1查看 115关注 0票数 0

详细地说，

我在bigquery中有一个名为tableA的表，其中有一个名为date_key (整型)(大小为500G)的分区列。我希望每天删除基于date_key列的数据，以保持数据质量。

以下是我尝试执行以下操作的关键点：

delete from tableA where date_key in (20200729);

查询成本是2.5 gb，因此我在分区列上执行delete操作，我对此很满意

因此，这里出现了应该动态传递日期键的问题，所以我编写了一个子查询来传递date_key，如下所示

delete from tableA where date_key in (select distinct date_key in stg_tableA)--which will give you 2020029 as output from the subquery

在这种情况下，查询成本是500 GB，奇怪，不知道为什么？

我已经尝试过设置变量，但它的代码也不起作用：

--declare a,b int64;

DECLARE a DEFAULT (select distinct date_key from stg_tableA);

delete from TableA where date_key in(a)

我尝试过这种方式，因为当我硬编码date_key值时，它是有效的--声明a，b int64；

DECLARE a DEFAULT 20200727;

delete from tableA where date_key in(a)

google-cloud-platform

google-bigquery

回答 1

Stack Overflow用户

发布于 2020-07-29 05:32:31

声明一个变量应该可以。您看到的估算成本来自于预演脚本。在模拟运行中，所有脚本变量都不会被设置，因此不会发生分区修剪。这是设计好的。当您实际运行脚本时，该变量将被设置为第一个查询的值，并且分区修剪应该在第二个查询中发生。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/63142103

复制

Arcgis中图像裁剪

arcgis google kml tools

使用arcmap对数据进行剪裁,Arcgis中的裁剪分为很多种，有矢量裁剪矢量，矢量裁剪栅格，栅格裁剪栅格。本文主要操作，掩膜裁剪（矢量裁剪栅格）和clip 裁剪。

Twcat_tree

2023/01/18

2.5K0

在 Linux 终端调整图像的大小

linux 图像处理

ImageMagick 是一个方便的多用途命令行工具，它能满足你所有的图像需求。ImageMagick 支持各种图像类型，包括 JPG 照片和 PNG 图形。

用户4988085

2021/09/14

4.9K0

Visio如何调整锁定图像大小

其他

在Visio中，比如模板中的UML类图，是不可调整大小的，这可能给我们设计图片带来了一些不便之处，如下图：可以看到其边框是显示锁定状态无法修改的，当我们在左下角修改器长宽时，也会出现不可修改的情况。

码农阿宇

2018/04/18

4.8K0

图像裁剪

dpi png

PNG (460, 460) RGB {'srgb': 0, 'gamma': 0.45455, 'dpi': (96, 96)} None

裴来凡

2022/05/29

1.8K0

在 React 中缩放、裁剪和缩放图像

javascript css react 编程算法 https

在本文中，我们将了解如何使用 Cropper.js 在 React Web 应用中裁剪图像。尽管我们不会将这些图像上传到远程服务器进行存储，但是很容易就能完成这个任务。

疯狂的技术宅

2020/02/26

6.7K0

图像随机裁剪

算法

算法：图像随机裁剪是从1张图像随机裁剪200张图像，裁剪出图像的大小为 60x60，IoU大于等于th=0.5的裁剪框用红色标出，其它裁剪框用蓝色标出，IoU比对原始区域用绿框标出。

裴来凡

2022/05/29

1.6K0

图像任意裁剪

网络安全

算法：图像任意裁剪是将图像裁剪成若干任意大小图像。文献：LHL, 李红林. (2011). 基于投影法实现矩形窗口的任意曲线裁剪 random clipping of curves in rectangular windows based on the projection method. 云南民族大学学报:自然科学版, 20(2). Kurtz, B. D. , & Claiborne, S. J. . (1999). Efficient method for clipping numerous objects against an arbitrary clipping path. US. 链接：https://www.gaitubao.com/

裴来凡

2022/05/29

2.2K0

CSS 3.0中裁剪图像的特效

object position 特效

在有CSS 3.0之前裁剪图片实现也是颇有难度的，现在我们有了两个非常方便简单的属性可以实现裁剪，那就是object-fit和object-position，这两个属性可以让我们改变图片的大小，但是不影响图片的长宽比，利用它我们可以实现一个如下的特效。

越陌度阡

2020/11/26

1.2K0

图像主体裁剪

https 网络安全

import cv2 import numpy as np image=cv2.imread('C:/Users/xpp/Desktop/Lena.png') img=cv2.cvtColor(image,cv2.COLOR_BGR2GRAY) ret,thresh=cv2.threshold(img,230,255,cv2.THRESH_BINARY_INV) contours,hierarchy=cv2.findContours(thresh,cv2.RETR_EXTERNAL,cv2.CHAIN_

裴来凡

2022/05/29

1.4K0

几何变换--图像裁剪

编程算法 fpga

几何变换包括：缩放、旋转、平移等。这些变换一般用于校正图像处理引起的空间失真，或者通过将图像配准到一个预定义的坐标系统中用于规范化该图像（例如，将一幅航拍图像配准到一个特定的地图投影中，或者在立体视觉中对两幅互相配对的图像进行整形，使得行与外极限）。

FPGA开源工作室

2019/10/29

1.7K0

图像明暗调整

算法

算法：图像明暗调整是检测画面亮度和调节画面亮度与对比度。数字图像 f(x,y) = i(x,y) r(x,y) ，如果灰度值在[0,255]之间，则f值越接近0，亮度越低，f值越接近255，亮度越高。

裴来凡

2022/05/29

3920

调整图像大小的三种插值算法总结

编程算法 opencv

这种类型的插值是最基本的。我们简单地将最近的像素插值到当前像素。假设，我们从0开始索引像素的值。下面2x2图像的像素如下:{' 10 ':(0,0)，' 20 ':(1,0)，' 30 ':(0,1)，' 40 ':(1,1)}

deephub

2021/07/01

3K0

人工智能系统可以调整图像的对比度、大小和形状

神经网络

人工智能(AI)和艺术并没有你想象的那么对立。事实上，智能系统已经在与艺术家合作，帮助艺术家创作歌曲，制作油画作品，以及制作彩色标识。现在，一名软件开发人员利用人工智能的生成能力来操纵图像中的对比度、颜色和其他属性。

AiTechYun

2018/12/29

1.9K0

CNN中各层图像大小的计算

图像处理 tensorflow

本文介绍了如何利用卷积神经网络（CNN）进行图像分类。首先介绍了CNN的基本原理和结构，然后通过一个具体的例子演示了如何使用CNN进行图像分类。最后，本文阐述了如何使用Keras框架实现CNN，并通过一个MNIST数据集的例子进行了演示。

GavinZhou

2018/01/02

2.6K0

python图像处理-图片裁剪

游戏

本系列课程是针对无基础的，争取用简单明了的语言来讲解，学习前需要具备基本的电脑操作能力，准备一个已安装python环境的电脑。如果觉得好可以分享转发，有问题的地方也欢迎指出，在此先行谢过。

叶子陪你玩

2020/03/12

1.7K0

「Adobe国际认证」Adobe Photoshop调整裁剪、旋转和画布大小

图片标签

可以在扫描仪中放入若干照片并一次性扫描它们，这将创建一个图像文件。“裁剪并修齐照片”命令是一项自动化功能，可以通过多图像扫描创建单独的图像文件。

IT胶囊

2021/06/16

2.6K0

jQuery 图像裁剪插件Jcrop

jquery php 图像处理

Jcrop简介 Jcrop 是一个功能强大的 jQuery 图像裁剪插件，结合后端程序（例如：PHP）可以快速的实现图片裁剪的功能。 Jcrop是一款免费的软件，采用MIT License发布。

静默虚空

2018/01/05

1.9K0

PHP 图像居中裁剪函数

php image resize target 函数

使用方法：image_center_crop(source, width, height, target)；

用户8099761

2023/05/11

1.5K0

图像阴影调整

算法

import cv2 import numpy as np def max_filter(image,filter_size): empty_image=np.full((image.shape[0]+(filter_size//2)*2,image.shape[1]+(filter_size//2)*2),-1) #原始图像填充进矩阵 empty_image[(filter_size//2):empty_image.shape[0]-(filter_size//2),(filt

裴来凡

2022/05/29

5090

点击加载更多

相似问题

调整图像大小和裁剪图像

图像裁剪和调整大小

调整图像大小和裁剪

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

问我希望在执行delete操作时降低bigquery中的查询成本
EN

回答 1

Stack Overflow用户

调整图像大小和裁剪图像

调整图像大小和裁剪图像

调整图像大小和裁剪图像

图像裁剪和调整大小

调整图像大小和裁剪

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问我希望在执行delete操作时降低bigquery中的查询成本EN

回答 1

Stack Overflow用户

调整图像大小和裁剪图像

调整图像大小和裁剪图像

调整图像大小和裁剪图像

图像裁剪和调整大小

调整图像大小和裁剪

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问我希望在执行delete操作时降低bigquery中的查询成本
EN