本教程通过一个制作珠江三角洲模拟域(空间分辨率:3km)的排放清单来讲解以下两个程序的运行流程。
由于WRF自带最高分辨地形数据是30s的,约900m。要使用更高分辨率的地形数据需要自己制作、添加。下面简要介绍一下下载、制作和使用流程,仅供参考。
MEIC清单仅为中国境内的排放清单,但是在模拟全国污染场的案例中,中国周边国家的排放是不容忽视的,因此需要通过MIX清单来对MEIC进行一个补充。
WRF中地形数据(海拔高度)分辨率最高为30s,差不多就是900m,当模型空间分辨率较高时,比如在低于1km的情况下,经常会考虑增加地形高度的分辨率,这里使用美国的SRTM( Shuttle Radar Topography Mission)的DEM数据,这个数据覆盖了全球陆地,在美国本地分辨率为1s,其他地区为3s(约90m),因此使用这个更高分辨率数据来测试一下。
前言 前面介绍过了如何在 ETL 的时候更新 Layer,使得能够在大数据量的时候完成 ETL 操作,同时前两篇文章也介绍了 COG 以及如何在 Geotrellis 中实现 COG 的读取。本文介绍如何在进行 COG 方式 ETL 的时候实现 Layer 的更新。 一、实现 1.1 原理分析 其实实现 COG 方式的 Layer 更新就是把上述两种方式结合起来,唯一的区别在于普通的 ETL 操作更新的时候需要合并的是同一个 Layer 下编号相同的瓦片,而 COG 方式的 ETL 更新的时候需要合并的是同
由于将geotiff文件转为WRF所需的二进制文件,需要在服务器上编译安装convert_geotiff。
前言 Geotrellis 已经迭代到了 2.0 版本(截止写作此文时为 2.0.0-SNAPSHOT 版),2.0 版多了很多新的特性,其中最重要的应该就是 COG,COG 是什么鬼?刚看到时我也是一脸懵,认认真真的学习了一天,稍有体会,本文对此进行简单介绍。 一、COG 简介 1.1 什么是 COG COG 是 Cloud Optimized GeoTIFF's 的简称,从这个名字就能大概猜出他的意义——云端优化的 GeoTIFF。GDAL 官方 WIKI 定义如下: A cloud optimize
在这个教程中,我们将学习如何使用three.js渲染土耳其最高的Ağrı山脉的数字高程模型(DEM)数据,使用的工具包括Three.js、geotiff、webpack和QGIS。
前言 这两天帮一个朋友处理了些 nc 数据,本以为很简单的事情,没想到里面涉及到了很多的细节和坑,无论是“知难行易”还是“知易行难”都不能充分的说明问题,还是“知行合一”来的更靠谱些,既要知道理论又要知道如何实现,于是经过不太充分的研究后总结成此文,以记录如何使用 python 处理 nc 数据。 一、nc 数据介绍 nc 全称 netCDF(The Network Common Data Form),可以用来存储一系列的数组,就是这么简单(参考https://www.unidata.ucar.edu/so
Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html 目录 前言 BUG说明 解决方案 总结 一、前言 在上一篇文章中介绍了一个自己写程序过程中的BUG,并提出质疑是否是Geotrellis的BUG,又经过几天的折腾之后,最终可以明确证明这个BUG肯定是Geotrellis造成的,现记录之。 二、BUG说明 当我们将一个Byte有符号类型的Getiff数据使用Geotrellis(版本0.10.1
Segment-Geospatial包的灵感来自Aliaksandr Hancharenka[2]创作的Segment-anything-eo[3]存储库。为了方便对地理空间数据使用分段任意模型 (SAM),我开发了segment-anything-py[4] and segment-geospatial[5]Python 包,这些包现在可以在 PyPI 和 conda-forge 上使用。我的主要目标是简化利用 SAM 进行地理空间数据分析的过程,使用户能够以最少的编码工作来实现这一目标。我从segment-anything-eo[6]存储库中改编了segment-geospatial 的源代码,其原始版本归功于Aliaksandr Hancharenka。
本文介绍在Anaconda环境下,安装Python中的一个高级地理空间数据分析库whitebox的方法。
前言 传统上我们需要先将Tiff中存储的影像等数据先切割成瓦片,而后再对外提供服务。这样的好处是服务器响应快,典型的用空间来换时间的操作。然而这样造成的问题是空间的巨大浪费,一般情况下均需要存储1-18级左右的瓦片数据。我一直在思考有没有办法不存储瓦片而直接发布TMS服务,当然这样响应速度肯定是要受一点影响,但是基于Geotrellis的分布式计算对这一点提供了巨大帮助,大大缩短了瓦片临时切割(存储于内存中)所用的时间。而且这样不仅仅是节省了存储空间的问题,何况我们有时可能只是为了查看数据情况(大量的Tif
mac用起来还是有很多不方便的地方,app很局限也都不是很好用,mac自带的截图工具,格式是tiff,需要转成jpg才能在代码中使用,利用python代码很轻松做到了这一点:
GIS数据有很多种分类方式,按照数据结构可分为矢量数据、栅格数据、DEM数据,还可以再细致的分为数据库格式、点云格式、3D格式,也可以按照各厂家和标准类别来分等等。
Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html 目录 前言 问题探索 采样说明 实现方案 总结 一、前言 上一篇文章讲了通过Geotrellis导出自定义的Tiff文件(见geotrellis使用(十四)导出定制的GeoTiff),但是实际中有时会有BUG,就是数据值发生非常明显的变化,理论上只进行了切割、重投影操作,数据值不应该会发生特别大的变化。今天认认真真查找了下问题,发现是因为采样方式造成的。 二
上文《GeoServer发布地图服务 》介绍了如何利用GeoServer发布WCS服务,那么如果我有很多数据需要进行发布,这样利用GeoServer提供的UI界面进行操作显然很不显示。那能不能利用GeoServer提供的API进行操作呢?GeoServer提供了REST API方便我们利用代码进行操作。用户手册中提供了如下语言或方法进行操作:cURL,PHP,Python,Java和Ruby。
1. https://bitbucket.org/osrf/gazebo_tutorials/raw/default/dem/files/
前面写了几篇博客介绍了Geotrellis的简单使用,具体链接在文后,今天我主要介绍一下Geotrellis在数据处理的过程中需要注意的细节,或者一些简单的经验技巧以供参考。 一、直接操作本地Geotiff 如果不想将tiff数据切割成瓦片存放到集群中,也可以直接使用Geotrellis操作本地geotiff文件,可以直接使用SinglebandGeoTiff读取单波段的tiff,使用MultibandGeoTiff读取多波段tiff。 val geotiff = SinglebandG
scikit-image包含一下相关子模块,这里我们使用io模块实现格式转换,输入的geotiff具有很多个波段。
ABoVE: LVIS L3 Gridded Vegetation Structure across North America, 2017 and 2019
今天在使用Google Earth Engine处理数据进行导出为GeoTIFF到Google云盘的时候,发现下载下来以后的图像值全部为空(NAN)。
xarray 中的DataArray 和 Dataset 对象除了上节介绍过的直接手动创建之外,更多的情况下却是通过其他数据储存结构转换和存储在硬盘中的数据存储文件读取而来。
世界住区足迹和演变¶。 2015年世界住区足迹¶。 2015年世界住区足迹(WSF)是一个10米(0.32角秒)分辨率的二进制掩码,概述了2015年全球住区范围,是通过联合利用多时相哨兵一号雷达和陆地卫星8号光学卫星图像得出的。
前言 在上一篇文章中我讲了如何直接将Geotiff文件发布为TMS服务,在其中只讲了单幅Geotiff的操作,其实单幅这种量级的数据对Geotrellis来说就是杀鸡焉用牛刀,Geotrellis针对的是大数据量的操作。在进行完单幅Geotiff的操作后,就去出差了一周,这一周也没闲着,稍有空隙便在思索这个问题,并抽空写那么两行,回来一调试果然可以,于是就有了本文。下面我来介绍如何对大量Geotiff实时进行TMS服务化操作。 一、总体效果 上次使用的是北京首都国际机场影像数据,这次我又下载了部分北京市区影
HDF(Hierarchical Data Format)由NCSA(National Center for Supercomputing Applications)设计提出,官方对其定义是:HDF5 is a unique technology suite that makes possible the management of extremely large and complex data collections.
ASTER全球数字高程模型(GDEM)v3 ASTER GDEM的第一个版本于2009年6月发布,是利用Terra上的ASTER仪器收集的立体对射图像生成的。ASTER GDEM的覆盖范围从北纬83度到南纬83度,包括了地球上99%的陆地。
今天在笔记本(macOS平台)上折腾了一下如何搭建GDAL的Java开发环境。虽然GDAL的Python接口更好用,但是有时候需要协同使用一些Java库的时候,也必须使用Java版本的GDAL。
要上传和管理地理空间数据集,请使用代码编辑器中的资产管理器。资产管理器位于代码编辑器左侧的资产选项卡上(图 1)。有关上传栅格(图像)数据的说明,请参阅导入栅格数据,有关上传表格数据的说明,请参阅导入表数据。您的资产最初是私有的,但可能会与他人共享。有关详细信息,请参阅 共享资产部分。
版权声明:本文为博主原创文章,转载请注明原文出处! https://blog.csdn.net/T_27080901/article/details/82194108
该产品由原始观测数据(0 级)通过数据编辑(如位重新调整和添加轨道信息)生成。它是重建的、未经处理的信号数据,带有辐射和几何校正系数(附加但未应用)。
如果您需要更多的灵活性上传图片到谷歌地球引擎(EE),比 代码编辑器UI 或upload在命令 “earthengine”命令行工具 提供,您可以通过描述使用被称为一个JSON文件“的图片上传这么做manifest”并使用upload image --manifest命令行工具的命令。
之前简单介绍了geotrellis的工作过程以及一个简单的demo,最近在此demo的基础上实现了SRTM DEM数据的实时分析以及高程实时处理,下面我就以我实现的上述功能为例,简单介绍一下geotrellis的数据处理过程。 一、原始数据处理 geotrellis支持geotiff的栅格数据(矢量数据还未研究),可以将geotiff直接缓存至hadoop框架下的Accumulo NOSQL数据库,并建立金字塔等,具体处理过程在geotrellis.spark.etl.Etl类中。具体代码如下: 1 de
深度学习已经占据了解决复杂问题的大多数领域,地理空间领域也不例外。文章的标题让您感兴趣,因此希望熟悉卫星数据集 ; 目前,Landsat 5 TM。机器学习(ML)算法如何工作的知识很少,将帮助快速掌握这本动手教程。对于那些不熟悉ML概念的人,简而言之,它是建立一个实体的一些特征(特征或X)与其他属性(值或标签或Y)之间的关系 - 提供了大量的例子(标记数据) )到模型,以便从中学习,然后预测新数据(未标记数据)的值/标签。这对于机器学习来说已经足够理论了!
这里和GEE中的python一样,我们首先要进行SDK的导入,然后进行认证和初始化。
目录 前言 整体介绍 前台界面 后台控制 总结 一、前言 之前Geotrellis数据导入集群采用的是命令行的方式,即通过命令行提交spark任务来ingest数据,待数据导入完毕再启动主程序进行数据的调用。这样造成的一个问题就是数据导入与数据处理不能无缝对接,并且只能由管理员导入数据导入数据流程也很麻烦,用户想要导入自己的数据几乎不可能。本文为大家介绍一种自动数据导入方式——通过浏览器前端界面实现交互式数据导入。 二、整体介绍 通过浏览器方式导入,摆脱了SHELL的限制并且可交
Geoserver默认支持的栅格数据源比较少,包括ArcGrid,GeoTiff,WorldImage,ImageMosaic等,是不支持Erdas Img格式的栅格数据源的,因此,为了能够让Geoserver支持发布Erdas Img格式的数据源,需要用GDAL的插件对Geoserver进行扩展,本文讲述如何在Geoserver中配置并支持Erdas Img格式的数据源。
ABoVE: Fractional Open Water Cover for Pan-Arctic and ABoVE-Domain Regions, 2002-2015
前言 上一篇中简单介绍了 COG 的概念和 Geotrellis 中引入 COG 的原因及简单的原理,本文为大家介绍如何在 Geotrellis 中使用 COG 来写入和读取 GeoTIFF数据。 一、写入数据——ETL 1.1 实现方案 其实这与之前的普通 ETL 操作在概念上是相似的,都是将原始数据转换成系统能用的数据的过程,这是宽泛的 ETL 的定义。在 Geotrellis 中实现很简单,与之前代码基本一致,只要切换一下 writer 类型以及最后建立金字塔额时候略有不同。实现方案如下: val i
Landsat 卫星计划由美国地质勘探局 (USGS) 和美国国家航空航天局 (NASA) 管理,从 1972 年起至今,一直致力于采集覆盖整个地球的图像。这个海量资料档案库包含超过四百万图像,全部可通过公共下载渠道获得 - 但是对用户来说,找到最合适的图片是一大挑战。在本课程中,您作为一名城市规划师,正在研究东南亚人口稠密的城邦岛屿新加坡,并且您正在寻找支持发展规划项目的影像。使用 USGS Global Visualization Viewer (GloVis) 应用程序,您将标识并下载代表新加坡的 Landsat 图像。
在项目中往往使用地图作为底图(比如 天地图卫星图等),再其上覆盖你的通过geoserver发布自定义图层。本文记录了我的实现方法。
ABoVE: AirSWOT Ka-band Radar over Surface Waters of Alaska and Canada, 2017
很多时候我们需要注意导出的错误信息,这里我们看到首先第一个错误就是我们选择波段的时候并没有按照指定的波段名称来进行,同时,我们不能直接导出影像集合,所以这里在导出的过程中又出现了将影像集合导出的低级错误。
WRF中土地利用类型最高分辨率是30s,且主要分为MODIS和USGS两种,其中MODIS数据是从2000年(有的也说是2001年)的MODIS卫星遥感数据,按照IGBP20分类标准得到的,总共有21类(含第21类—Lake),USGS数据则是1992~1993年的,总共分为24类,具体类型可以参考userguide,这些数据时间都比较久远了,如果进行最新模拟的话相差20年了,所以进行了替换。
目录 前言 变化情况介绍 总结 一、前言 之前版本是0.9或者0.10.1、0.10.2,最近发现更新成为1.0.0-2077839。1.0应该也能称之为正式版了吧。发现其中有很多变化,在这里为大家简单介绍。 二、变化情况介绍 2.1 数据导入变化 之前数据导入参数基本都要写在命令行,刚查看之前写的博客发现没有介绍数据导入的,只有一个老版的调用本地数据的,本文就在这里简单介绍Geotrellis的数据导入。 Geotrellis可以将数据(Tiff)从本地、HDFS
SNAP软件使用Java语言开发,提供了Python接口snappy,官方教程中也多以Python接口进行示范。但是我在使用Python接口过程中,发现并不是很好用,你必须要同时懂Java语言才能很好地使用Python接口,在IDEA中使用Python接口的代码基本上没有提示,报错了也是Java的错误提示。而且,Java本来是运行在虚拟机上的语言,效率不高,再用Python包一层,更加降低了运行效率。
北极-北方脆弱性实验(ABoVE)开发了两种标准化空间数据产品,以加快研究活动的协调,促进数据的互操作性。ABoVE 研究域包括美国阿拉斯加的北极和北方地区,以及北美加拿大的西部省份。在该域内指定了核心和扩展研究区域,并以矢量表示法(Shapefile)、栅格表示法(空间分辨率为 1,000 米的 GeoTIFF)和 NetCDF 文件的形式提供。已开发出一个标准参考网格系统,覆盖整个研究区域,并延伸至北美东部。该参考网格以嵌套多边形网格的形式提供,空间分辨率分别为 240 米、30 米和 5 米。5 米网格是第 2 版中新增的网格。请注意,所有 ABoVE 产品的指定标准投影是加拿大阿尔伯斯等面积投影。 该数据集包含五个数据文件:(1) 一个形状文件(压缩为 .zip),包含核心研究区和扩展研究区的矢量图;(2) 一个形状文件(压缩为 .zip),包含 240 米、30 米和 5 米空间分辨率的嵌套标准参考网格;(3) 以 .kmz 格式提供的网格数据;(4) 一个形状文件(压缩为 .zip),包含核心研究区和扩展研究区的矢量图。kmz 格式的网格数据;(4) 一个以 1,000 米像素分辨率表示核心研究区和扩展研究区的栅格的 GeoTIFF 文件;(5) 一个核心研究区和扩展研究区的 NetCDF 文件,供国际陆地模型基准 (ILAMB) 建模环境使用。
有没有觉得用GDAL的Python绑定书写的代码很不Pythonic,强迫症的你可能有些忍受不了。不过,没关系,MapBox旗下的开源库Rasterio帮我们解决了这个痛点。
目录 前言 图像渲染 总结 参考链接 一、前言 前面几篇文章讲解了如何使用Geotrellis进行数据处理、瓦片生成等,今天主要表一下如何使用Geotrellis进行栅格渲染。 昨日完成了两种数据叠加生成瓦片的工作,然而在进行瓦片渲染的时候始终得不到想要的漂亮的颜色效果,由于这块代码是从之前Geotrellis官方DEMO中拷贝过来的,从未进行深究,所以折腾半天也没能实现,无奈那么就看源代码吧,在源代码中找到了这样一篇文档(rendering.md),里面详细讲述了在系统中如何直
下面的例子打开一副GeoTIFF影像,输出了影像的一些信息,然后遍历了所有波段,输出波段的一些信息
领取专属 10元无门槛券
手把手带您无忧上云