Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Stata | 批量获取 UN Comtrade 数据

Stata | 批量获取 UN Comtrade 数据

作者头像
PyStaData
发布于 2021-04-13 06:39:55
发布于 2021-04-13 06:39:55
5.7K09
代码可运行
举报
文章被收录于专栏:PyStaDataPyStaData
运行总次数:9
代码可运行

数据库介绍

简介

官网:UN Comtrade Database[1]

UN Comtrade 数据库(United Nations International Trade Statistics Database)是全球最大且最为广泛应用的国际贸易数据库。每年全球超过 200 多个国家或地区分别以记录国(Reporter)角色向该数据库汇交他们与其他贸易伙伴国家(Partner)的年度(或月度)国际商品(或服务)贸易分类统计数据。汇交过程中,这些数据记录被基于联合国统计司统一标准规范执行分类编码(例如,HS,SITC,BEC)与估值(单位:美元)。

如何获取?

在 data[2] 页面(如上图)可以填入需要下载的信息,即可获取或者下载 CSV 格式的数据。

也可以通过调用 API 批量获取数据API 说明文档[3],构造请求所需主要参数如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
The UN Comtrade data extraction APIhttps://comtrade.un.org/Data/doc/api/

url = 'url="http://comtrade.un.org/api/get?'
maxrec = 50000  # maximum records returned: [1, 100000]
type= C         # trade data type
freq = A        # data set frequency, Annual or Monthly
px= H1          # classification
ps= now         # time period
r = all         # reporting area, 156: China
p= all          # partner area
rg= 2           # trade regime/trade flow
cc= TOTAL       # Classification codes
fmt= csv        # output format, json or CSV
uitoken = ''    # authorization code

Stata 获取

命令介绍

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
* 安装命令
ssc install comtrade, replace
help comtrade
comtrade list // List and download possible parameters

使用 API 请求数据的命令语法如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 comtrade [api] , hs(string) class(string) reportercountry(string)
             partnercountry(string) maxdata(string) type(string) freq(string)
             years(string) traderegime(string) [ imts(string) general options ]

各选项含义如下(文档写的比较清晰,我就直接搬运帮助文档了):

  • hs(string) sets the px parameter, the product classification scheme. Can be HS,H0, H1, H2,H4,H5, ST, S1, S2, S3, S4, BEC or EB02. See the webpage or Stata for valid parameters.
  • class(string) sets the cc parameter, the detailed product classification code. string can be: TOTAL (Total trade between reporter and partner, no detail breakdown), AG1, AG2, AG3, AG4, AG5, AG6 and ALL (all codes).AG1 - AG6 are detailed codes at a specific digit level. For instance AG6 in HS gives all of the 6-digit codes, which are the most detailed codes that are internationally comparable. Not all classifications have all digit levels available. See the classification specific codes for more information.
  • reportercountry(string) sets the r parameter, the reporter country. See list of valid reporters in web or in Stata.
  • partnercountry(string) sets the p parameter, the partner country. See list of valid partners web or in Stata
  • type(string) sets the type parameter, the trade data type. Values can be C for commodities and S for services.
  • freq(string) sets the freq parameter, the frequency. Valid values are A for annual and M for monthly.
  • traderegime(string) sets the rg parameter, the trade regime. Valid values are all for imports and exports, 1 for imports and 2 for exports. See valid parameters in web or Stata.
  • years(string) sets the ps parameter, the time period. Format can be YYYY, YYYYMM, now or recent.
  • imts(string) data fields/columns based on IMTS Concepts & Definitions. Can be 2010 for data complying with IMTS 2010 or orig for earlier versions. Is optional.
  • maxdata(string) sets the max parameter, maximum number of records to be returned.

可以输入 comtrade list 获取相应参数可填写的内容:

使用示例

需求:比如要获取以中国为报告国, 2020 年,向全球所有国家 Live animals 的出口数据

解析上面的需求,可以提取出 API 关键的参数:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
r = 156     # Reporters,China: 156
freq = A    # Annual
ps = 2019   # Periods (year)
p = all     # Partners
cc = "01"   # commodity codes
rg = 1      # Trade flows, 1:Import, 2: Export

因此,对应 Stata 的写法如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
comtrade api, maxdata(500) type(C) freq(A) hs(HS) ///
		years(2019) reporterc(156) partnerc(all) traderegime(1) ///
		cl(01)

运行上段命令之后,就可以获取需求的数据:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
  obs:            65
 vars:            43                          8 Apr 2021 21:43
----------------------------------------------------------------------------------------------------------------------
              storage   display    value
variable name   type    format     label      variable label
----------------------------------------------------------------------------------------------------------------------
AltQuantity     byte    %10.0g                AltQuantity v_
CIFValue        byte    %10.0g                CIFValue v_
FOBValue        byte    %10.0g                FOBValue v_
GrossWeight     byte    %10.0g                GrossWeight v_
IsLeaf          byte    %10.0g                IsLeaf v_
NetWeight       byte    %10.0g                NetWeight v_
TradeQuantity   byte    %10.0g                TradeQuantity v_
TradeValue      long    %10.0g                TradeValue v_
aggrLevel       str64   %64s                  aggrLevel v_
cmdCode         byte    %10.0g                cmdCode v_
cmdDescE        str64   %64s                  cmdDescE v_
cstCode         byte    %10.0g                cstCode v_
cstDesc         str64   %64s                  cstDesc v_
estCode         byte    %10.0g                estCode v_
motCode         byte    %10.0g                motCode v_
motDesc         str64   %64s                  motDesc v_
period          int     %10.0g                period v_
periodDesc      str64   %64s                  periodDesc v_
pfCode          str64   %64s                  pfCode v_
pt3ISO          str64   %64s                  pt3ISO v_
pt3ISO2         str64   %64s                  pt3ISO2 v_
ptCode          int     %10.0g                ptCode v_
ptCode2         byte    %10.0g                ptCode2 v_
ptTitle         str64   %64s                  ptTitle v_
ptTitle2        str64   %64s                  ptTitle2 v_
qtAltCode       byte    %10.0g                qtAltCode v_
qtAltDesc       str64   %64s                  qtAltDesc v_
qtCode          byte    %10.0g                qtCode v_
qtDesc          str64   %64s                  qtDesc v_
rgCode          byte    %10.0g                rgCode v_
rgDesc          str64   %64s                  rgDesc v_
rt3ISO          str64   %64s                  rt3ISO v_
rtCode          int     %10.0g                rtCode v_
rtTitle         str64   %64s                  rtTitle v_
_TotalRecords   str21   %21s                  TotalRecords value
_freq           str21   %21s                  freq value
_isOriginal     str21   %21s                  isOriginal value
_isPartnerDet~l str21   %21s                  isPartnerDetail value
_publicationD~e str21   %21s                  publicationDate value
_px             str21   %21s                  px value
_rDesc          str21   %21s                  rDesc value
_type           str21   %21s                  type value
_DownloadDate   str20   %20s
----------------------------------------------------------------------------------------------------------------------
Sorted by:

批量获取

有了前面的基础,批量获取无非是通过循环请求了,不做过多的讲解,以一个示例说明,如果要下载其他年份的数据更改选项中的参数即可。

需求:下载以中国为报告国,2017 ~ 2019 年间 02, 03, 04 产品向全球的进口数据

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
/*******************************************
year: 2017~2019
reporter: China (156)
partner: all
commodities: 02 03 04
tradeflow: Import
*******************************************/

* comtrade list // List and download possible parameters

global rep "156" //China
global p "all"

*Import
local rg "1"
local cc "02 03 04"

forvalues y = 2017/2019{
	foreach c of local cc{
		comtrade api, maxdata(500) type(C) freq(A) hs(HS) ///
		years(`y') reporterc($rep) partnerc($p) traderegime(`rg') ///
		cl(`c') save("`c(pwd)'/comtrade_Import_`y'`rg'`c'$rep.dta")
	}
}

参考资料

[1]

UN Comtrade Database: https://comtrade.un.org/data/

[2]

data: https://comtrade.un.org/data/

[3]

API 说明文档: https://comtrade.un.org/Data/doc/api/

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-04-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 PyStaData 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Stata 数据处理系列:日期与时间数据
Stata 提供了许多用于处理日期和时间数据的函数,这些函数能够帮助我们在字符和数值之间进行转换,以及将不同类型的时期数据进行彼此间的转换。相信大家都有这样的经历,当我们在 Excel 单元格中输入 “2022-07-20”后,单元格会自动转换成“2022年7月20日”,右键单击此单元格后可进一步选择 “设置单元格格式” ,并在众多格式选项中选择 “日期” 栏,最后选择按照我们的要求呈现出来的时期数据。此时 Excel 表格中的时期数据可被用于计算。
直立行走
2022/08/13
6.1K0
Stata 数据处理系列:日期与时间数据
Stata的绘图功能与绘图类型
本文是 #用 Stata 画个图#系列的第1讲, 是对 Stata 的画图功能与绘图类型的概括性介绍。
直立行走
2022/02/22
6.6K0
Stata的绘图功能与绘图类型
在 Stata 中基于世界银行开放数据库 API 开展跨国比较分析:wbopendata 命令详解
对全球发展和不断衍生出的全球问题而言,获取世界各国的数据资料似乎从未像今天这样重要过。联合国、世界银行和世界卫生组织等全球各大公共机构提供了海量数据供用户使用。其中,世界银行作为影响全球发展的核心机构之一,建立了“世行公开数据库”(World Bank Open Databases),整合了1960年以来覆盖256个国家或地区的各类数据,具体包含:世界发展指标(World Development Indicators)、全球发展融资(Global Development Finance)、非洲发展指标(Global Development Finance)、营商环境(Doing Business)、教育统计(Education Statistics)、企业调查(Enterprise Surveys)、性别统计(Gender Statistics)、健康营养和人口统计(Health Nutrition and Population Statistics)、千年发展目标(Millennium Development Goals, MDG)(注,MDG 现在已经被可持续发展目标代替)以及全球治理指标(Worldwide Governance Indicators)等诸多重要的数据资源。显然,作为用户,面对浩瀚如烟的数据,如何准确获取我们感兴趣的变量并快速实现数据分析便显得尤为重要。幸运的是,世行的开发人员为我们提供了一个能够在 Stata 中通过连接“世行公开数据库API”的方式实现数据调用的第三方命令,即 wbopendata。
直立行走
2022/05/19
2.6K1
在 Stata 中基于世界银行开放数据库 API 开展跨国比较分析:wbopendata 命令详解
批量爬取淘宝数据
此代码主要批量爬取淘宝IPad搜索页的商品图片网址,商品名称,商品价格,购买人数,商品店铺,店铺地址等数据
码农GT038527
2024/11/15
2340
批量爬取淘宝数据
无所不能的Embedding 1 - Word2vec模型详解&代码实现
word2vec是google 2013年提出的,从大规模语料中训练词向量的模型,在许多场景中都有应用,信息提取相似度计算等等。也是从word2vec开始,embedding在各个领域的应用开始流行,所以拿word2vec来作为开篇再合适不过了。本文希望可以较全面的给出Word2vec从模型结构概述,推导,训练,和基于tf.estimator实现的具体细节。完整代码戳这里 https://github.com/DSXiangLi/Embedding
风雨中的小七
2020/08/11
1.8K0
无所不能的Embedding 1 - Word2vec模型详解&代码实现
如何通过js将一base64编码的图片显示在html中
今天遇到了一个小问题,如何通过js将一base64编码的图片显示在html中?写了一个小的demo.
王小婷
2019/06/14
11.9K0
2022河南工控CTF
初赛成绩学生组第七,复赛成绩学生组第四(因为疫情复赛没有线下举办,挺可惜的,同时在比赛当天学校因疫情紧急封校,条件刻苦,大家一块努力打了一天,这个成绩是我们大家一块努力赢得的,尽管没有进总决赛,但是大家尽力了,下次继续加油!!!),放个复赛的成绩截图吧(这个截图是全排名)
故里[TRUE]
2023/04/20
3K0
2022河南工控CTF
使用Spiderpool为Pod添加Underlay网卡
本文介绍在一个 Calico 作为缺省 CNI 的集群,通过 Spiderpool 这一完整的 Underlay 网络解决方案,通过 Multus 为 Pod 额外附加一张由 Macvlan 创建的网卡,为集群提供Underlay数据面。
DifficultWork
2023/12/27
8590
Python爬取美团网数据这么简单,别再说你不会了哦!
美团网的爬虫整体其实比较简单,通过开发者模式找到真实数据请求地址后,用requests请求的数据格式是标准的json字符串,非常好处理。
可以叫我才哥
2021/08/05
14.3K1
伪元素的作用_获取iframe中的元素
获取网页源代码也获取不了这些动态渲染的数据 所以用简单的,但是有点麻烦的方法 使用selenium执行js,或者直接在浏览器里面执行js
全栈程序员站长
2022/11/04
7.5K0
伪元素的作用_获取iframe中的元素
Stata估算观测数据的风险比
在分析二元结果时,逻辑回归是分析师对回归建模的默认方法。随机研究中,当然很容易估计比较两个治疗组的风险比。对于观察数据,治疗不是随机分配的,估计治疗效果的风险比有点棘手。
拓端
2020/07/17
8200
Rust vs Go:常用语法对比(八)
题目来自 Golang vs. Rust: Which Programming Language To Choose in 2023?[1] 141. Iterate in sequence over
fliter
2023/09/05
3460
Rust vs Go:常用语法对比(八)
免杀工具Sharperner浅析
Sharperner是一款C#编写的自动化免杀工具,用来生成免杀的exe文件或者C++的loader,在antiscan.me上为全绿,效果可见一斑。
鸿鹄实验室
2021/07/06
1.1K0
免杀工具Sharperner浅析
hostapd.conf配置文档「建议收藏」
大家好,又见面了,我是你们的朋友全栈君。##### hostapd configuration file ############################################## # Empty lines and lines starting with # are ignored
全栈程序员站长
2022/09/03
2.4K0
通过指定的URL获取返回图片的BASE64编码
之前本来都是通过URL直接显示图片的,后来需求变更前端需要图片的base64,但是现在数据库只有URL,写了个方法通过URL获取图片的BASE64
彼岸舞
2021/05/18
3.1K0
Python学习——struct模块的pack、unpack示例
[work@db-testing-com06-vm3.db01.baidu.com python]$ python struct_pack.py
阳光岛主
2019/02/20
2.2K0
VUE和Spring Boot 实现加密
采用请求前拦截操作,encrypt(JSON.stringify(config.data))
ruochen
2021/12/16
3.5K0
DotNet加密方式解析--非对称加密
本文主要讲解了非对称加密算法的原理和分类,以及非对称加密算法在.NET中的应用。非对称加密算法是一种加密和解密过程使用不同的密钥的加密方法,它使用一对公钥和私钥。公钥是公开的,任何人都可以获取;而私钥是保密的,只有持有者才知道。非对称加密算法非常安全,但效率相对较低。在.NET中,可以使用System.Security.Cryptography命名空间中的类来处理非对称加密算法,例如RSA、DSA、ECC等。通过这些类,可以方便地实现非对称加密算法,并进行密钥交换、数字签名、加密和解密等操作。
彭泽0902
2018/01/04
2.7K0
DotNet加密方式解析--非对称加密
获取base64编码格式的图片大小[通俗易懂]
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/151123.html原文链接:https://javaforall.cn
全栈程序员站长
2022/09/06
2.1K0
Pandas 2.2 中文官方教程和指南(六)
对于可能来自Stata的潜在用户,本页面旨在演示如何在 pandas 中执行不同的 Stata 操作。
ApacheCN_飞龙
2024/05/24
3620
推荐阅读
相关推荐
Stata 数据处理系列:日期与时间数据
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验