文章/答案/技术大牛

发布

社区首页 >问答首页 >ddproperty历史数据采集？

问ddproperty历史数据采集？

提问于 2022-05-10 07:27:48

回答 0关注 0查看 86

之前从一个国外站看到过抓取泰国房产数据的抓取，https://www.barkingdata.com/?crawlers/ddproperty-crawler.html

不知道国内有没有谁搞过这个，要爬取18年之前的历史数据

爬虫

回答

成为首答用户。去写回答

python 股票历史数据(python获取股票历史数据)

api https java html 网络安全

大家好，又见面了，我是你们的朋友全栈君。因为最近需要用到股市的各种指数数据，刚开始想的是从同花顺等交易软件直接导出，结果发现要用滚轮滚到最开始的日期，这过于繁琐了，我对于这种重复性的劳动一向不耐烦，而且这种方法在以后每日更新的时候也很不方便。所以我把视线转向了网上的各种api。网上比较普遍的主要有两种，一种是新浪的api，一种是雅虎的api。新浪的api很方便，速度也很快，不过就网上的资料而言，似乎只能提取当天的数据。雅虎的api功能更齐全，但是连接速度比较慢，有时候一个连接请求都要10多秒甚至20

全栈程序员站长

2022/08/01

2K0

activiti（四）历史数据

activiti import list public 管理

周杰伦本人

2023/10/12

2420

[股票预测]股票历史数据获取[通俗易懂]

anaconda https java 网络安全

通过参数设置获取日k线、周k线、月k线，以及5分钟、15分钟、30分钟和60分钟k线数据。本接口只能获取近3年的日线数据，适合搭配均线数据进行选股和分析。

全栈程序员站长

2022/09/12

1.6K0

中国气象历史数据以及中国空气质量历史数据

gis pm2

数据来源于王晓磊老师的主页，示例如下，点击https://quotsoft.net/air/即可跳转查看和下载。

自学气象人

2022/11/14

3.9K0

Zabbix监控历史数据清理

zabbix 云数据库 SQL Server unix sql 数据库

Zabbix监控运行一段时间以后，会留下大量的历史监控数据，Zabbix数据库一直在增大；可能会造成系统性能下降，查看历史数据室查询速度缓慢。

星哥玩云

2022/07/25

1.8K0

mt4历史数据回测_mt410年历史数据

java html https http 网络安全

这个网站只能下载2001年-当前时间前一个月的数据，还是挺全的。但是下载下来之后好像是一分钟图的，妈蛋其实我想要1小时图的EURUSD历史数据。

全栈程序员站长

2022/09/21

6460

Python获取股票历史数据

编程算法金融

闲了的时候还是要学一点金融知识，先不说金融懂多少，但是通过金融的目的来编程其实也还行。总之美好的一天不要浑浑噩噩的度过。我觉得都是值得回忆的美好岁月。我们都知道股票市场有很多交易数据，有人亏损有人盈利。但是赚的人肯定是赚了很久了。赔的人也许会一直亏，但也可能厚积薄发。作为一只初来乍到的程序员，咋没有那种科班背景，所以很多时候唯一能派上用场的的好好学习。那么最基础的肯定需要知道基本知识吧，因为我本人是一只目的和好奇心驱动的猿，所以让我系统的学习某个专业会让我很难接受，主要是学过之后不一定能够形成系统的认知能力。可能效果总比我这样凭感觉的好的多的多。后期再看情况，先不扯这些话题。今天的目标就是记录一下我是如何获取股票数据的。没错我用的是开源的组件，没有写爬虫。因为股票数据是有专业的组织开放的api，里边比较好的是tushare和baostack。然后之前使用tushare还好，还是自从他们升级之后就需要积分了，然后发现自己的积分不够。所以我采用了baostack，但是baostack的问题是“数据不全”。其实也不是数据不全，而是获取全部股票信息的时候返回的数据总是隔三差五。让我对此产生了怀疑。纠结之下发现tushare能够获取全部股票列表，然后我把之前baostack中没有返回的股票代码作为参数调baostack其实也是能返回数据的。那么就是baostack的rs=bs.query_stock_basic()接口的问题？反正已经呵呵哒了，所以我最终采用的策略是使用tushare获取上证和深证的股票，然后调用baostack获取股票的历史交易数据并保存到文件中。

写一点笔记

2020/08/25

3.9K0

新浪股票接口获取历史数据

json java https 网络安全

这两天做了一个调用新浪股票接口获取实时以及历史股票数据的应用，因为新浪没有公开关于其接口的官方文档，所以通过各种百度差了很多关于新浪股票接口的使用，不过大家基本都是转载或者直接复制，对于实时数据的获取讲的很详细，但是缺少获取历史数据的方法。

全栈程序员站长

2022/09/12

6.7K1

使用python获取基金历史数据

api app

有时候想赚钱的念头挺强烈，但是发现自己对金钱的兴趣不大。虽然很穷，但是没有专门研究过所以很多东西还停留在想一想的地步。可能是还没有体验到赚钱的快感或者说胆子太小还满足于余额宝那种万分收益2毛钱的幸福中，总之对自己的评价就是眼界太小。虽然意识到这一点了，但还是没有具体实践呀。写这篇文章的目的就是希望有专业的朋友看到这篇文章并且觉得我还行的话，带带我哦！

写一点笔记

2020/10/19

2.3K0

Zabbix历史数据处理办法

其他

SELECT TABLE_NAME AS "Table", round(((data_length + index_length) / 1024 / 1024), 2) AS Size_in_MB FROM information_schema.TABLES WHERE table_schema = 'zabbix' ORDER BY Size_in_MB DESC LIMIT 10;

三杯水Plus

2018/11/14

1.4K0

python新浪股票接口历史数据_实时数据与历史数据的区别_新浪股市接口

javascript https java 网络安全编程算法

大家好，又见面了，我是你们的朋友全栈君。用Python抓取新浪的股票数据新浪默认字段中的日期字段名是day。我个人认为这很不舒服。如果是小时数据或5分钟数据称为天，是不是不舒服?所以到日期的变化实

全栈程序员站长

2022/07/22

1.4K0

zabbix监控-清理zabbix 历史数据

zabbix 数据库云数据库 SQL Server

zabbix运行一段时间之后，会留下大量的历史数据，会发现zabbix的数据库一直在增大。运行3个月后笔者的数据库达到了5.7G，可能造成系统性能下降，查看历史数据时查询速度缓慢。 zabbix里面最大的表就是历史记录的表了，网上很多人都是写全部清空这些表的数据，其实我们可以按时间来删除里面的历史记录。

zhangdd

2018/08/01

3.7K0

Python 股票历史数据的获取

api https java 网络安全费用中心

获取股票数据的接口很多，免费的接口有新浪、网易、雅虎的API接口，收费的就是证券公司及相应的公司提供的接口。收费试用的接口一般提供的数据只是最近一年或三年的，限制比较多，除非money足够多。所以本文主要讨论的是免费数据的获取及处理。

全栈程序员站长

2022/09/12

3.6K0

VBA获取股票历史数据方法

https java 网络安全

RefreshStyle 取值如下：會指定在指定之工作表上加入或刪除列的方式，以容納查詢所傳回的記錄集中的列數。名稱值描述 xlinsertdeletecells: 1 插入或者刪除部分的列以符合新記錄集所需要的確實列數。 xlInsertEntireRows 2 在必要時插入完整的數列以容納任何溢位。不會從工作表刪除任何儲存格或列。 xlOverwriteCells 0 不在工作表中加入任何新儲存格或列。覆寫周圍儲存格中的資料以容納溢位。

全栈程序员站长

2022/09/12

1.7K0

几类历史数据沉淀的方案过渡

数据处理

从数据层面来理解，数据可以分为几个维度，比如流水型数据，状态型数据库，配置型数据。流水型数据的依赖最低，基本就是时间维度的扩展，所以从数据的安全角度来说，如果丢数据对业务的影响还是有限的，配置型数据是数据字典级别的，影响范围更是小很多。关键的就是状态型数据，这是非常核心的，因为只是标识状态的变化，如果换做一个场景，比如是金额，那这个维度的影响是很大的。从数据架构的角度来说，尽可能希望把一些状态型数据的变化，通过流水数据的方式来做一个历史沉淀，我们暂且成为历史数据吧。比如更新状态数据，余额为200

jeanron100

2018/04/17

1.4K0

全网URL采集工具，支持关键词采集，域名采集，联系人采集

tcp/ip php https 网络安全 jenkins

**今天介绍的这款全网URL采集工具可以运用于全网域名/网址/IP信息检索、指定关键词批量数据采集、SEO、网络推广分析、内容源收集，以及为各种大数据分析等提供数据支撑。**

小胡爱学习

2022/09/30

3K1

全网搜索引擎采集（msray）|URL采集|关键词采集|域名采集

搜索引擎存储数据分析 php tcp/ip

搜索引擎全网采集Msray-plus，是企业级综合性爬虫/采集软件。支持亿级数据存储、导入、重复判断等。无需使用复杂的命令，提供本地WEB管理后台对软件进行相关操作，功能强大且简单易上手!1：可从国内外多个搜索引擎批量采集用户导入的关键词对应的搜索结果(SERP数据)，并进行结构化数据存储与自定义过滤处理；2：可从用户提供的url种子地址，源源不断的自动爬取全网网站数据，并进行结构化数据存储与自定义过滤处理；3：可从用户提供的网站列表数据中，全自动的提取出网站联系方式信息，包括但不限于邮箱、手机/电话、Q

小胡爱学习

2022/10/17

1.9K1

【Z投稿】Zabbix使用Elasticsearch存储历史数据

Elasticsearch Service http https 网络安全 javascript

Zabbix 3.4.6版本开始支持历史数据存储到Elasticsearch, 适合数据量较大的用户。

Zabbix

2021/02/03

1.4K0

采集软件-免费采集软件下载

网站搜索引擎爬虫 seo php

怎么用免费采集软件让网站快速收录以及关键词排名，网站优化效果主要取决于各个页面权重高低，各个页面权重汇集在一起，网站优化效果才会更加明显，那么各个页面具体权重取决于哪些因素呢？接下来为大家分享一下自己的经验。

用户6632349

2022/03/03

1.9K0

【干货分享】HYDE：全球环境历史数据库

数据库 https sql 网络安全

HYDE是History database of the Global Environment的缩写。

遥感大数据学习

2022/09/20

3K1

相似问题

在线讲课如何切换电脑桌面和摄像头录制？

1805

谁有抖音采集软件？

1309

宝塔后台织梦采集侠无法采集提示空间不支持？

0571

振弦传感器无线数据采集仪频率采集范围多少Hz？

0101

flink-cdc采集TDSQL日志？

053

问ddproperty历史数据采集？

回答

在线讲课如何切换电脑桌面和摄像头录制？

谁有抖音采集软件？

宝塔后台织梦采集侠无法采集提示空间不支持？

振弦传感器无线数据采集仪频率采集范围多少Hz？

flink-cdc采集TDSQL日志？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问ddproperty历史数据采集？

回答

在线讲课如何切换电脑桌面和摄像头录制？

谁有抖音采集软件？

宝塔后台 织梦采集侠无法采集 提示空间不支持？

振弦传感器无线数据采集仪频率采集范围多少Hz？

flink-cdc采集TDSQL日志？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

宝塔后台织梦采集侠无法采集提示空间不支持？