首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

常用15个数据源网站

公众号后台回复“图书“,了解更多号主新书内容 作者:森煦 来源:Python大数据分析 前面介绍过实用效率小工具,真的帮了很多忙,这次给小伙伴们再种草一些数据源网站。...现在有很多免费数据可以供使用分析,不过很少有人能找到,或者没能力找,这就是所谓信息差吧。...其实数据获取分为两方面,一是“拿来”数据,也就是现成;二是“爬来”数据,这种一般通过爬虫等手段去采集数据。 “拿来”数据可以在各大官方平台或者社区去找,一般各行各业都会有自己数据库。...常用数据网站有以下这些: 搜索指数类 百度指数:百度搜索汇总数据,能看到各种关键词搜索热度趋势,优点数据量大,能反映真实的话题热度变化,适合做需求洞察、用户画像、舆情监测、市场分析。...◆ ◆ ◆ ◆ ◆麟哥新书已经在当当上架了,写了本书:《拿下Offer-数据分析师求职面试指南》,目前当当正在举行活动,大家可以用相当于原价5折预购价格购买,还是非常划算: 数据森麟公众号交流群已经建立

1.1K40
您找到你想要的搜索结果了吗?
是的
没有找到

全面理解云上网络

身边很多同事对 VPC 都很疑惑,每次一说到 VPC 感觉都有点儿晕,不知道为什么会有这个东西:你给我个云服务器不就行了,怎么还得有个什么 VPC子网,这到底是啥,好麻烦啊?...因为网络背后其实就是服务器,承载服务器是机房,而机房肯定是在某个地域部署。 VPC 内还有个很重要概念叫子网,一个 VPC 由一个或多个子网组成。...子网其实就是把 VPC 进一步进行划分,一部分原因是 VPC可用 IP 太多了,需要进行更细粒度规划,比如游戏逻辑服务器用子网 A 中 IP,代理网关服务器用子网 B,数据库用子网 C…另一个可能也是更重要原因是...但是有些时候出于安全等各方面考虑,不同 VPC 之间,只想让你访问我某个服务,不想开放整个网络。此时,可以把服务暴露到公网,你通过公网域名来访问,这没问题。...这里首先就是 DNSPod,能够加速 DNS 查询速度以及返回更适合用户网络 IP 地址。

11.8K52

为什么getTime()返回1970年至今毫秒?

今天在写new Date()时候,无意中发现了一个很有意思方法,getTime(),百度了一下,有人说是计算从1970年1月1日至今毫秒数 为什么要是1970年呢?...为什么这个时间会定义在1970年1月1日这个时候呢? 于是开始了Google,中文网页根本找不到答案。...但这依然没很好解释"为什么",出于好奇,继续Google,总算找到了答案: http://en.wikipedia.org/wiki/Unix_time 这里解释是: 最初计算机操作系统是32位,而时间也是用...到这里,想问题答案已经出来了: 因为用32位来表示时间最大间隔是68年,而最早出现UNIX操作系统考虑到计算机产生年代和应用时限综合取了1970年1月1日作为UNIX TIME纪元时间(开始时间...最后一个问题: 上面System.out.println(new Date(0)),打印出来时间是8点而非0点,原因是存在系统时间和本地时间问题,其实系统时间依然是0点,只不过电脑时区设置为东8

1.1K30

为什么BERT不行?

当然了,bad case分析这块也聊了很多,多分析能发现其中端倪,知道模型需要什么,该怎么处理,再放一遍在这里,希望能好好阅读。...训练层面的分析 BERT训练其实挺多讲究,这里实验效果要保证对参数有一定要求,所以大家要多去观察训练过程暴露问题,训练过程其实就是要观测loss变化、验证集效果等问题,放置没学到、学飘了之类问题...类似的思路其实在这两篇文章里其实都有谈过: 心法利器[44] | 样本不均衡之我见 所以,很多时候你需要可能是更多地挖掘数据,从日志,从更多渠道去找,这个可能比增强本身要好。...这里背后逻辑可以参考这篇文章: 心法利器[45] | 模型需要信息提供够了吗 训练问题 针对训练问题,其实也就是一个经验问题了,多弄其实问题就会小很多,大家可以多去看各个论文使用超参,一般调差不多基本都不会有的...而文章本身输出并非是按照这个思路走,而是从一些大家经常问点深入来讨论,希望能从角度和风格来思考和回答问题。

1.2K20

如何合理规划TKE集群网络

那也就说我们需要规划下2层网络,一层是vpc网络,一层是容器网络,为什么说需要合理规划下呢?...下面就具体来说说如何配置vpc子网和容器网段cidr,这里我们vpc网络为10.0.0.0/16,容器网络为172.16.0.0/16,地域为广州,后续实验和说明都是基于上面2个网段。...vpc下我们需要给每个可用区创建子网,因为通常需要做多可用区容灾和高可用,vpc子网可以尽可能遵循最小原则规划,这个最小原则可以根据自己实际需求配置,这里我们统一选择为24掩码来分配子网。...这里我们可以根据不同用途来分配子网,我们可以把子网分为以下4类: cloud-resource:主要用来存放云资源,如cvm,clb,数据库 CNI:主要用于vpc-cni模式容器网段,用于podip.../developer/article/1786193 这里我们只是为了做说明,每种类型只创建了一个子网,如果发现ip不够了,可以在对应可用区创建对应子网,例如广州一区cloud-resource类型子网

1.2K40

玩转tke混合网络模式

启用混合网络模式 首先我们创建一个GR模式tke集群,然后在集群基本信息中找到开启vpc-cni模式按钮,点击开启 image.png 这里会让你选择一个空子网来用于vpc-cni模式下,pod...image.png 由于混合网络下只能添加一个子网现在,我们后面就会面临一个问题,那就是我们节点只能部署在vpc-cni模式子网相同可用区,为什么会有这个限制,其实你看下vpc-cni网络架构就明白了...image.png vpc-cni其实就是给每个节点分配一个辅助网卡,然后从网卡中分配ip给pod,由于腾讯云上弹性网卡需要和cvm处于同一个可用区,这里选择是广州4区子网作为vpc-cni子网...分配给pod,因为我们vpc-cni模式没有广州6区子网。...image.png kube-system下有个cm记录这vpc-cni模式子网信息,我们将广州6区子网加到这个cm中,看看能不能加广州6区节点到集群,我们在vpc下找到建好广州6区子网,然后通过

1.7K30

视频直播:基于流计算 Oceanus(Flink) 实时大屏分析

在 Oceanus 控制台【集群管理】->【新建集群】页面创建集群,选择地域、可用区、VPC、日志、存储,设置初始密码等。VPC子网使用刚刚创建好网络。...页面地址:https://cloud.tencent.com/product/ckafka 2.2.1创建Ckafka集群 注意私有网络和子网选择之前创建网络和子网 [Kafka集群] 2.2.2创建...图片.png 2)如果生产环境,服务器配置可根据实际情况选择,示例中选择了低配服务器,网络需要选择之前创建好VPC网络,始终保持服务组件在同一VPC下。...添加数据源 数据源用于连接客户本地数据库或云数据库,是数据表加工基础;数据表是对数据源进行加工后结果,用于报表创作时使用。...进入之前创建项目,点击左上方【数据】> 【数据源】> 【新建数据源】即可快速创建本地数据源或云上数据源。 创建页面 点击左上方【页面】>【创建页面】。编辑好后即可单击右上角【保存】>【发布】。

2.5K51

再聊聊常用15个数据源网站

前面介绍过实用效率小工具,真的帮了很多忙,这次给小伙伴们再种草一些数据源网站。 现在有很多免费数据可以供使用分析,不过很少有人能找到,或者没能力找,这就是所谓信息差吧。...其实数据获取分为两方面,一是“拿来”数据,也就是现成;二是“爬来”数据,这种一般通过爬虫等手段去采集数据。 “拿来”数据可以在各大官方平台或者社区去找,一般各行各业都会有自己数据库。...常用数据网站有以下这些: 搜索指数类 百度指数:百度搜索汇总数据,能看到各种关键词搜索热度趋势,优点数据量大,能反映真实的话题热度变化,适合做需求洞察、用户画像、舆情监测、市场分析。...百度指数规则,是以网民在百度搜索量为数据基础,以关键词为统计对象,科学分析并计算出各个关键词在百度网页搜索中搜索频次加权和。 微信指数:微信生态大数据,反映关键词热度,和百度指数类似。...kaggle:全球最大数据科学比赛平台,也是google旗下产品。kaggle拥有丰富数据集和各种解决方案,适合对数据感兴趣小伙伴去研究学习。

66620

为什么 useState 返回是 array 而不是 object?

前言 这是今天收到一条推送文章,发现自己好像也没有去思考过这个问题,于是点进来了 明白了原因之后,想用自己的话梳理一遍,分享给其他还不了解同学 正文 先来看看 useState 日常用法 const...[count, setCount] = useState(0) 这里可以看到 useState 返回是一个数组,那么为什么返回数组而不是返回对象呢?...为什么返回数组而不是返回对象 要弄懂这个问题要先明白 ES6 解构赋值,来看 2 个简单例子: 数组解构赋值 const foo = [1, 2, 3]; const [one, two, three...,这个问题就很好解释了 如果 useState 返回是数组,那么使用者可以对数组中元素命名,代码看起来也比较干净 如果 useState 返回是对象,在解构对象时候必须要和 useState 内部实现返回对象同名...总结 useState 返回是 array 而不是 object 原因就是为了降低使用复杂度,返回数组的话可以直接根据顺序解构,而返回对象的话要想使用多次就得定义别名了 首发自:为什么 useState

2.2K20

TKE集群中deployment使用vpc-cni模式

TKE集群中网络模式分为Global Router和vpc-cni这2种,有的集群是创建时候使用Global Router网络模式,但是后续开启了vpc-cni网络模式,因为集群是可以同时兼容2...在使用vpc-cni网络模式大家会有一个疑惑,就是为什么开启了vpc-cni模式后,创建工作负载中pod ip没有在配置子网中,没有和vpc在一个网段。...其实并不是开启了vpc-cni模式后,创建新pod或者重建pod就会选择vpc-cni模式,除非你在创建集群时候就选择vpc-cni模式,那样创建出来所有pod分配ip都会和vpc在一个网段。...其实在tke集群中有一个参数来控制你pod是否选择vpc-cni模式,下面我们来说说如何使用这个参数,不同类型工作负载如何选择vpc-cni模式。...deployment时候在控制台是没有对应选项来选择是否采用vpc-cni模式,但是并不是说我们无法创建deploymentpod选择vpc-cni模式。

2K71

实时监控:基于流计算 Oceanus(Flink) 实现系统和应用级实时监控

2.2 创建 Ckafka 实例 注意私有网络和子网选择之前创建网络和子网。Kafka建议选择最新2.4.1版本,和Filebeat采集工具兼容性较好。...在 Oceanus 控制台【集群管理】->【新建集群】页面创建集群,选择地域、可用区、VPC、日志、存储,设置初始密码等。VPC子网选择刚刚创建好网络,具体创建步骤请参考 帮助文档。...在该VPC下给需要监控主机信息和应用信息CVM上安装 Filebeat。...Grafana配置ES数据源。 进入灰度发布中 Grafana控制台,进入刚刚创建Grafana服务,找到外网地址并打开。...但不支持自定义数据源,该嵌入Grafana只能接入Promethus,需使用独立灰度发布Grafana才能完成ES数据接入Grafana。

6.2K254

视频直播:实时数据可视化分析

页面地址:https://console.cloud.tencent.com/vpc/vpc?rid=8 2.2 创建 Oceanus 集群 流计算 Oceanus 服务兼容原生 Flink 任务。...在 Oceanus 控制台【集群管理】->【新建集群】页面创建集群,选择地域、可用区、VPC、日志、存储,设置初始密码等。VPC子网使用刚刚创建好网络。...页面地址:https://cloud.tencent.com/product/ckafka 2.2.1 创建 Ckafka 集群 注意私有网络和子网选择之前创建网络和子网 Kafka集群 2.2.2...HBase组件 2)如果生产环境,服务器配置可根据实际情况选择,示例中选择了低配服务器,网络需要选择之前创建好 VPC 网络,始终保持服务组件在同一 VPC 下。...并给子用户授予添加数据源,创建数据集,查看报告权限。

75920

为什么要写自己框架?

其实说白了框架就是使用别人造好轮子。在软件开发里面就是command+C/command+V。 先自我介绍一下,是一名信管专业大学生,从专业可以看出就是以后大家嘴里程序员。...曾几何时,觉得很兴奋,在如此短时间内就可以做到这样高度,让十分开心。开发出内容也完全符合校内应用需求。变成了一个别人眼中“大师”。 但事情并没有往想象地方发展。...框架用时间久了之后就发现了一个问题:真的有学习过吗?内容真的有用嘛,这些框架内东西能对今后有帮助吗,当然,这种想法不是一天形成,还有一个小故事。...但当有一天在讲授开发经验时候,当我当着大家面真的静下心来写需要展示一个类时候,以前用了这么多框架,发现在这么多人面前已经几乎写不出来一个正确类了!!...于是又开始新一轮学习,看大量书籍,有一天重新打开Yii框架在当时看起来很难理解代码时候发现:居然有点明白它工作原理,知道整体架构了!

1.3K20

为什么Redis这么“慢”?

如果你服务请求量并不大,但 Redis 实例 CPU 使用率很高,很有可能是使用了复杂度高命令导致。...解决方案就是,不使用这些复杂度较高命令,并且一次不要获取太多数据,每次尽量操作少量数据,让 Redis 可以及时处理返回。...同样,当删除这个 Key 数据时,释放内存也会耗时比较久。 你需要检查你业务代码,是否存在写入大 Key 情况,需要评估写入数据量大小,业务层应该避免一个 Key 存入过大数据量。...下面就针对这两块,分享一下认为比较合理 Redis 使用和运维方法,不一定最全面,也可能与你使用 Redis 方法不同,但以下这些方法都是在踩坑之后总结实际经验,供你参考。...总结 以上就是在使用 Redis 和开发 Redis 相关中间件时,总结出来 Redis 推荐实践方法,以上提出这些方面,都或多或少在实际使用中遇到过。

3.6K10

腾讯云高可用网络修炼之道

,那么此时业务上单机部署是致命,“鸡蛋永远不能放在一个篮子里”道理会告诉你最好把业务部署在不同物理服务器上,当然你可能要问:腾讯云上,作为租户,腾讯云物理服务器对于我来讲是透明并不清楚虚拟机生产后具体物理位置...,该如何部署业务呢?...,这一规则也是建议您采用多子网网络规划,不同子网划分到不同AZ,实现跨CVM跨机房容灾,默认情况下,同一VPC下不同子网是互通,所以大可不必担心网络上连通性,关于子网使用,可以参考如下官方文档...没有实现1+1=2甚至大于2超预期; 应对这种场景,常常做法是本AZCLB实例除了关联绑定本AZ内VPC子网云服务器之外,同时也要关联其他AZVPC子网云服务器,但是之前一直强调避免交叉访问...那么,为什么这里不提VPNECMP等价负载均衡呢?

12.1K196

「云网络安全」为AWS S3和Yum执行Squid访问策略

Alice在AWS论坛上发现了许多帖子,人们询问Yum仓库和Amazon S3IP地址范围。然而,亚马逊并没有公布这份名单。为什么?在云计算中,资源是高度弹性。应用程序会根据需求增长或收缩。...安全组应用于实例;网络ACL应用于整个子网。Alice使用网络ACL确保规则适用于应用程序子网中部署所有实例。有关安全组和网络acl更多信息,请参阅Amazon VPC文档。 ?...图2:应用程序子网ACL 图2中ACL允许在VPC内使用HTTP/S(规则100和101),但是阻止HTTP/S到Internet(规则200和201)。...有关公共和私有子网更多信息,请参阅VPC文档。 接下来,Alice在DMZ子网中启动一个新Amazon Linux AMI (Amazon机器映像),并给它分配一个弹性IP地址。...为什么?

2.9K20

【技术种草】云联网体验

每个子网地址可用地址是2046个(去掉网关,广播) [image.png] 至于子网(subset)就使用了24位子网掩码 可以有8个子网也就够了...毕竟这样算下来一颗可用区有2032个地址了!...如果不够了咋整...毕竟还有762个地址没有用上!怎么搞?可用这样:继续加一个,同一个zone可用区域可以设置多个subset子网!...然后就不先新建了 辅助CIDR方式 至于其他扩容vpc地址方法---增加辅助CIDR这也是一种方式。现在还没有用到 忽略。只是抛砖引玉。...] 看一波路由表: [image.png] 注:没有购买带宽跨地域测试连通性都是10Kbps 谈一下新建几个cvm vpc subset ip(内网ip) 系统 shanghai(10.10.0.0...网络子网划分真的很重要很基础,推荐一下http://www.ab126.com/web/3552.html子网划分工具。 接下来想开通一下跨地域带宽。

2.4K71

视频直播:实时数据可视化分析

页面地址:https://console.cloud.tencent.com/vpc/vpc?rid=8 2.2 创建 Oceanus 集群 流计算 Oceanus 服务兼容原生 Flink 任务。...在 Oceanus 控制台【集群管理】->【新建集群】页面创建集群,选择地域、可用区、VPC、日志、存储,设置初始密码等。VPC子网使用刚刚创建好网络。...页面地址:https://cloud.tencent.com/product/ckafka 2.2.1 创建 Ckafka 集群 注意私有网络和子网选择之前创建网络和子网 Kafka集群 2.2.2...HBase组件 2)如果生产环境,服务器配置可根据实际情况选择,示例中选择了低配服务器,网络需要选择之前创建好 VPC 网络,始终保持服务组件在同一 VPC 下。...并给子用户授予添加数据源,创建数据集,查看报告权限。

1K61
领券