首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    ElasticSearch学习笔记(3)——基础概念

    3.文档(Document) Index 里面单条的记录称为 Document(文档),是ElasticSearch中最小的存储单元。类似SQL中的一行记录。 许多条 Document 构成了一个 Index。Document 使用 JSON 格式表示。 4. 类型(Type) 索引可以定义一个或多个类型,文档必须属于一个类型。 类型可以理解为SQL中的表。 Document 可以分组,比如weather这个 Index 里面,可以按城市分组(北京和上海),也可以按气候分组(晴天和雨天)。这种分组就叫做 Type,它是虚拟的逻辑分组,用来过滤 Document。 不同的 Type 应该有相似的结构(schema),举例来说,id字段不能在这个组是字符串,在另一个组是数值。这是与关系型数据库的表的一个区别。性质完全不同的数据(比如products和logs)应该存成两个 Index,而不是一个 Index 里面的两个 Type(虽然可以做到)。 下面的命令可以列出每个 Index 所包含的 Type:

    01

    记一次mysql数据库cpu暴涨100%事故

    在公司监控大盘上看到了我负责的项目的数据库服务器CPU达到100%了, 于是紧急排查问题。仔细的看了一下监控大盘,发现时间从下午3点47分起就开始迅速上升到满cpu的情况,并且持续了23分钟,之后又断断续续的满cpu,每次持续时间大概在几分钟到10分钟左右。第一反应是想到是不是服务器有什么错误日志没输出,检查了elk中的错误,没有错误异常。第二个排查的地方是检查从3点47分起开始的访问量看看是不是并发比较高,发现访问量也是正常的,qps大概在60左右。于是下去找运维要一份数据库的慢sql,但是运维还没看到有慢sql(这点不清楚运维的慢sql是怎么记录日志的,按道理是应该有慢sql)。于是通过show processlist查询到了大概4,5条正在执行的查询。发现用户是我们yearning的用户,而不是应用的用户,并且query_start的起始时间距离现在也差不多在7,8分钟左右。将该sql展开发现是一个在yearning上面执行的inner join,我们是有分表的措施的,将数据按照不同企业维度分摊到10个表。平均一张表大概在10万左右的数据量,同事执行的inner join查询通过explain关键词分析发现该语句笛卡尔积之后的扫描行数足足有6亿行,最后筛选出了89行符合要求的数据。跟同事沟通了一下才发现是他执行的复杂查询。让运维帮忙kill掉查询语句后,数据库cpu恢复正常。

    01

    一文搞定MySQL的分区技术、NoSQL、NewSQL、基于MySQL的分表分库

    ◆ 分表分库 上文讲到,查询分离的方案存在三大不足,其中一个就是:当主数据量越来越大时,写操作会越来越缓慢。这个问题该如何解决呢?可以考虑分表分库。 这里先介绍一下真实的业务场景,而后依次介绍拆分存储时如何进行技术选型、分表分库的实现思路是什么,以及分表分库存在哪些不足。 接下来进入业务场景介绍。 ◆ 业务场景:亿级订单数据如何实现快速读写 这次项目的对象是电商系统。该系统中大数据量的实体有两个:用户和订单。每个实体涵盖的数据量见表3-1。 表3-1 数据量 某天,领导召集IT部门人员开会,说:“根据市场

    02

    软件研发成本构成中的间接成本包括哪些?

    软件研发的间接成本为组织级成本,服务于整体研发活动,只要该组织还有软件研发活动,该成本就会发生,而不会因某个特定项目的结束或中止而不再发生。间接成本又分为间接人力成本和间接非人力成本。 间接人力成本   间接人力成本,是指服务于整体研发活动的非项目组人员的工资、奖金及福利等费用分摊。这些人员一般是组织级的研发管理人员,包括研发部门经理、项目管理办公室人员、工程过程组人员、产品规划人员、组织级质量保证人员、组织级配置管理人员等,他们并不承担特定研发项目工作,他们的费用分摊后计入间接人力成本。 间接非人力成本   间接非人力成本,是指服务于整体研发活动的非人力成本分摊。这部分包括研发场地房租、水电、物业,研发人员日常办公费用分摊及各种研发办公设备的租赁、维修、折旧分摊。例如:   a)    研发部门日常办公用的设备及软件成本,这部分费用可以按照间接非人力成本进行分摊。   b)    研发部门办公场地的租用会议室产生的费用,可以按照间接非人力成本进行分摊。   我们在估算软件成本过程中,若要正确区分直接成本与间接成本,可以假设当前项目中止或取消,未发生的相关费用是否还会继续产生,如果是,则属于间接成本,而如果相关费用不会发生,则属于直接成本。

    03
    领券