作为一名程序员，对于SQL的使用算是基础中的基础，虽然也写了很多年的SQL，但常常还是记不清一些常见的命令，故而通过一篇博文巩固相关的记忆，并把T-SQL本身的一些新特性再进行一次学习。 首先回顾基础的概念，这部分可以跳过哈，比较枯燥。结构化查询语言SQL是基于集合理论和谓词逻辑的，大学课程中数字逻辑和离散数学主要会涉及这部分的内容。 集合理论是数学家Georg Cantor创建，是基于关系模型的数学分支。集合的定义为，任意集合体是我们感知或者想到的，能够确定的、互异对象m的整体。 谓
网站安全是当今互联网环境中的一个重要问题。为了保护网站免受各种攻击和漏洞的影响，设计一个基于Python的网站安全检测系统是非常有必要的。本文将介绍如何设计和实现一个基于Python的网站安全检测系统，并重点探讨如何利用数据分析来提升系统的效能和安全性。
最近参与了了一个日志和告警的数据挖掘项目，里面用到的一些思路在这里和大家做一个分享。
物流大数据，都是哪些数据？ 物流大数据主要包括运单信息的数据和车辆信息的数据，然而关于运单信息往往涉及商业机密，并且信息分布于不同行业企业内部，不宜公开。因此当前现实的数据条件来看，实业界和学术界的物
Snaffler是一款专为渗透测试人员设计和开发的数据挖掘工具，可以帮助广大研究人员在一个大规模Windows/AD环境中寻找出有价值的数据。
举个例子，你做量化投资，基于大数据预测未来股票的波动，根据这个预测结果进行买卖。你当前能够拿到以往股票的所有历史数据，是否可以根据这些数据做出一个预测率高的数据分析系统呢？
可伸缩红队操作模型（Scaling Red Operations）分为两个层次，第一层次是针对一个目标网络的目标单元；第二层次是针对多个目标网络的权限管理单元。
收集web日志的目的 Web日志挖掘是指采用数据挖掘技术，对站点用户访问Web服务器过程中产生的日志数据进行分析处理，从而发现Web用户的访问模式和兴趣爱好等，这些信息对站点建设潜在有用的可理解的未知信息和知识，用于分析站点的被访问情况，辅助站点管理和决策支持等。 1、以改进web站点设计为目标，通过挖掘用户聚类和用户的频繁访问路径，修改站点的页面之间的链接关系，以适应用户的访问习惯，并且同时为用户提供有针对性的电子商务活动和个性化的信息服务，应用信息推拉技术构建智能化Web站点。 2、以分析Web站点性能
1、概述 Oracle的体系结构是数据库的组成，工作过程，以及数据库中数据的组织与管理机制，要了解Oracle数据库的体系结构，就必须要理解Oracle的主要组件和重要的概念。Oracle体系结构包含一系列组件，包括实例、用户进程、服务进程、数据文件及其他文件，如参数文件、口令文件和归档日志文件等。如下图所示：
1.某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？ A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 2.以下两种描述分别对应哪两种对分类算法的评价标准？ (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision, Recall B. Recall, Precision C. Precision, ROC D. Recall, ROC 3.将原始数据进行集成、变换、维度规约、数值
1各组件简介 重点组件： HDFS：分布式文件系统 MAPREDUCE：分布式运算程序开发框架 HIVE：基于大数据技术（文件系统+运算框架）的SQL数据仓库工具 HBASE：基于HADOOP的分布式海量数据库 ZOOKEEPER：分布式协调服务基础组件 Mahout：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库 Oozie：工作流调度框架（Azakaba） Sqoop：数据导入导出工具 Flume：日志数据采集框架 2. 数据分析流程介绍
在大数据时代背景下，存在于社会任何行业、组织及个人不可能独善其身，或者成为数据贡献者，或者成为数据采集者。物流行业是近些年快速发展起来的朝阳行业，正是互联网技术的发展催生出的电子商务给物流行业带来了前所未有机遇。
ELK 其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩写，Elasticsearch，Logstash 和 Kibana。这三款软件都是开源软件，通常是配合使用，而且又先后归于 Elastic.co 公司名下，故被简称为 ELK 协议栈.
SQL Server 2012基于SQL Server 2008，其提供了一个全面的、灵活的和可扩展的数据仓库管理平台，可以满足成千上万的用户的海量数据管理需求，能够快速构建相应的解决方案实现私有云与公有云之间数据的扩展与应用的迁移。
本文由 伯乐在线 - zhique 翻译，xxmen 校稿。未经许可，禁止转载！ 英文出处：Ram Sriharsha。欢迎加入翻译组。 Apache Spark 为数据科学提供了许多有价值的工具。随着 Apache Spark 1.3.1 技术预览版的发布，强大的 Data Frame API 也可以在 HDP 上使用数据科学家使用数据挖掘和可视化来帮助构造问题架构并对学习进行微调。Apache Zeppelin 正好能够帮他们做到这些。 Zeppelin 是一个基于 Web 的 notebook 服务器
日志文件的六种状态UNUSED,CURRENT,ACTIVE,CLEARING,CLEARING_CURRENT,INACTIVE代表的意思分别如下所述：
互联网有数不清的网页，且不断在以指数级速度产生新内容。到 2022 年，整个互联网创建和复制的数据将达到 44 ZB，也就是 44 万亿 GB。这么大体量内容的背后也带来了丰富信息源，唯一的问题是怎么在这浩如烟海的信息中检索到你想要的信息并带来价值。
1. Consumer behaviour is the study of when，why，how and where people do or don't buy a product。 用户行为一般指用户通过中间资源，购买、使用和评价某种产品的记录。同时辅以用户、资源、产品自身及环境的信息。 用户行为记录一般可以表示一组属性的集合：{属性1，属性2，...，属性N｝ 2. 用户行为分析主要是研究对象用户的行为。数据来源包括用户的日志信息、用户主体信息和外界环境信息。通过特定的工具对用户在互联网/移动互联
日志归档与数据挖掘 摘要 2013-03-19 第一版 2014-12-16 第二版 我的系列文档 Netkiller Architect 手札 Netkiller Developer 手札 Netkiller PHP 手札 Netkiller Python 手札 Netkiller Testing 手札 Netkiller Cryptography 手札 Netkiller Linux 手札 Netkiller Debian 手札 Netkiller CentOS 手札
大数据挖掘中最重要的是决定挖掘什么样的知识，这是在数据的收集、处理、挖掘的整个过程中都需要认真考虑的问题。本文首先提出大数据挖掘的几项策略，即尽量设想挖掘的场景，尽量多方面收集数据，尽量将数据整合，悉心观察数据特征。之后结合自己在互联网搜索中的大数据挖掘工作经验，分享对这些策略的体会。最后介绍一个互联网搜索中大规模日志数据挖掘的工作，展示大数据挖掘的威力，呈现大数据挖掘的挑战。
在Oracle中，LogMiner是什么？其有哪些用途？请简述LogMiner的使用过程。
编辑手记： LogMiner是用于Oracle日志挖掘的利器，使用该工具可以轻松获得Oracle 重做日志文件（归档日志文件）中的具体内容，LogMiner分析工具实际上是由一组PL/SQL包和一些动态视图组成，它作为Oracle数据库的一部分来发布，是oracle公司提供的一个完全免费的工具。本文主要演示LogMiner的使用，直观展示LogMiner的作用。 环境：Oracle 11.2.0.4 RAC 1.查询当前日志组 2.业务用户插入操作 3.归档日志切换 4.业务用户插入操作 5.归档日志切换
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。
数据产品和数据密不可分作为数据产品经理理解数据从产生、存储到应用的整个流程，以及大数据建设需要采用的技术框架Hadoop是必备的知识清单，以此在搭建数据产品时能够从全局的视角理解从数据到产品化的价值。本篇文章从三个维度：
Hadoop是一个由Apache开发的开源分布式计算框架，它能够处理大规模数据并行处理任务，支持大规模数据存储和处理。Hadoop的核心组件包括分布式文件系统HDFS和分布式计算框架MapReduce，它们使得Hadoop可以在廉价的硬件上并行地处理大量数据。Hadoop还包括很多相关的项目和子项目，如Pig、Hive、HBase等，它们都是围绕Hadoop构建的数据处理和查询工具。Hadoop已经成为了大数据领域的标准技术之一，受到了很多企业和组织的广泛应用。
2015年12月10-12日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办，以“数据安全、深度分析、行业应用”为主题的 2015中国大数据技术大会 （Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大开幕。 2015中国大数据技术大会第三天的大数据分析及生态系统分论坛中，来自Hortonworks、IBM、京东、百度、eBay、银联智惠和南京大学的七位专家
一、日志采集 1.1 浏览器的页面日志采集 1.2 无线客户端的日志采集 1.3 日志采集的挑战案例
分布式数据采集是分布式记录方式可以在影响网络带宽最小的情况下采集到所需要的数据，其主要设计思路就是在成员与RTI之间加一层记录接口，成员在向RTI发送数据时，首先经过记录接口，由记录接口将数据记录之后，再转发给RTI，这样就不会有冗余的数据在网络上传输（特别是大大减少了网络上的网间数据），消除了系统瓶颈。
看到百度知道上经常有人问想要从事BI或者数据挖掘行业应该怎么入门，行业前景怎么样，具体推荐一些书籍以及必学技术知识，但是知道上始终也没有人给出个系统确切的指引。所以笔者就此问题整理了以下内容，希望能给处于职业十字路口的人们一些帮助。 一 BI分析师 Q1:BI分析师具体做哪些工作呢？ ——BI分析师主要负责BI业务相关的数据整理、分析、报表展示、解释分析结果：包括数据建模、数据处理、BI系统设计等。 Q2：BI分析师需要具备的技能（要学的知识） ——SQL，存储过程，JAVA/C#，oracle数据库优化
本文是对一个小众CMS（vaeThink v1.0.1）进行分析、代码执行漏洞挖掘和审计过程的记录，该CMS基于ThinkPHP5开发。作为一名代码审计的入门菜鸟，也希望能够将实践和学习的过程记录和分享，以期能够与大家共同交流进步。
三级模式—两层映射 数据库设计过程 E-R模型 集成的方法 多个局部E-R图一次集成。 逐步集成，用累加的方式一次集成两个局部E-R。 集成产生的冲突及解决办法 属性冲突：包括属性域冲突和属性取值
日志分析与数据挖掘常常被我们所忽视，其实不管是大型网站还是中小网站，都是一件很有意义的工作。只是大型网站的日志分析和数据挖掘工作难度要更高一些，因为数据量实在太大，所以我们要具备足够的耐心来做该项工作，并且要有的放矢。
在互联网的世界中数据都是以TB、PB的数量级来增加的，特别是像BAT光每天的日志文件一个盘都不够，更何况是还要基于这些数据进行分析挖掘，更甚者还要实时进行数据分析，学习，如双十一淘宝的交易量的实时展示。 大数据什么叫大？4个特征： 体量化 Volume，就是量大。 多样化 Variety，可能是结构型的数据，也可能是非结构行的文本，图片，视频，语音，日志，邮件等 快速化 Velocity，产生快，处理也需要快。 价值密度低 Value，数据量大，但单个数据没什么意义，需要宏观的统计体现其隐藏的价值。
抛开大数据的概念与基本知识，进入核心。我们从：数据采集、数据存储、数据管理、数据分析与挖掘，四个方面讨论大数据在实际应用中涉及的技术与知识点。 核心技术 架构挑战： 1. 对现有数据库管理技术的挑战。 2. 经典数据库技术并没有考虑数据的多类别（variety）、SQL（结构化数据查询语言），在设计的一开始是没有考虑到非结构化数据的存储问题。 3. 实时性技术的挑战：一般而言，传统数据仓库系统，BI应用，对处理时间的要求并不高。因此这类应用通过建模，运行1-2天获得结果依然没什么问题。但实时处理的要求，是区
本文简介：数据科学家的常用工具与基本思路，数据分析师和数据科学家使用的工具综合概述，包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种，几十个大类，部分网址。为数据科学教育和知识分享，提高数据科学人员素质。
很多朋友对大数据行业心向往之，却苦于不知道该如何下手。作为一个零基础大数据入门学习者该看哪些书？今天给大家推荐一位知乎网友挖矿老司机的指导贴，作为参考。
大数据已经逐渐普及，大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。
基于数据库的数据复制技术大体上可分为两类：数据库自己提供的数据容灾模块和第三方厂商提供的数据库复制技术。以最常见的Oracle数据库为例，Oracle自己的数据复制技术有Data Guard，Streams，Advanced Replication和Golden Gate数据复制软件。第三方厂商的数据复制技术有Quest公司的Share Plex和DSG的RealSync等。
在大数据战略合作协议签约仪式上，国家统计局局长马建堂讲了这样一席话：“一个大规模生产、分享和利用大数据的时代正在来临。谁拥有了大数据，谁就占领了制高点，取得了主动权。” 大数据作为非结构化和电子化的海量数据，数量之大、类型之多、变化之快，前所未有。开发好、利用好这一巨大宝藏，非一家之力可成。 专家指出，企业既是大数据的主要生产者，也是经验丰富的使用者，还是大数据的直接受益者。 一个非常小的公司，并没有大量的数据。但是仍需要思考大数据，因为在未来一段时间，无论是卫生医疗，还是零售制造行业
翻译：秦陇纪等人 摘自：数据简化DataSimp 本文简介：数据科学家的常用工具与基本思路，数据分析师和数据科学家使用的工具综合概述，包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种，几十个大类，部分网址。为数据科学教育和知识分享，提高数据科学人员素质。 数据科学融合了多门学科并且建立在这些学科的理论和技术之上，包括数学、概率模型、统计学、机器学习、数据仓库、可视化等。在实际应用中，数据科学包括数据的收集、清洗、分析、可视化以及数据应用整个迭代过程，最终帮助组织制定正确的发展决策数据科学的
本文作者：秦陇纪 本文简介：数据科学家的常用工具与基本思路，数据分析师和数据科学家使用的工具综合概述，包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种，几十个大类，部分网址。为数据科
已经有了很多框架方便使用，常用的有hadoop，storm，spark，flink等，辅助框架hive，kafka，es，sqoop，flume等。
核心技术架构挑战： 1、对现有数据库管理技术的挑战。 2、经典数据库技术并没有考虑数据的多类别（variety）、SQL（结构化数据查询语言），在设计的一开始是没有考虑到非结构化数据的存储问题。 3、实时性技术的挑战：一般而言，传统数据仓库系统，BI应用，对处理时间的要求并不高。因此这类应用通过建模，运行1-2天获得结果依然没什么问题。但实时处理的要求，是区别大数据应用和传统数据仓库技术、BI技术的关键差别之一。 4、网络架构、数据中心、运维的挑战：随着每天创建的数据量爆炸性的增长，就数据保存来说，
引言 公司由粗犷式发展转向精细化运营的过程中，数据决策支持发挥着至关重要的作用。而在传统行业里，由于数据量相对较小；业务系统变更相对规律；系统架构相对简单；数据来源相对单一等原因，从而使数据的计算过程更加简单，计算结果更加准确。而作为业务与技术高速发展的京东，用常规的架构设计无法满足公司对数据高 质量的要求。如何在保障业务高速发展的同时，将数据仓库的数据污染降低到最小？我们重点来说说引起数据污染的原因以及解决方案。 业务系统的数据源多样化 随着技术的发展，不同的业务系统由不同的团队开发与维护，造成了公司多
1.1 从 IT Operation Management (ITOM) 到 IT Operation Analytics (ITOA)
早期在系统规模较小的时候，系统的运维主要靠运维人员手工完成。随着业务的急剧膨胀、微服务化，运维面临巨大的挑战，日志数据管理也面临各种问题：
在Oracle中可以通过闪回技术来找回已经删除并且提交了的数据。当然，除了闪回技术外还可以采用LogMiner（使用该工具可以轻松获得Redo日志文件包含归档日志文件中的具体内容）进行日志挖掘，找出其撤销SQL并执行就可以找回DELETE语句删除的数据。
scrapy框架是一套比较成熟的python爬虫框架，是使用python开发的快速、高层次的信息爬取框架。 Scrapy框架的应用领域很多，比如网络爬虫开发、数据挖掘、数据监测。自动化测试等。 Scrapy的官网地址是: http://scrapy.org
最近一个月，过年的时候天天在家里呆着，年后公司的事情也不断，有一段时间没有更新博客了。PyMining是我最近一段时间构思的一个项目，虽然目前看来比较微型。该项目主要是针对中文文本的数据挖掘算法的实验与应用。从项目的目标来说，希望使用者可以很方便的使用现有的数据挖掘、机器学习算法与添加需要的算法。 项目概述 项目目前主要关注中文文本的数据挖掘算法。由于每种数据挖掘算法的局限性都很大，就拿分类算法一样，决策树、朴素贝叶斯这两种算法都有着自己的特性，只能在某一种类型的类型的数据上应用比较良好，比如朴素贝叶斯，
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
