本文介绍了JQuery中cookie的增删改查操作，包括创建、读取、更新和删除cookie，以及使用cookie进行用户登录态的存储和验证。还介绍了cookie的常见属性和参数，如有效时间、路径、安全性和raw参数等。
平常我们使用 hive或者 mysql时，一般聚合函数用的比较多。但对于某些偏分析的需求，group by可能很费力，子查询很多，这个时候就需要使用窗口分析函数了~ 注：hive、oracle提供开窗函数，mysql8之前版本不提供，但Oracle发布的 MySQL 8.0版本支持窗口函数（over）和公用表表达式（with）这两个重要的功能！
基于日志的统计分析按日志来源一般分为后端 cgi、app 日志和前端 js 挂码日志，其中前端 js 挂码由于与具体后端业务逻辑低耦合、异步加载等特性，使得其在网站统计分析领域应用广泛。 今天就来看一个 nginx 日志收集过程中的 case。 最近在 review nginx 配置的时候，发现 nginx 每天会有 1% 的 errlog，由于公司的业务访问量还算比较大的，算下来这 1% 也不是个小数目，有必要搞清楚这 1% 究竟怎么产生的。 1、错误日志样式： 错误日志的样式大致分为两种，如下：
本期内容主要介绍使用Hive作为数据仓库的应用场景时，相应的库表结构如何设计。
小伙伴们大家好呀，趁着年假的几天时间，我写了一篇 Elacticsearch 从0到1的“长篇大作”，现在还在排版，相信很快就会与大家见面了！关于系统学习用户画像，之前已经分享过2篇文章了，分别是《超硬核 | 一文带你入门用户画像》和《用户画像 | 开发性能调优》，收到的读者反馈还不错！本期文章，我借《用户画像方法论》一书，为大家分享在用户画像系统搭建的过程中，数据存储技术基于不同场景的使用。考虑到 篇幅的文章，我会用4篇文章分别介绍使用 Hive、MySQL、HBase、Elasticsearch 存储画像相关数据的应用场景及对应的解决方案。本期介绍的是 Hive，如果对您有所帮助，记得三连支持一下！
作者：matrix 被围观: 11,477 次 发布时间：2014-05-12 分类：零零星星 | 20 条评论 »
在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的。但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数。窗口函数又叫OLAP函数/分析函数，窗口函数兼具分组和排序功能。
在SQL中有一类函数叫做聚合函数，例如sum()、avg()、max()等等，这类函数可以将多行数据按照规则聚集为一行，一般来讲聚集后的行数是要少于聚集前的行数的。但是有时我们想要既显示聚集前的数据，又要显示聚集后的数据，这时我们便引入了窗口函数。窗口函数又叫OLAP函数/分析函数，窗口函数兼具分组和排序功能。
建立用户画像首先需要建立数据仓库，用于存储用户标签数据。Hive是基于Hadoop的数据仓库工具，依赖于HDFS存储数据，提供的SQL语言可以查询存储在HDFS中的数据。开发时一般使用Hive作为数据仓库，存储标签和用户特征库等相关数据。
Hive窗口函数NTILE、ROW_NUMBER、RANK、DENSE_RANK入门
order by : 在同一个组内，先累加完相同createtime的pv，再累加其他createtime的pv, 比如 : 现在在表末尾加一条数据cookie1 2015-04-10 1 1，那么结果就是 :
DENSE_RANK() 生成数据项在分组中的排名，排名相等会在名次中不会留下空位
未授权问题为普通用户登录或没有登录后，拼接js接口，构造报文，越权实现管理员的权限操作。原因：后端没有校验Cookie/Session的身份信息，以至于普通用户的权限可以实现管理员权限的功能。
对于数据统计分析或者数据挖掘而言，用户是个非常重要的维度，也是统计分析能落地的基础。一般而言，咱们追踪或者识别一个用户的首选方案是 userID，大多数公司的产品都会要求用户注册、登录操作，都存在一个类似 UMC 的数据库，管理和标示所有的用户。但这有个前提条件，就是你所在的公司业务必须以闭环为主（比如 qq、微信、淘宝等）。如果产品没有形成闭环，用户就不会主动去注册、登录，那上面通过 userID 数据库来管理、追踪用户行为的方案就不行了。比如BBS站点或者广告联盟都会非常想要一种技术方式可以在网络上精确
Hive窗口函数GROUPING SETS、GROUPING__ID、CUBE、ROLLUP入门
GROUPING SETS, GROUPING__ID, CUBE, ROLLUP 这几个分析函数通常用于OLAP中， 不能累加，而且需要根据不同维度上钻和下钻的指标统计， 比如，分小时、天、月的UV数。
ElasticSearch已经可以与YARN、Hadoop、Hive、Pig、Spark、Flume等大数据技术框架整合起来使用，尤其是在添加数据的时候，可以使用分布式任务来添加索引数据，尤其是在数据平台上，很多数据存储在Hive中，使用Hive操作ElasticSearch中的数据，将极大的方便开发人员。这里记录一下Hive与ElasticSearch整合，查询和添加数据的配置使用过程。基于Hive0.13.1、Hadoop-cdh5.0、ElasticSearch 2.1.0。
Hive窗口函数LAG、LEAD、FIRST_VALUE、LAST_VALUE入门
马上就快过年了，祝福小伙伴们牛年大吉，牛气冲天。本期文章分享的是赵老师在《方法论与工程化解决解决方案》一书中提到的关于如何在用户画像项目开发中进行性能调优的例子，希望大家耐心看完后有所收获！
SQL是结构化查询语言，SQL也是一个标准，每个数据库服务器都在标准的基础上进行了相应的调整和扩展，相应的，每个数据库对数据的各种操作语言的语法就会做出相应的调整
lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral view在把结果组合，产生一个支持别名表的虚拟表。
在画像系统搭建的过程中，数据存储的技术选型是非常重要的一项内容，不同的存储方式适用于不同的应用场景。本章主要介绍使用Hive、MySQL、HBase、Elasticsearch存储画像相关数据的应用场景及对应的解决方案。
hive -S -e 'select table_cloum from table' -S，终端上的输出不会有mapreduce的进度，执行完毕，只会把查询结果输出到终端上。
由于 hive 与传统关系型数据库面对的业务场景及底层技术架构都有着很大差异，因此，传统数据库领域的一些技能放到 Hive 中可能已不再适用。关于 hive 的优化与原理、应用的文章，前面也陆陆续续的介绍了一些，但大多都偏向理论层面，本文就介绍一个实例，从实例中一步步加深对 hive 调优的认识与意识。 1、需求 需求我做了简化，很简单，两张表做个 join，求指定城市，每天的 pv，用传统的 RDBMS SQL 写出来就这样的： SELECT t.statdate, c.cnam
这篇文章来讲优化规则HiveAggregateProjectMergeRule，主要功能是将Project投影操作之上的Aggregate聚合函数操作两者进行合并，前提是只有当聚合函数的GroupBY分组表达式和参数是字段引用（即，不是表达式）时，才满足优化规则使用条件。如果识别到Project上的Aggregate操作，如果是通过Project做的汇总，进行两者合并或将Project移除，即group by 字段和投影字段相同，将两者合并。在某些情况下，此规则具有修剪的效果：聚合将使用比Projetct投影操作更少的列。
最近有位同学面试了几家，分享了一些觉得有些难度的SQL面试题：比如会让你用SQL实现行转列和列转行操作、用SQL计算留存、用SQL计算中位数、还有如何统计用户最大连续登录天数？
用户画像的核心在于给用户“打标签”，每一个标签通常是人为规定的特征标识，用高度精炼的特征描述一类人，例如年龄、性别、兴趣偏好等，不同的标签通过结构化的数据体系整合，就可与组合出不同的用户画像。
用户画像的核心在于给用户“打标签”，每一个标签通常是人为规定的特征标识，用高度精炼的特征描述一类人，例如年龄、性别、兴趣偏好等，不同的标签通过结构化的数据体系整合，就可与组合出不同的用户画像。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
开发画像后的标签数据，如果只是“躺在”数据仓库中，并不能发挥更大的业务价值。只有将画像数据产品化后才能更便于业务方使用。在本文中，Web端展示的数据都读取自MySQL这类的关系型数据库，MySQL中存储的数据源自Hive加工后，通过Sqoop同步的结果集。
博主这里项目采用maven构建，使用spring容器， 关于Druid数据库连接池是什么等问题可移步我的这篇博文，数据库连接池Druid一览
在上一篇中，我们实现了按 cookieId 和 time 进行二次排序，现在又有新问题：假如我需要按 cookieId 和 cookieId&time 的组合进行分析呢？此时最好的办法是自定义 InputFormat，让 mapreduce 一次读取一个 cookieId 下的所有记录，然后再按 time 进行切分 session，逻辑伪码如下： for OneSplit in MyInputFormat.getSplit() // OneSplit 是某个 cookieId 下的所有记录
我们常常在提交页面设置验证码防止重复提交，但有些时候设置了验证码不一定有用，看看下面的例子：
是不是觉得这个问题很基础，其实我也这么觉得。然而根据面试经验发现，至少百分八十的人答不上这个问题。建议，在项目中用到后，再类比记忆，体会更深，不要硬记。基本上，一个合格的程序员，五种类型都会用到。
某图书电商网站拥有超过千万的网购用户群体，所售各品类图书100余万种。用户在平台上可进行浏览、搜索、收藏、下单、购买等行为。商城的运营需要解决两个问题：
多维统计一般分两种，我们看看 Hive 中如何解决： 1、同属性的多维组合统计 （1）问题： 有如下数据，字段内容分别为：url, catePath0, catePath1, catePath2, unitparams https://cwiki.apache.org/confluence 0 1 8 {"store":{"fruit":[{"weight":1,"type":"apple"},{"weight":9,"type":"pear"}],"bicycle":{"price":1
最近购买了《Python3 爬虫、数据清洗与可视化实战》，刚好适逢暑假，就尝试从携程页面对广州的周边游产品进行爬虫数据捕捉。 因为才学Python不够一个星期，python的命名规范还是不太了解，只能套用之前iOS开发的命名规范，有不足之处请多多指点
互联网相关企业在建立用户画像时一般除了基于用户维度（userid）建立一套用户标签体系外，还会基于用户使用设备维度（cookieid）建立相应的标签体系。
1）正好有些Spark连接HBase的需求，当个笔记本，到时候自己在写的时候，可以看
上次我们写过一个使用python批量获取携程酒店的信息，这次我们写一个使用python批量获取同程酒店的信息。话不多说，我们立马开始。
比如我写了一篇关于ABTest的文章，我希望这篇文章的阅读量能上2500，但是我没想好标题叫什么比较合适。一条推文的标题非常能影响到阅读量，于是我想了几个的标题：
如果之前看过我文章的同学就知道我在工作中搞的是推送系统，之前写过一篇 带你了解什么是Push消息推送，里面也提到了我们或许可以做ABTest，最终提高推送消息的点击率。
用户画像，即用户信息标签化，通过收集用户的社会属性、消费习惯、偏好特征等各个维度的数据，进而对用户或者产品特征属性进行刻画，并对这些特征进行分析、统计，挖掘潜在价值信息，从而抽象出用户的信息全貌。
审计该 CMS 中的内容只涉及到前台，后台中有存安全问题但对我来说没什么意义，所以没有过多的关注，感兴趣的朋友可以自己动动手。
Alter TABLE [dbo].[CustomerBackupConfig] Add [Stamp] [timestamp] NULLGO
关于二次排序主要涉及到这么几个东西： 在0.20.0 以前使用的是 setPartitionerClass setOutputkeyComparatorClass setOutputValueGroupingComparator 在0.20.0以后使用是 job.setPartitionerClass(Partitioner p); job.setSortComparatorClass(RawComparator c); job.setGroupingComparator
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
