发表于 | 分类于 | 评论数： | 阅读次数：

Hive版本为 apache-hive-0.13.1

这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数。

数据准备：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
CREATE EXTERNAL TABLE lxw1234 (
month    string,
day      string, 
cookieid string 
) ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
stored as textfile location '/tmp/lxw11/';
 
hive> select * from lxw1234;
OK
2015-03 2015-03-10      cookie1
2015-03 2015-03-10      cookie5
2015-03 2015-03-12      cookie7
2015-04 2015-04-12      cookie3
2015-04 2015-04-13      cookie2
2015-04 2015-04-13      cookie4
2015-04 2015-04-16      cookie4
2015-03 2015-03-10      cookie2
2015-03 2015-03-10      cookie3
2015-04 2015-04-12      cookie5
2015-04 2015-04-13      cookie6
2015-04 2015-04-15      cookie3
2015-04 2015-04-15      cookie2
2015-04 2015-04-16      cookie1

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

Hive版本为 apache-hive-0.13.1

备注： 这几个函数不支持WINDOW子句。

数据准备：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
CREATE EXTERNAL TABLE lxw1234 (
cookieid   string,
createtime string,      --页面访问时间
url        string       --被访问页面
) ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
stored as textfile location '/tmp/lxw11/';
 
hive> select * from lxw1234;
OK
cookie1 2015-04-10 10:00:02     url2
cookie1 2015-04-10 10:00:00     url1
cookie1 2015-04-10 10:03:04     1url3
cookie1 2015-04-10 10:50:05     url6
cookie1 2015-04-10 11:00:00     url7
cookie1 2015-04-10 10:10:00     url4
cookie1 2015-04-10 10:50:01     url5
cookie2 2015-04-10 10:00:02     url22
cookie2 2015-04-10 10:00:00     url11
cookie2 2015-04-10 10:03:04     1url33
cookie2 2015-04-10 10:50:05     url66
cookie2 2015-04-10 11:00:00     url77
cookie2 2015-04-10 10:10:00     url44
cookie2 2015-04-10 10:50:01     url55

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

Hive版本为 apache-hive-0.13.1

注意： 序列函数不支持WINDOW子句。（什么是WINDOW子句，点此查看前面的文章 ）

数据准备：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
CREATE EXTERNAL TABLE lxw1234 (
dept    string,
userid  string,
sal     int
) ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
stored as textfile location '/tmp/lxw11/';

hive> select * from lxw1234;
OK
d1      user1   1000
d1      user2   2000
d1      user3   3000
d2      user4   4000
d2      user5   5000

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

Hive版本为 apache-hive-0.13.1

备注：序列函数不支持WINDOW子句

数据准备：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
CREATE EXTERNAL TABLE lxw1234 (
  cookieid   string,
  createtime string,   --day 
  pv          int
) ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
stored as textfile location '/tmp/lxw11/';

hive> DESC lxw1234;
cookieid                string 
createtime              string 
pv                      int

hive> select * from lxw1234;
OK
cookie1 2015-04-10      1
cookie1 2015-04-11      5
cookie1 2015-04-12      7
cookie1 2015-04-13      3
cookie1 2015-04-14      2
cookie1 2015-04-15      4
cookie1 2015-04-16      4

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

Hive版本为 apache-hive-0.13.1

SUM、AVG、MIN、MAX，用于实现分组内所有和连续累积的统计。
备注：在低版本hive中，sum不支持窗口，语法不保存，但是结果是不对的

数据准备

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
CREATE EXTERNAL TABLE lxw1234 (
  cookieid   string,
  createtime string,   --day 
  pv          int
) ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
stored as textfile location '/tmp/lxw11/';

hive> DESC lxw1234;
cookieid                string 
createtime              string 
pv                      int

hive> select * from lxw1234;
OK
cookie1 2015-04-10      1
cookie1 2015-04-11      5
cookie1 2015-04-12      7
cookie1 2015-04-13      3
cookie1 2015-04-14      2
cookie1 2015-04-15      4
cookie1 2015-04-16      4

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

Hive进行UDF((User-Defined-Function))开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。

背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：

  1. 文件格式：Text File，Sequence File
  2. 内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text
  3. 用户提供的 map/reduce 脚本：不管什么语言，利用 stdin/stdout 传输数据
  4. 用户自定义函数: Substr, Trim, 1 – 1
  5. 用户自定义聚合函数: Sum, Average…… n – 1
阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

单列索引的长度的限制：5.6里面默认不能超过767bytes，5.7不超过3072bytes
起因是256×3-1=767。这个3是字符最大占用空间（utf8）。但是在5.5以后，开始支持4个字节的uutf8。255×4>767, 于是增加了一个参数叫做 innodb_large_prefix
备注：256的由来： 只是因为char最大是255，所以以前的程序员以为一个长度为255的index就够用了，所以设置这个256.历史遗留问题。

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

安装命令：

1
pip install --upgrade requests

报错内容：

1
Could not fetch URL https://pypi.org/simple/baostock/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host='pypi.org', port=443): Max retries exceeded with url: /simple/baostock/ (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:1045)'))) - skipping

阅读全文 »