Hive版本为 apache-hive-0.13.1
备注:序列函数不支持WINDOW子句
数据准备:
1 | CREATE EXTERNAL TABLE lxw1234 ( |
Hive版本为 apache-hive-0.13.1
备注:序列函数不支持WINDOW子句
数据准备:
1 | CREATE EXTERNAL TABLE lxw1234 ( |
Hive版本为 apache-hive-0.13.1
SUM、AVG、MIN、MAX,用于实现分组内所有和连续累积的统计。
备注:在低版本hive中,sum不支持窗口,语法不保存,但是结果是不对的
数据准备
1 | CREATE EXTERNAL TABLE lxw1234 ( |
Hive进行UDF((User-Defined-Function))开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。
单列索引的长度的限制:5.6里面默认不能超过767bytes,5.7不超过3072bytes
起因是256×3-1=767。这个3是字符最大占用空间(utf8)。但是在5.5以后,开始支持4个字节的uutf8。255×4>767, 于是增加了一个参数叫做 innodb_large_prefix
备注:256的由来: 只是因为char最大是255,所以以前的程序员以为一个长度为255的index就够用了,所以设置这个256.历史遗留问题。
安装命令:
1 | pip install --upgrade requests |
报错内容:
1 | Could not fetch URL https://pypi.org/simple/baostock/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host='pypi.org', port=443): Max retries exceeded with url: /simple/baostock/ (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:1045)'))) - skipping |
1、下载安装
需要本地有scala环境,下载对应的kafka版本即可,kafka下载地址 https://kafka.apache.org/downloads
2、基本概念
ESLint各种配置的详细、全面解释。
前言:配置中的的数字:0表示不处理,1表示警告,2表示错误并退出
说明
目前hive(版本0.12.0)支持简单的权限管理,默认情况下是不开启,这样所有的用户都具有相同的权限,同时也是超级管理员,也就对hive中的所有表都有查看和改动的权利,这样是不符合一般数据仓库的安全原则的。Hive可以是基于元数据的权限管理,也可以基于文件存储级别的权限管理,此次以介绍MetaData权限管理为主。通过以下配置开启Hive身份认证功能进行权限检查
开启启身份认证后,任何用户必须被grant privilege才能对实体进行操作。
1 | hive.security.authorization.enabled = true |
表示创建表时自动赋予一些用户或角色相应的权限
1 | hive.security.authorization.createtable.owner.grants = ALL |