JouyPub

MySQL日常命令

发表于 2017-07-01 | 分类于 MySQL | 评论数： | 阅读次数：

从文件中加载数据到数据库，类似hive的load data

1
2
3

load data infile '/tmp/t0.txt' ignore into table t0 character set gbk
fields terminated by ',' enclosed by '"'
lines terminated by '\n' (`name`,`age`,`description`);

Linux上安装MySQL时出现不兼容的解决办法 http://www.linuxidc.com/Linux/2012-06/62156.htm

阅读全文 »

Hive日常操作

发表于 2017-06-30 | 分类于 BigData | 评论数： | 阅读次数：

模糊搜索表：show tables like '*name*';

查看表结构：desc table_name
查看表的详细信息：desc formatted table_name

查看分区信息：show partitions table_name;
根据分区查询数据：select table_coulm from table_name where partition_name = '2018-11-01';
删除分区：alter table table_name drop partition(dt='2018-11-01');

阅读全文 »

Tez安装使用

发表于 2017-06-22 | 分类于 BigData | 评论数： | 阅读次数：

简介

tez全表查询时需要每个分区都存在，否则回报错，比如left join

编译,安装依赖

1、maven安装

1 2	> wget http://download.nus.edu.sg/mirror/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz > tar -xzf apache-maven-3.3.9-bin.tar.gz

再把mvn命令配置到/etc/profile文件中

2、protoc安装

> wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz
> tar -xzf apache-maven-3.3.9-bin.tar.gz
# 编译安装
> ./configure && make && make install

可能会缺少依赖，建议编译前先吧所有的依赖都装上 yum groupinstall -y "Development Tools"

3、tez

> wget http://download.nus.edu.sg/mirror/apache/tez/0.8.3/apache-tez-0.8.3-src.tar.gz
> tar -xzf apache-tez-0.8.3-src.tar.gz

# 编译打包，默认hadoop2.6，如果集群不是hadoop2.6，需要修改pom.xml中的Hadoop version
> mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

编译后的包在tez-dist/target/目录下

阅读全文 »

Docker常用命令

发表于 2017-06-21 | 分类于日常开发 | 评论数： | 阅读次数：

查看docker基本信息 docker info

查看镜像 docker images

获取镜像

1 2	docker pull # 例： docker pull centos:6

阅读全文 »