发表于 | 分类于 | 评论数： | 阅读次数：

场景：
拷贝指定目录下的部分文件到另外一个目录，如果是简单的前缀或者后缀匹配可以通过*.conf等类似的方式来操作，但是如果有更复杂的需求，比如排除一些文件，只拷贝文件，简单的cp已经不能胜任了，就需要配置find一起使用

两个命令连用，第一个想到的就是xargs，但是这里有点区别，xargs默认会把上一个命令的执行结果带入到下一个命令的末尾，这样在使用cp时就有问题了，举例说明：

1
2
3
4
> find /data/ -type f -name "*.txt" | xargs cp ./dist

# 实际结果是
> find /data/ -type f -name "*.txt" | xargs cp ./dist #{find的结果}

这样执行结果会报错，和预期是相反的

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

如果是Nginx，可以参考上一篇文章Nginx配置永久免费的SSL证书，由于cerbot自带nginx的插件，所以nginx的话，一个命令就完成了，但是在使用operensty时，操作上还是有点差异

1、安装certbot

1
> yum install certbot

2、在openresty的根目录下新建.well-known的目录，如果是默认安装，根路径是/usr/local/openresty/nginx/html/

1
2
> cd /usr/local/openresty/nginx/html/
> mkdir .well-known

3、在openresty的server配置中新增.well-known/的访问路径

1
2
3
location /.well-known/ {
    root /usr/local/openresty/nginx/html;
}

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

解释：
substr($0,2) : 从字符串中的的第2个字符开始，直到结尾
substr($$0,2，10) : 从字符串中的的第2个字符开始，到第10个字符

示例：

1、截取固定字符串

1
> echo "this is a test,test" |awk -F ',' '{print substr($1,1,4)}'

2、根据字符串长度截取字符串

1
> echo "this is a test,test" |awk -F ',' '{print substr($0,1,length($0)-4)}'

发表于 | 分类于 | 评论数： | 阅读次数：

PostgreSQL性能不错，在部分场景下还可以弥补MySQL的不足，但是由于sql语法和mysql有较大的区别，而且增加了很多特性，所以稍微有一些学习成本。

更多PG的使用可以参考 PG手册

连接数据库

1
>  psql -h localhost -p 32770 -d postgres -U postgres

数据库相关命令

1
2
3
4
5
6
7
8
9
10
11
12
13
-- 列出所有数据库
postgres=# \l

-- 创建数据库
postgres=# create database test;

-- 切换数据库
postgres=# \c test;

-- 删除数据库
postgres=# drop database test;

-- 删除数据库时可能会报错： database "test" is being accessed by other users

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

  首先声明：kudu是个好东西，为什么了，因为配合kafka、kafka-connector、kudu、presto可以构建实时数仓，这点就够了。数据通过kafka、kafka-connector实时进kudu，然后每日把kudu中的数据导入到hdfs，亿级数据耗时分钟级。相比每日凌晨再把源文件同步到hive中，能减少很多同步数据的耗时，同时数据实时进kudu，能提高查询当日数据的效率。尽管在使用过程中有很多限制，但是仍然不影响在实际使用过程中的落地

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

简述

  PipelineDB是一个高性能的PostgreSQL扩展，用于在时间序列数据上连续运行SQL查询。这些连续查询的输出存储在常规表中，可以像查询任何其他表或视图一样查询这些表。因此，连续查询可以看作是非常高的吞吐量、增量更新的物化视图。与传统的实时计算引擎(storm、kafka streams等)相比，PipelineDB不需要写任何程序代码，只需要写SQL即可实现实时指标的聚合计算，统计实时指标开发耗时可以从原来的天级骤降到分钟级。

官方文档
PipelineDB文档地址：http://docs.pipelinedb.com/
PostgreSQL文档地址：https://www.postgresql.org/docs/11/index.html

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

首先介绍几个概念：虚拟IP、IP漂移、ARP协议

虚拟IP

  在TCP/IP的架构下，所有想上网的电脑，不论是用何种方式连上网路，都必须要有一个唯一的 IP-address。事实上IP地址是主机硬件地址的一种抽象，简单的说，MAC地址是物理地址，IP地址是逻辑地址。

虚拟IP，就是一个未分配给真实主机的IP，也就是说对外提供服务器的主机除了有一个真实IP外还有一个虚IP，使用这两个IP中的任意一个都可以连接到这台主机。

虚拟IP一般用作达到HA(High Availability)的目的,比如让所有项目中数据库链接一项配置的都是这个虚IP，当主服务器发生故障无法对外提供服务时，动态将这个虚IP切换到备用服务器。

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

背景：
数据库中保存的是utf8mb4格式的字符，但是命令行查出来后显示乱码，经检查，数据库配置和创建表时都已经指定utf8mb4。那么问题就出在命令行的显示上，解决办法如下
数据库本身安装时默认已经是使用utf8编码的了，但在命令行中执行查询时，查询到的中文依然乱码，解决方法如下：

方法一：命令行连接时指定编码

1
> mysql -hlocalhost -uroot -p123456 --default-character-set=utf8mb4

方法二：登录后设置客户端编码

1
2
3
4
5
6
7
> mysql -hlocahost -uroot -p123456
mysql> set names utf8mb4;

# set names utf8mb4 等同于同时运行了如下三条命令：
set character_set_client=utf8mb4;
set character_set_results=utf8mb4;
set character_set_connection=utf8mb4;