发表于 | 分类于 | 评论数： | 阅读次数：

解释：
substr($0,2) : 从字符串中的的第2个字符开始，直到结尾
substr($$0,2，10) : 从字符串中的的第2个字符开始，到第10个字符

示例：

1、截取固定字符串

1
> echo "this is a test,test" |awk -F ',' '{print substr($1,1,4)}'

2、根据字符串长度截取字符串

1
> echo "this is a test,test" |awk -F ',' '{print substr($0,1,length($0)-4)}'

发表于 | 分类于 | 评论数： | 阅读次数：

PostgreSQL性能不错，在部分场景下还可以弥补MySQL的不足，但是由于sql语法和mysql有较大的区别，而且增加了很多特性，所以稍微有一些学习成本。

更多PG的使用可以参考 PG手册

连接数据库

1
>  psql -h localhost -p 32770 -d postgres -U postgres

数据库相关命令

1
2
3
4
5
6
7
8
9
10
11
12
13
-- 列出所有数据库
postgres=# \l

-- 创建数据库
postgres=# create database test;

-- 切换数据库
postgres=# \c test;

-- 删除数据库
postgres=# drop database test;

-- 删除数据库时可能会报错： database "test" is being accessed by other users

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

  首先声明：kudu是个好东西，为什么了，因为配合kafka、kafka-connector、kudu、presto可以构建实时数仓，这点就够了。数据通过kafka、kafka-connector实时进kudu，然后每日把kudu中的数据导入到hdfs，亿级数据耗时分钟级。相比每日凌晨再把源文件同步到hive中，能减少很多同步数据的耗时，同时数据实时进kudu，能提高查询当日数据的效率。尽管在使用过程中有很多限制，但是仍然不影响在实际使用过程中的落地

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

简述

  PipelineDB是一个高性能的PostgreSQL扩展，用于在时间序列数据上连续运行SQL查询。这些连续查询的输出存储在常规表中，可以像查询任何其他表或视图一样查询这些表。因此，连续查询可以看作是非常高的吞吐量、增量更新的物化视图。与传统的实时计算引擎(storm、kafka streams等)相比，PipelineDB不需要写任何程序代码，只需要写SQL即可实现实时指标的聚合计算，统计实时指标开发耗时可以从原来的天级骤降到分钟级。

官方文档
PipelineDB文档地址：http://docs.pipelinedb.com/
PostgreSQL文档地址：https://www.postgresql.org/docs/11/index.html

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

首先介绍几个概念：虚拟IP、IP漂移、ARP协议

虚拟IP

  在TCP/IP的架构下，所有想上网的电脑，不论是用何种方式连上网路，都必须要有一个唯一的 IP-address。事实上IP地址是主机硬件地址的一种抽象，简单的说，MAC地址是物理地址，IP地址是逻辑地址。

虚拟IP，就是一个未分配给真实主机的IP，也就是说对外提供服务器的主机除了有一个真实IP外还有一个虚IP，使用这两个IP中的任意一个都可以连接到这台主机。

虚拟IP一般用作达到HA(High Availability)的目的,比如让所有项目中数据库链接一项配置的都是这个虚IP，当主服务器发生故障无法对外提供服务时，动态将这个虚IP切换到备用服务器。

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

背景：
数据库中保存的是utf8mb4格式的字符，但是命令行查出来后显示乱码，经检查，数据库配置和创建表时都已经指定utf8mb4。那么问题就出在命令行的显示上，解决办法如下
数据库本身安装时默认已经是使用utf8编码的了，但在命令行中执行查询时，查询到的中文依然乱码，解决方法如下：

方法一：命令行连接时指定编码

1
> mysql -hlocalhost -uroot -p123456 --default-character-set=utf8mb4

方法二：登录后设置客户端编码

1
2
3
4
5
6
7
> mysql -hlocahost -uroot -p123456
mysql> set names utf8mb4;

# set names utf8mb4 等同于同时运行了如下三条命令：
set character_set_client=utf8mb4;
set character_set_results=utf8mb4;
set character_set_connection=utf8mb4;

发表于 | 分类于 | 评论数： | 阅读次数：

背景：
公司的服务器都是通过跳板机登录，跳板机设置的30分钟空闲自动断开，有时又需要在服务器上跑一些控制台任务，任务执行时间太长，老是会被强制中断掉，还有一个问题就是一大早登录到服务器上，中午吃个饭，下午开个会，在回来看服务器上的脚本，发现又要重新输入密码、验证码，每天来来回回要重复很多次

鉴于上面的场景，对于保持ssh连接不断开有着强烈的需求

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

阅读前请先参考上一篇文章 技术架构图

数据库的选择可能是最有争议的，因为大部分场景很多数据库都能满足条件，它们之间的差异可能就是语法不同、使用方式不同等等，具体怎么选就要看实际情况了

现在的数据库类产品真的非常多，都是为了解决特定场景下的问题。常见的数据库类产品有：mysql、postgresql（pg）、tidb、kudu、clickhouse、palo、pipelinedb、cassandra、redis、mongodb、es、hbase等等。

对于核心业务数据库，几乎是没有争议的，大部分场景下选用mysql、oracle绝对没有错，Pg也是不错的选择；对于分析性场景，例如实时数据选用piplinedb、缓存数据选redis、mongodb、TB级数据的导入和实时复杂查询选palo或者clickhouse，TB级数据的实时点查选用kudu、TB级事务性数据库选tidb等等，当然这些选择只是参考，没有重度使用时，大部分数据库都能完成期望的功能。

阅读全文 »