发表于 | 分类于 | 评论数： | 阅读次数：

简述

  PipelineDB是一个高性能的PostgreSQL扩展，用于在时间序列数据上连续运行SQL查询。这些连续查询的输出存储在常规表中，可以像查询任何其他表或视图一样查询这些表。因此，连续查询可以看作是非常高的吞吐量、增量更新的物化视图。与传统的实时计算引擎(storm、kafka streams等)相比，PipelineDB不需要写任何程序代码，只需要写SQL即可实现实时指标的聚合计算，统计实时指标开发耗时可以从原来的天级骤降到分钟级。

官方文档
PipelineDB文档地址：http://docs.pipelinedb.com/
PostgreSQL文档地址：https://www.postgresql.org/docs/11/index.html

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

首先介绍几个概念：虚拟IP、IP漂移、ARP协议

虚拟IP

  在TCP/IP的架构下，所有想上网的电脑，不论是用何种方式连上网路，都必须要有一个唯一的 IP-address。事实上IP地址是主机硬件地址的一种抽象，简单的说，MAC地址是物理地址，IP地址是逻辑地址。

虚拟IP，就是一个未分配给真实主机的IP，也就是说对外提供服务器的主机除了有一个真实IP外还有一个虚IP，使用这两个IP中的任意一个都可以连接到这台主机。

虚拟IP一般用作达到HA(High Availability)的目的,比如让所有项目中数据库链接一项配置的都是这个虚IP，当主服务器发生故障无法对外提供服务时，动态将这个虚IP切换到备用服务器。

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

背景：
数据库中保存的是utf8mb4格式的字符，但是命令行查出来后显示乱码，经检查，数据库配置和创建表时都已经指定utf8mb4。那么问题就出在命令行的显示上，解决办法如下
数据库本身安装时默认已经是使用utf8编码的了，但在命令行中执行查询时，查询到的中文依然乱码，解决方法如下：

方法一：命令行连接时指定编码

1
> mysql -hlocalhost -uroot -p123456 --default-character-set=utf8mb4

方法二：登录后设置客户端编码

1
2
3
4
5
6
7
> mysql -hlocahost -uroot -p123456
mysql> set names utf8mb4;

# set names utf8mb4 等同于同时运行了如下三条命令：
set character_set_client=utf8mb4;
set character_set_results=utf8mb4;
set character_set_connection=utf8mb4;

发表于 | 分类于 | 评论数： | 阅读次数：

背景：
公司的服务器都是通过跳板机登录，跳板机设置的30分钟空闲自动断开，有时又需要在服务器上跑一些控制台任务，任务执行时间太长，老是会被强制中断掉，还有一个问题就是一大早登录到服务器上，中午吃个饭，下午开个会，在回来看服务器上的脚本，发现又要重新输入密码、验证码，每天来来回回要重复很多次

鉴于上面的场景，对于保持ssh连接不断开有着强烈的需求

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

阅读前请先参考上一篇文章 技术架构图

数据库的选择可能是最有争议的，因为大部分场景很多数据库都能满足条件，它们之间的差异可能就是语法不同、使用方式不同等等，具体怎么选就要看实际情况了

现在的数据库类产品真的非常多，都是为了解决特定场景下的问题。常见的数据库类产品有：mysql、postgresql（pg）、tidb、kudu、clickhouse、palo、pipelinedb、cassandra、redis、mongodb、es、hbase等等。

对于核心业务数据库，几乎是没有争议的，大部分场景下选用mysql、oracle绝对没有错，Pg也是不错的选择；对于分析性场景，例如实时数据选用piplinedb、缓存数据选redis、mongodb、TB级数据的导入和实时复杂查询选palo或者clickhouse，TB级数据的实时点查选用kudu、TB级事务性数据库选tidb等等，当然这些选择只是参考，没有重度使用时，大部分数据库都能完成期望的功能。

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

阅读前请先参考上一篇文章 技术架构图

网关的选择比较简单，可选择的比较少，当前主流的只有F5、HaProxy、Nginx、OpenResty

F5：
 F5负载均衡器是应用交付网络的全球领导者F5 Networks公司提供的一个负载均衡器专用设备，F5 BIG-IP LTM 的官方名称叫做本地流量管理器，可以做4-7层负载均衡，具有负载均衡、应用交换、会话交换、状态监控、智能网络地址转换、通用持续性、响应错误处理、IPv6网关、高级路由、智能端口镜像、SSL加速、智能HTTP压缩、TCP优化、第7层速率整形、内容缓冲、内容转换、连接加速、高速缓存、Cookie加密、选择性内容加密、应用攻击过滤、拒绝服务(DoS)攻击和SYN Flood保护、防火墙—包过滤、包消毒等功能。

阅读全文 »

发表于 | 分类于 | 评论数： | 阅读次数：

1、DDL（Data Definition Language）数据库定义语言statements are used to define the database structure or schema。
用于定义SQL模式、基本表、视图和索引的创建和撤消操作。
具体操作语法包括：CREATE、ALTER、DROP、TRUNCATE、COMMENT、RENAME

2、DML（Data Manipulation Language）数据操纵语言statements are used for managing data within schema objects.
数据操纵分成数据查询和数据更新两类。数据更新又分成插入、删除、和修改三种操作。
具体操作语法包括：SELECT、INSERT、UPDATE、DELETE、MERGE、CALL、EXPLAIN PLAN、LOCK TABLE

3、DCL（Data Control Language）数据库控制语言 授权，角色控制等
具体操作语法包括：GRANT（授权）、REVOKE（取消授权）

4、TCL（Transaction Control Language）事务控制语言
具体操作语法包括：SAVEPOINT（设置保存点）、ROLLBACK（回滚）、SET TRANSACTION**