发表于 | 分类于 | 阅读次数：

由于没有保留现场，本文直接转载另一篇文章做参考：https://pureage.info/2013/09/02/125.html

问题概述
 今天第一次在nginx+lua架构下，写了个需要操作Redis的后台接口，但是在判断空值时，结果和预期不一样

主要代码如下

1
2
3
4
local md5,err=red:hget(tasklist,"md5")  
if md5 and  md5 ~= ""  then  
    tb.md5=md5  
end

当md5不为空时才赋值，如果为空就过滤掉，可实际结果是md5为空，但是仍然执行了tb.md5=md5，然后猜测是不是null字符串导致的，于是将上面的几行代码改为：

1
2
3
4
local md5,err=red:hget(tasklist,"md5")  
if md5 and  md5 ~= “null”  then  
    tb.md5=md5  
end

仍然过滤失败，再次猜测可能是类型不对导致的

1
ngx.say("type of null is "..type(md5))

阅读全文 »

发表于 | 分类于 | 阅读次数：

在OpenResty的access.log中，默认的时间格式是[13/Dec/2019:13:42:53 +0800]，对于这种时间格式，不便于识别。所以打算修改成[2019-12-13 13:42:53]这种便于识别的格式

方法有两种，一种是修改源码，然后重新编译，现在不考虑。另一种是新增一个日期函数。

  1. 在http模块下新增一个日期函数

    1
    2
    3
    log_by_lua_block {
        ngx.var.fmt_localtime = ngx.localtime();
    }

  2. 配置日期函数

    1
    2
    3
    map $host $fmt_localtime {
        default '';
    }

  3. 使用该函数

    1
    2
    log_format  main  '$remote_addr[$http_x_forwarded_for] [$fmt_localtime] "$http_host" "$content_type" "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"';
    access_log logs/access.log main;
阅读全文 »

发表于 | 分类于 | 阅读次数：

场景：
拷贝指定目录下的部分文件到另外一个目录，如果是简单的前缀或者后缀匹配可以通过*.conf等类似的方式来操作，但是如果有更复杂的需求，比如排除一些文件，只拷贝文件，简单的cp已经不能胜任了，就需要配置find一起使用

两个命令连用，第一个想到的就是xargs，但是这里有点区别，xargs默认会把上一个命令的执行结果带入到下一个命令的末尾，这样在使用cp时就有问题了，举例说明：

1
2
3
4
> find /data/ -type f -name "*.txt" | xargs cp ./dist

# 实际结果是
> find /data/ -type f -name "*.txt" | xargs cp ./dist #{find的结果}

这样执行结果会报错，和预期是相反的

阅读全文 »

发表于 | 分类于 | 阅读次数：

如果是Nginx，可以参考上一篇文章Nginx配置永久免费的SSL证书，由于cerbot自带nginx的插件，所以nginx的话，一个命令就完成了，但是在使用operensty时，操作上还是有点差异

1、安装certbot

1
> yum install certbot

2、在openresty的根目录下新建.well-known的目录，如果是默认安装，根路径是/usr/local/openresty/nginx/html/

1
2
> cd /usr/local/openresty/nginx/html/
> mkdir .well-known

3、在openresty的server配置中新增.well-known/的访问路径

1
2
3
location /.well-known/ {
    root /usr/local/openresty/nginx/html;
}

阅读全文 »

发表于 | 分类于 | 阅读次数：

解释：
substr($0,2) : 从字符串中的的第2个字符开始，直到结尾
substr($$0,2，10) : 从字符串中的的第2个字符开始，到第10个字符

示例：

1、截取固定字符串

1
> echo "this is a test,test" |awk -F ',' '{print substr($1,1,4)}'

2、根据字符串长度截取字符串

1
> echo "this is a test,test" |awk -F ',' '{print substr($0,1,length($0)-4)}'

发表于 | 分类于 | 阅读次数：

PostgreSQL性能不错，在部分场景下还可以弥补MySQL的不足，但是由于sql语法和mysql有较大的区别，而且增加了很多特性，所以稍微有一些学习成本。

更多PG的使用可以参考 PG手册

连接数据库

1
>  psql -h localhost -p 32770 -d postgres -U postgres

数据库相关命令

1
2
3
4
5
6
7
8
9
10
11
12
13
-- 列出所有数据库
postgres=# \l

-- 创建数据库
postgres=# create database test;

-- 切换数据库
postgres=# \c test;

-- 删除数据库
postgres=# drop database test;

-- 删除数据库时可能会报错： database "test" is being accessed by other users

阅读全文 »

发表于 | 分类于 | 阅读次数：

  首先声明：kudu是个好东西，为什么了，因为配合kafka、kafka-connector、kudu、presto可以构建实时数仓，这点就够了。数据通过kafka、kafka-connector实时进kudu，然后每日把kudu中的数据导入到hdfs，亿级数据耗时分钟级。相比每日凌晨再把源文件同步到hive中，能减少很多同步数据的耗时，同时数据实时进kudu，能提高查询当日数据的效率。尽管在使用过程中有很多限制，但是仍然不影响在实际使用过程中的落地

阅读全文 »

发表于 | 分类于 | 阅读次数：

简述

  PipelineDB是一个高性能的PostgreSQL扩展，用于在时间序列数据上连续运行SQL查询。这些连续查询的输出存储在常规表中，可以像查询任何其他表或视图一样查询这些表。因此，连续查询可以看作是非常高的吞吐量、增量更新的物化视图。与传统的实时计算引擎(storm、kafka streams等)相比，PipelineDB不需要写任何程序代码，只需要写SQL即可实现实时指标的聚合计算，统计实时指标开发耗时可以从原来的天级骤降到分钟级。

官方文档
PipelineDB文档地址：http://docs.pipelinedb.com/
PostgreSQL文档地址：https://www.postgresql.org/docs/11/index.html

阅读全文 »