该系列包含三篇:
1、批量刷数据的写法,建议使用动态分区,尽量保证存量脚本和增量脚本是同一个,如果数据量少可以一次重刷,如果数据量多可以设置按月重刷
按月重刷的推荐写法:
1 | select * from tabel_name |
这个问题有点不好描述,当Hive表是ORC格式时,因为特定的某些字段、类型、where条件,写入到表中的数据会缺失几条,用presto执行同样的条件是正常的
以下面这个sql为例,导致出问题的字段和条件都标记出来了(吐槽下,本来是加一个字段的需求,然后数据突然不对了…泪崩)
先来看下两组sql
sql1:
1 | select |
需求:
在linux crontab中配置git定时拉取和提交的命令
如0 */1 * * * cd /services/apps/scripts && /usr/bin/git pull
在实际过程中,上述执行是会报错了的
默认情况下crontab的执行日志会以mail的形式返给当前用户,如果需要查看,直接在控制台执行mail命令就能看到执行日志
错误1:没有权限读取文件
原因:crontab中的运行环境和默认环境不一致,无法读取mac非User目录下的文件
解决方法:将文件夹迁移至User下