背景:
在使用crontab管理定时脚本时,如果设定的脚本执行时间间隔较短,例如5分钟执行一次,正常情况下,脚本执行耗时1分钟,在非正常情况下(如服务器压力较大的情况下,或数据量突然增大),脚本执行时间超过5分钟,这时就会造成多个脚本同时执行,严重时甚至拖垮服务器,影响服务器上的其它服务
举个例子,每10分钟更新mysql数据的脚本
1 | 5/* * * * * sh /services/scripts/update_mysql_data.sh |
通常情况下,脚本执行只需要30s,但是某天突然有人修改数据结构,造成锁表,脚本一直等待执行。超过5分钟的间隔够,脚本又会执行一次,最后等发现问题时,已经是业务方收到影响了
这时就需要Linux的文件锁-flock!
flock简介:
当多个进程可能会执行同一个脚本,这些进程需要保证其它进程没有在操作,以免重复执行。通常,这样的进程会使用一个「锁文件」,也就是建立一个文件来告诉别的进程自己在运行,如果检测到那个文件存在则认为有操作同样数据的进程在工作。
使用方法:
1 | flock -h |
了解flock了,我们就可以对上面的脚本进行改进
1 | 5/* * * * * flock -xn /services/scripts/update_mysql_data.lock -c 'sh /services/scripts/update_mysql_data.sh' |
当/services/scripts/update_mysql_data.lock
被进程占用时,别的进程就不会再重复执行文件。还有一个好处是,不需要手动释放锁,禁止执行完之后会自动释放对lock文件的占用