生产环境使用Airflow

生产环境使用Airflow

Airflow是一个基于DAG(有向无环图)的任务管理系统airflow是airbnb家的基于DAG(有向无环图)的任务管理系统, 最简单的理解就是一个高级版的crontab, 他对标的是Azkaban,oozie,luigi, 为什么选airflow的原因在于, oozie实在是太古老了, luigi更新速度感人, Azkaban是java栈的, 对比下来airflow(1.8.1版本)是最能满足当下需求的了, 而且交互上的设计还是蛮优美的

技术 2021-03-24 AM 123℃ 0条
深入理解Supervisor事件机制

深入理解Supervisor事件机制

事件机制是在supervisor v3.0开始引入的一个高级特性, 常用情景是supervisor的报警系统事件协议事件机制是在supervisor v3.0开始引入的一个高级特性, 常用于守护程序崩溃时候的报警(发邮件/发短信)

技术 2021-03-24 AM 56℃ 0条
使用CasperJS生成长图片

使用CasperJS生成长图片

用CasperJS对网页进行截图, 并处理CentOS下的字体渲染问题最近有一个类似 生成微博长图片 类似的需求, 实现思路就是用类似PhantomJS的这种无GUI浏览器访问网页并截图CasperJSCasperJS是一个基于PhantomJS的工具套件, 相比原生的PhantomJS使用起来更人性化, 比如可以通过下面的代码来对网页截图

技术 2021-03-24 AM 62℃ 0条
一个奇怪的wait4行为

一个奇怪的wait4行为

一个奇怪的wait4行为OSX/Linux 下 signal handler 和 wait4同时使用引起的奇怪问题前言最近写Python的时候发现了一个Mac奇怪的问题, 代码逻辑大致为给SIGCHLD信号绑定一个singal handlerfork多个子进程, 子进程阻塞主进程使用wait来阻塞, 并打印关闭的子进程信息

默认分类 2021-03-24 AM 70℃ 0条
2017计划

2017计划

2016年总结与2017新年计划2017年过了好几天了, 看了一下 2016年计划 , 感觉整整一年过得还是蛮懵逼的, 仅以此文总结一下

思维 2021-03-24 AM 41℃ 0条