From 485c25a856ea17a2cff70867afce4ce293860c6e Mon Sep 17 00:00:00 2001 From: "xueli.xue" Date: Thu, 11 May 2017 22:22:50 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0RM?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- README.md | 94 +++++++++++++++++++++++++++---------------------------- 1 file changed, 46 insertions(+), 48 deletions(-) diff --git a/README.md b/README.md index 2bcf0faf..32634387 100644 --- a/README.md +++ b/README.md @@ -64,6 +64,7 @@ XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是 - 20、博莹科技（上海）有限公司 - 21、成都依能股份有限责任公司 - 22、湖南高阳通联信息技术有限公司 + - 23、深圳市邦德文化发展有限公司 - …… 欢迎大家的关注和使用，XXL-JOB也将拥抱变化，持续发展。 @@ -98,7 +99,7 @@ XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是 #### Download: 历史Release版本下载位置如下图所示,请自行前往进行选择和下载。 -![输入图片说明](https://static.oschina.net/uploads/img/201705/08194456_PQTn.png "在这里输入图片标题") +![输入图片说明](https://static.oschina.net/uploads/img/201705/11214119_80Ma.png "在这里输入图片标题") ### 1.5 环境 - JDK：1.7+ @@ -112,20 +113,21 @@ XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是 ## 二、快速入门 ### 2.1 初始化“调度数据库” -请下载项目源码并解压，获取 "调度数据库初始化SQL脚本"(脚本文件为: 源码解压根目录\xxl-job\db\tables_xxl_job.sql) 并执行即可。正常情况下,应该生成如下图所示16张表; +请下载项目源码并解压，获取 "调度数据库初始化SQL脚本"(脚本文件为: 源码解压根目录\xxl-job\db\tables_xxl_job.sql) 并执行即可。正常情况下,应该生成16张表; -![输入图片说明](https://static.oschina.net/uploads/img/201703/10181507_8psZ.png "在这里输入图片标题") +调度中心支持集群部署，集群情况下各节点务必连接同一个mysql实例; -调度中心集群情况下,集群节点务必连接同一个mysql实例;如果mysql做主从,调度中心集群节点务必强制走主库; +如果mysql做主从,调度中心集群节点务必强制走主库; ### 2.2 编译源码 解压源码,按照maven格式将源码导入IDE, 使用maven进行编译即可，源码结构如下图所示： -![输入图片说明](https://static.oschina.net/uploads/img/201607/23222522_JGCc.png "在这里输入图片标题") +![输入图片说明](https://static.oschina.net/uploads/img/201705/11214348_aGgr.png "在这里输入图片标题") - - xxl-job-admin：调度中心 - - xxl-job-core：公共依赖 - - xxl-job-executor-example：执行器（可直接使用该执行器，也可以将现有项目改造成执行器使用） + xxl-job-admin：调度中心 + xxl-job-core：公共依赖 + xxl-job-executor-example：执行器Example（可直接使用执行器Example，也可以将现有项目改造成执行器使用） + xxl-job-executor-springboot-example：执行器Example，springboot版本 ### 2.3 配置部署“调度中心” @@ -135,18 +137,15 @@ XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是 #### 调度中心配置： 配置文件以及配置属性如下图所示。 -![输入图片说明](https://static.oschina.net/uploads/img/201703/10172754_5DUl.png "在这里输入图片标题") - +![输入图片说明](https://static.oschina.net/uploads/img/201705/11214752_Ifvp.png "在这里输入图片标题") + + ### 调度中心JDBC链接：链接地址请保持和 2.1章节 所创建的调度数据库的地址一致 xxl.job.db.driverClass=com.mysql.jdbc.Driver xxl.job.db.url=jdbc:mysql://localhost:3306/xxl-job?useUnicode=true&characterEncoding=UTF-8 xxl.job.db.user=root xxl.job.db.password=root_pwd - ### “调度中心”任务回调服务地址：“执行器”将会回调该地址通知任务执行结果，改地址将会用于回调服务注册。回调服务默认端口为8888，回调IP默认为空表示自动获取IP，多网卡时可手动设置指定IP； - xxl.job.callBackIp= - xxl.job.callBackPort=8888 - ### 报警邮箱 xxl.job.mail.host=smtp.163.com xxl.job.mail.port=25 @@ -175,16 +174,13 @@ XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是 #### 执行器配置： 配置文件以及配置属性如下图所示。 -![输入图片说明](https://static.oschina.net/uploads/img/201705/02182818_WeyS.png "在这里输入图片标题") +![输入图片说明](https://static.oschina.net/uploads/img/201705/11214800_7G3o.png "在这里输入图片标题") - ### xxl-job db：执行器JDBC链接：请保持和调度中心JDBC连接配置一致；(执行器 "DbRegistHelper" 依赖JDBC配置；推荐将其抽象为RPC远程服务, 可取消对JDBC的依赖；如不启用执行自动注册功能，也可忽略JDBC配置; ) - xxl.job.db.driverClass=com.mysql.jdbc.Driver - xxl.job.db.url=jdbc:mysql://localhost:3306/xxl-job?useUnicode=true&characterEncoding=UTF-8 - xxl.job.db.user=root - xxl.job.db.password=root_pwd + ### xxl-job admin address list：调度中心部署跟地址：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"。 + xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin - ### xxl-job executor address：执行器"AppName"和地址信息配置：AppName为执行器分组依据。“调度中心”将会请求该地址触发任务，改地址将会用于执行器注册。执行器默认端口为9999，执行器IP默认为空表示自动获取IP，多网卡时可手动设置指定IP； + ### xxl-job executor address：执行器"AppName"和地址信息配置：AppName执行器心跳注册分组依据；地址信息用于"调度中心请求并触发任务"和"执行器注册"。执行器默认端口为9999，执行器IP默认为空表示自动获取IP，多网卡时可手动设置指定IP； xxl.job.executor.appname=xxl-job-executor-example xxl.job.executor.ip= xxl.job.executor.port=9999 @@ -196,11 +192,10 @@ XXL-JOB是一个轻量级分布式任务调度框架，其核心设计目标是 #### 组件配置： 配置内容如下图所示。 -![输入图片说明](https://static.oschina.net/uploads/img/201704/27204724_WW5m.png "在这里输入图片标题") +![输入图片说明](https://static.oschina.net/uploads/img/201705/11220120_vZXB.png "在这里输入图片标题") 1、JobHandler 扫描路径：自动扫描容器中JobHandler； - 2、执行器注册器(XxlJobExecutor.registHelper): 默认使用系统提供的 "DbRegistHelper"(依赖JDBC), 推荐将其抽象为RPC远程服务, 可取消对JDBC的依赖；如不启用执行自动注册功能，也可忽略JDBC配置; ) - 3、XXL-JOB公共数据源 "xxlJobDataSource": 仅在启动 "DbRegistHelper" 或 "DbGlueLoader" 时才需要, 否则可删除 + 2、执行器注册器：执行器核心配置； #### 部署项目： 至此“执行器”项目已经部署结束。 @@ -541,17 +536,20 @@ CronTrigger cronTrigger = TriggerBuilder.newTrigger().withIdentity(triggerKey).w ``` ##### 5.4.7 日志回调服务 -调度模块的“调度中心”作为Web服务单独部署，除此之外，内部嵌入jetty服务器提供日志回调服务。 +调度模块的“调度中心”作为Web服务部署时，一方面承担调度中心功能，另一方面页为执行器提供API服务。 -“执行器”在接收到任务执行请求后，执行任务，在执行结束之后会将执行结果回调通知“调度中心”，回调端口如下图所示（参数：xxl.job.callBackPort）。 +调度中心提供的"日志回调服务API服务"代码位置如下： +``` +xxl-job-admin#com.xxl.job.admin.controller.JobApiController.callback +``` -![输入图片说明](https://static.oschina.net/uploads/img/201703/10172754_5DUl.png "在这里输入图片标题") +“执行器”在接收到任务执行请求后，执行任务，在执行结束之后会将执行结果回调通知“调度中心”，代码位置为： ##### 5.4.8 任务HA（Failover） 执行器如若集群部署，调度中心将会感知到在线的所有执行器，如“127.0.0.1:9997, 127.0.0.1:9998, 127.0.0.1:9999”。 当任务"路由策略"选择"故障转移(FAILOVER)"时，当调度中心每次发起调度请求时，会按照顺序对执行器发出心跳检测请求，第一个检测为存活状态的执行器将会被选定并发送调度请求。 -![输入图片说明](https://static.oschina.net/uploads/img/201703/12230049_EBkr.png "在这里输入图片标题") +![输入图片说明](https://static.oschina.net/uploads/img/201705/11221144_P128.png "在这里输入图片标题") 调度成功后，可在日志监控界面查看“调度备注”，如下； ![输入图片说明](https://static.oschina.net/uploads/img/201703/12230733_jrdI.png "在这里输入图片标题") @@ -591,16 +589,26 @@ CronTrigger cronTrigger = TriggerBuilder.newTrigger().withIdentity(triggerKey).w ![输入图片说明](https://static.oschina.net/uploads/img/201607/24194212_jOAU.png "在这里输入图片标题") -#### 5.5 执行模块剖析 -##### 5.5.1 Bean模式任务 -开发步骤：见章节三； +#### 5.5 任务 "运行模式" 剖析 +##### 5.5.1 "Bean模式" 任务 +开发步骤：可参考 "章节三" ； 原理：每个Bean模式任务都是一个Spring的Bean类实例，它被维护在“执行器”项目的Spring容器中。任务类需要加“@JobHander(value="名称")”注解，因为“执行器”会根据该注解识别Spring容器中的任务。任务类需要继承统一接口“IJobHandler”，任务逻辑在execute方法中开发，因为“执行器”在接收到调度中心的调度请求时，将会调用“IJobHandler”的execute方法，执行任务逻辑。 -##### 5.5.2 GLUE模式任务 -开发步骤：见章节三； -原理：每个Glue任务的代码，实际上是“一个继承自“IJobHandler”的实现类的类代码”，“执行器”接收到“调度中心”的调度请求时，会通过Groovy类加载器加载此代码，实例化成Java对象，同时注入此代码中声明的Spring服务（请确保Glue代码中的服务和类引用在“执行器”项目中存在），然后调用该对象的execute方法，执行任务逻辑。 +##### 5.5.2 "GLUE模式(Java)" 任务 +开发步骤：可参考 "章节三" ； +原理：每个 "GLUE模式(Java)" 任务的代码，实际上是“一个继承自“IJobHandler”的实现类的类代码”，“执行器”接收到“调度中心”的调度请求时，会通过Groovy类加载器加载此代码，实例化成Java对象，同时注入此代码中声明的Spring服务（请确保Glue代码中的服务和类引用在“执行器”项目中存在），然后调用该对象的execute方法，执行任务逻辑。 + +#### 5.5.3 GLUE模式(Shell) + GLUE模式(Python) +开发步骤：可参考 "章节三" ； +原理：脚本任务的源码托管在调度中心，脚本逻辑在执行器运行。当触发脚本任务时，执行器会加载脚本源码在执行器机器上生成一份脚本文件，然后通过Java代码调用该脚本；并且实时将脚本输出日志写到任务日志文件中，从而在调度中心可以实时监控脚本运行情况；脚本返回码为0时表示执行成功，其他标示执行失败。 -##### 5.5.3 执行器 +目前支持的脚本类型如下： + + - shell脚本：任务运行模式选择为 "GLUE模式(Shell)"时支持 "shell" 脚本任务； + - python脚本：任务运行模式选择为 "GLUE模式(Python)"时支持 "python" 脚本任务； + + +##### 5.5.4 执行器 执行器实际上是一个内嵌的Jetty服务器，默认端口9999，如下图配置文件所示（参数：xxl.job.executor.port）。 ![输入图片说明](https://static.oschina.net/uploads/img/201703/10174923_TgNO.png "在这里输入图片标题") @@ -609,7 +617,7 @@ CronTrigger cronTrigger = TriggerBuilder.newTrigger().withIdentity(triggerKey).w “执行器”接收到“调度中心”的调度请求时，如果任务类型为“Bean模式”，将会匹配Spring容器中的“Bean模式任务”，然后调用其execute方法，执行任务逻辑。如果任务类型为“GLUE模式”，将会加载GLue代码，实例化Java对象，注入依赖的Spring服务（注意：Glue代码中注入的Spring服务，必须存在与该“执行器”项目的Spring容器中），然后调用execute方法，执行任务逻辑。 -##### 5.5.4 任务日志 +##### 5.5.5 任务日志 XXL-JOB会为每次调度请求生成一个单独的日志文件，需要通过 "XxlJobLogger.log" 打印执行日志，“调度中心”查看执行日志时将会加载对应的日志文件。 (历史版本通过重写LOG4J的Appender实现，存在依赖限制，该方式在新版本已经被抛弃) @@ -623,10 +631,10 @@ XXL-JOB会为每次调度请求生成一个单独的日志文件，需要通过 ##### 5.6.1 一次完整的任务调度通讯流程 - 1、“调度中心”向“执行器”发送http调度请求: “执行器”中接收请求的服务，实际上是一台内嵌jetty服务器，默认端口9999; - 2、“执行器”执行任务逻辑； - - 3、“执行器”http回调“调度中心”调度结果: “调度中心”中接收回调的服务，实际上是一台内嵌jetty服务器，默认端口8888; + - 3、“执行器”http回调“调度中心”调度结果: “调度中心”中接收回调的服务，是针对执行器开放一套API服务; ##### 5.6.2 通讯数据加密 -调度中心与执行器之间使用RequestModel和ResponseModel两个对象封装调度请求参数和响应数据, 在进行通讯之前底层会将上述两个对象对象序列化字节数组,最终转化成16进制数据进行数据交互,从而达到数据加密的功能; +调度中心向执行器发送的调度请求时使用RequestModel和ResponseModel两个对象封装调度请求参数和响应数据, 在进行通讯之前底层会将上述两个对象对象序列化，并进行数据协议以及时间戳检验,从而达到数据加密的功能; #### 5.7 任务注册, 任务自动发现 自v1.5版本之后, 任务取消了"任务执行机器"属性, 改为通过任务注册和自动发现的方式, 动态获取远程执行器地址并执行。 @@ -654,16 +662,6 @@ XXL-JOB会为每次调度请求生成一个单独的日志文件，需要通过 当返回值符合 "ReturnT.code == ReturnT.SUCCESS_CODE" 时表示任务执行成功，否则表示任务执行失败，而且可以通过 "ReturnT.msg" 回调错误信息给调度中心； 从而，在任务逻辑中可以方便的控制任务执行结果； -#### 5.10 脚本任务 -目前支持的脚本类型如下，脚本任务可参考章节 "三、任务详解"： - - - shell脚本：任务运行模式选择为 "GLUE模式(Shell)"时支持 "shell" 脚本任务； - - python脚本：任务运行模式选择为 "GLUE模式(Python)"时支持 "python" 脚本任务； - -脚本任务的源码托管在调度中心，脚本逻辑在执行器运行。当触发脚本任务时，执行器会加载脚本源码在执行器机器上生成一份脚本文件，然后通过Java代码调用该脚本； -并且实时将脚本输出日志写到任务日志文件中，从而在调度中心可以实时监控脚本运行情况； - -脚本返回码为0时表示执行成功，其他标示执行失败。 ## 六、版本更新日志 #### 6.1 版本 V1.1.x，新特性[2015-12-05]