diff --git a/README.md b/README.md index a49bd3ec..23b46ba9 100644 --- a/README.md +++ b/README.md @@ -117,32 +117,32 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 至今，XXL-JOB已接入多家公司的线上产品线，接入场景如电商业务，O2O业务和大数据作业等，截止最新统计时间为止，XXL-JOB已接入的公司包括不限于： - - 1、大众点评； + - 1、大众点评【美团点评】 - 2、山东学而网络科技有限公司； - 3、安徽慧通互联科技有限公司； - 4、人人聚财金服； - 5、上海棠棣信息科技股份有限公司 - - 6、运满满 - - 7、米其林 (中国区) + - 6、运满满【运满满】 + - 7、米其林 (中国区)【米其林】 - 8、妈妈联盟 - 9、九樱天下（北京）信息技术有限公司 - - 10、万普拉斯科技有限公司(一加手机) + - 10、万普拉斯科技有限公司【一加手机】 - 11、上海亿保健康管理有限公司 - - 12、海尔馨厨 (海尔) + - 12、海尔馨厨【海尔】 - 13、河南大红包电子商务有限公司 - 14、成都顺点科技有限公司 - 15、深圳市怡亚通 - 16、深圳麦亚信科技股份有限公司 - 17、上海博莹科技信息技术有限公司 - - 18、中国平安科技有限公司 + - 18、中国平安科技有限公司【中国平安】 - 19、杭州知时信息科技有限公司 - 20、博莹科技（上海）有限公司 - 21、成都依能股份有限责任公司 - 22、湖南高阳通联信息技术有限公司 - 23、深圳市邦德文化发展有限公司 - 24、福建阿思可网络教育有限公司 - - 25、优信二手车 - - 26、上海悠游堂投资发展股份有限公司 + - 25、优信二手车【优信】 + - 26、上海悠游堂投资发展股份有限公司【悠游堂】 - 27、北京粉笔蓝天科技有限公司 - 28、中秀科技(无锡)有限公司 - 29、武汉空心科技有限公司 @@ -150,7 +150,7 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 31、四川互宜达科技有限公司 - 32、钱包行云（北京）科技有限公司 - 33、重庆欣才集团 - - 34、咪咕互动娱乐有限公司（中国移动） + - 34、咪咕互动娱乐有限公司【中国移动】 - 35、北京诺亦腾科技有限公司 - 36、增长引擎(北京)信息技术有限公司 - 37、北京英贝思科技有限公司 @@ -163,7 +163,7 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 44、圳临界线网络科技有限公司 - 45、广州知识圈网络科技有限公司 - 46、国誉商业上海有限公司 - - 47、海尔消费金融有限公司，嗨付、够花 (海尔) + - 47、海尔消费金融有限公司，嗨付、够花【海尔】 - 48、广州巴图鲁信息科技有限公司 - 49、深圳市鹏海运电子数据交换有限公司 - 50、深圳市亚飞电子商务有限公司 @@ -174,7 +174,7 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 55、中商惠民(北京)电子商务有限公司 - 56、凯京集团 - 57、华夏票联（北京）科技有限公司 - - 58、拍拍贷 + - 58、拍拍贷【拍拍贷】 - 59、北京尚德机构在线教育有限公司 - 60、任子行股份有限公司 - 61、北京时态电子商务有限公司 @@ -200,22 +200,22 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 81、深圳小安时代互联网金融服务有限公司 - 82、湖北享七网络科技有限公司 - 83、钱包行云(北京)科技有限公司 - - 84、360金融 (360) + - 84、360金融【360】 - 85、易企秀 - 86、摩贝（上海）生物科技有限公司 - 87、广东芯智慧科技有限公司 - - 88、联想集团 (联想) + - 88、联想集团【联想】 - 89、怪兽充电 - 90、行圆汽车 - 91、深圳店店通科技邮箱公司 - - 92、京东 (京东) + - 92、京东【京东】 - 93、米庄理财 - 94、咖啡易融 - 95、梧桐诚选 - - 96、恒大地产 (恒大) + - 96、恒大地产【恒大】 - 97、昆明龙慧 - 98、上海涩瑶软件 - - 99、易信 (网易) + - 99、易信【网易】 - 100、铜板街 - 101、杭州云若网络科技有限公司 - 102、特百惠（中国）有限公司 @@ -241,17 +241,17 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 122、多粉平台 - 123、铁甲二手机 - 124、上海海新得数据技术有限公司 - - 125、深圳市珍爱网信息技术有限公司 (珍爱网) + - 125、深圳市珍爱网信息技术有限公司【珍爱网】 - 126、小蜜蜂 - 127、吉荣数科技 - 128、上海恺域信息科技有限公司 - - 129、广州荔支网络有限公司(荔枝FM) + - 129、广州荔支网络有限公司【荔枝FM】 - 130、杭州闪宝科技有限公司 - 131、北京互联新网科技发展有限公司 - 132、誉道科技 - 133、山西兆盛房地产开发有限公司 - 134、北京蓝睿通达科技有限公司 - - 135、月亮小屋（中国）有限公司（蓝月亮） + - 135、月亮小屋（中国）有限公司【蓝月亮】 - 136、青岛国瑞信息技术有限公司 - 137、博雅云计算（北京）有限公司 - 138、华泰证券香港子公司 @@ -259,7 +259,7 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 140、武汉博晟安全技术股份有限公司 - 141、深圳市六度人和科技有限公司 - 142、杭州趣维科技有限公司（小影） - - 143、宁波单车侠之家科技有限公司（单车侠） + - 143、宁波单车侠之家科技有限公司【单车侠】 - 144、丁丁云康信息科技（北京）有限公司 - 145、云钱袋 - 146、南京中兴力维 @@ -268,8 +268,8 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 149、中通服创立科技有限责任公司 - 150、深圳市对庄科技有限公司 - 151、上证所信息网络有限公司 - - 152、杭州火烧云科技有限公司（婚礼纪） - - 153、天津青芒果科技有限公司 (芒果头条) + - 152、杭州火烧云科技有限公司【婚礼纪】 + - 153、天津青芒果科技有限公司【芒果头条】 - 154、长飞光纤光缆股份有限公司 - 155、世纪凯歌（北京）医疗科技有限公司 - 156、浙江霖梓控股有限公司 @@ -281,7 +281,7 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 162、大志天成 - 163、上海云鹊医 - 164、上海云鹊医 - - 165、墨迹天气（墨迹天气） + - 165、墨迹天气【墨迹天气】 - 166、上海逸橙信息科技有限公司 - 167、沅朋物联 - 168、杭州恒生云融网络科技有限公司 @@ -297,16 +297,16 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 178、厦门神州鹰软件科技有限公司 - 179、深圳市招商信诺人寿保险有限公司 - 180、上海好屋网信息技术有限公司 - - 181、海信集团 + - 181、海信集团【海信】 - 182、信凌可信息科技（上海）有限公司 - 183、长春天成科技发展有限公司 - - 184、用友金融信息技术股份有限公司（用友） + - 184、用友金融信息技术股份有限公司【用友】 - 185、北京咖啡易融有限公司 - 186、国投瑞银基金管理有限公司 - 187、晋松(上海)网络信息技术有限公司 - - 188、深圳市随手科技有限公司（随手记） + - 188、深圳市随手科技有限公司【随手记】 - 189、深圳水务科技有限公司 - - 190、易企秀 + - 190、易企秀【易企秀】 - 191、北京磁云科技 - 192、南京蜂泰互联网科技有限公司 - 193、章鱼直播 @@ -329,9 +329,22 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 210、普联软件股份有限公司 - 211、北京科蓝软件股份有限公司 - 212、江苏斯诺物联科技有限公司 - - 213、北京搜狐-狐友（搜狐） + - 213、北京搜狐-狐友【搜狐】 - 214、新大陆网商金融 - 215、山东神码中税信息科技有限公司 + - 216、河南汇顺网络科技有限公司 + - 217、北京华夏思源科技发展有限公司 + - 218、上海东普信息科技有限公司 + - 219、上海鸣勃网络科技有限公司 + - 220、广东学苑教育发展有限公司 + - 221、深圳强时科技有限公司 + - 222、上海云砺信息科技有限公司 + - 223、重庆愉客行网络有限公司 + - 224、数云 + - 225、国家电网运检部 + - 226、杭州找趣 + - 227、浩鲸云计算科技股份有限公司 + - 228、科大讯飞【科大讯飞】 - …… > 更多接入的公司，欢迎在 [登记地址](https://github.com/xuxueli/xxl-job/issues/1 ) 登记，登记仅仅为了产品推广。 diff --git a/doc/XXL-JOB官方文档.md b/doc/XXL-JOB官方文档.md index 0a44c691..d8c40b7c 100644 --- a/doc/XXL-JOB官方文档.md +++ b/doc/XXL-JOB官方文档.md @@ -85,32 +85,32 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 至今，XXL-JOB已接入多家公司的线上产品线，接入场景如电商业务，O2O业务和大数据作业等，截止最新统计时间为止，XXL-JOB已接入的公司包括不限于： - - 1、大众点评； + - 1、大众点评【美团点评】 - 2、山东学而网络科技有限公司； - 3、安徽慧通互联科技有限公司； - 4、人人聚财金服； - 5、上海棠棣信息科技股份有限公司 - - 6、运满满 - - 7、米其林 (中国区) + - 6、运满满【运满满】 + - 7、米其林 (中国区)【米其林】 - 8、妈妈联盟 - 9、九樱天下（北京）信息技术有限公司 - - 10、万普拉斯科技有限公司(一加手机) + - 10、万普拉斯科技有限公司【一加手机】 - 11、上海亿保健康管理有限公司 - - 12、海尔馨厨 (海尔) + - 12、海尔馨厨【海尔】 - 13、河南大红包电子商务有限公司 - 14、成都顺点科技有限公司 - 15、深圳市怡亚通 - 16、深圳麦亚信科技股份有限公司 - 17、上海博莹科技信息技术有限公司 - - 18、中国平安科技有限公司 + - 18、中国平安科技有限公司【中国平安】 - 19、杭州知时信息科技有限公司 - 20、博莹科技（上海）有限公司 - 21、成都依能股份有限责任公司 - 22、湖南高阳通联信息技术有限公司 - 23、深圳市邦德文化发展有限公司 - 24、福建阿思可网络教育有限公司 - - 25、优信二手车 - - 26、上海悠游堂投资发展股份有限公司 + - 25、优信二手车【优信】 + - 26、上海悠游堂投资发展股份有限公司【悠游堂】 - 27、北京粉笔蓝天科技有限公司 - 28、中秀科技(无锡)有限公司 - 29、武汉空心科技有限公司 @@ -118,7 +118,7 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 31、四川互宜达科技有限公司 - 32、钱包行云（北京）科技有限公司 - 33、重庆欣才集团 - - 34、咪咕互动娱乐有限公司（中国移动） + - 34、咪咕互动娱乐有限公司【中国移动】 - 35、北京诺亦腾科技有限公司 - 36、增长引擎(北京)信息技术有限公司 - 37、北京英贝思科技有限公司 @@ -131,7 +131,7 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 44、圳临界线网络科技有限公司 - 45、广州知识圈网络科技有限公司 - 46、国誉商业上海有限公司 - - 47、海尔消费金融有限公司，嗨付、够花 (海尔) + - 47、海尔消费金融有限公司，嗨付、够花【海尔】 - 48、广州巴图鲁信息科技有限公司 - 49、深圳市鹏海运电子数据交换有限公司 - 50、深圳市亚飞电子商务有限公司 @@ -142,7 +142,7 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 55、中商惠民(北京)电子商务有限公司 - 56、凯京集团 - 57、华夏票联（北京）科技有限公司 - - 58、拍拍贷 + - 58、拍拍贷【拍拍贷】 - 59、北京尚德机构在线教育有限公司 - 60、任子行股份有限公司 - 61、北京时态电子商务有限公司 @@ -168,22 +168,22 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 81、深圳小安时代互联网金融服务有限公司 - 82、湖北享七网络科技有限公司 - 83、钱包行云(北京)科技有限公司 - - 84、360金融 (360) + - 84、360金融【360】 - 85、易企秀 - 86、摩贝（上海）生物科技有限公司 - 87、广东芯智慧科技有限公司 - - 88、联想集团 (联想) + - 88、联想集团【联想】 - 89、怪兽充电 - 90、行圆汽车 - 91、深圳店店通科技邮箱公司 - - 92、京东 (京东) + - 92、京东【京东】 - 93、米庄理财 - 94、咖啡易融 - 95、梧桐诚选 - - 96、恒大地产 (恒大) + - 96、恒大地产【恒大】 - 97、昆明龙慧 - 98、上海涩瑶软件 - - 99、易信 (网易) + - 99、易信【网易】 - 100、铜板街 - 101、杭州云若网络科技有限公司 - 102、特百惠（中国）有限公司 @@ -209,17 +209,17 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 122、多粉平台 - 123、铁甲二手机 - 124、上海海新得数据技术有限公司 - - 125、深圳市珍爱网信息技术有限公司 (珍爱网) + - 125、深圳市珍爱网信息技术有限公司【珍爱网】 - 126、小蜜蜂 - 127、吉荣数科技 - 128、上海恺域信息科技有限公司 - - 129、广州荔支网络有限公司(荔枝FM) + - 129、广州荔支网络有限公司【荔枝FM】 - 130、杭州闪宝科技有限公司 - 131、北京互联新网科技发展有限公司 - 132、誉道科技 - 133、山西兆盛房地产开发有限公司 - 134、北京蓝睿通达科技有限公司 - - 135、月亮小屋（中国）有限公司（蓝月亮） + - 135、月亮小屋（中国）有限公司【蓝月亮】 - 136、青岛国瑞信息技术有限公司 - 137、博雅云计算（北京）有限公司 - 138、华泰证券香港子公司 @@ -227,7 +227,7 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 140、武汉博晟安全技术股份有限公司 - 141、深圳市六度人和科技有限公司 - 142、杭州趣维科技有限公司（小影） - - 143、宁波单车侠之家科技有限公司（单车侠） + - 143、宁波单车侠之家科技有限公司【单车侠】 - 144、丁丁云康信息科技（北京）有限公司 - 145、云钱袋 - 146、南京中兴力维 @@ -236,8 +236,8 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 149、中通服创立科技有限责任公司 - 150、深圳市对庄科技有限公司 - 151、上证所信息网络有限公司 - - 152、杭州火烧云科技有限公司（婚礼纪） - - 153、天津青芒果科技有限公司 (芒果头条) + - 152、杭州火烧云科技有限公司【婚礼纪】 + - 153、天津青芒果科技有限公司【芒果头条】 - 154、长飞光纤光缆股份有限公司 - 155、世纪凯歌（北京）医疗科技有限公司 - 156、浙江霖梓控股有限公司 @@ -249,7 +249,7 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 162、大志天成 - 163、上海云鹊医 - 164、上海云鹊医 - - 165、墨迹天气（墨迹天气） + - 165、墨迹天气【墨迹天气】 - 166、上海逸橙信息科技有限公司 - 167、沅朋物联 - 168、杭州恒生云融网络科技有限公司 @@ -265,16 +265,16 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 178、厦门神州鹰软件科技有限公司 - 179、深圳市招商信诺人寿保险有限公司 - 180、上海好屋网信息技术有限公司 - - 181、海信集团 + - 181、海信集团【海信】 - 182、信凌可信息科技（上海）有限公司 - 183、长春天成科技发展有限公司 - - 184、用友金融信息技术股份有限公司（用友） + - 184、用友金融信息技术股份有限公司【用友】 - 185、北京咖啡易融有限公司 - 186、国投瑞银基金管理有限公司 - 187、晋松(上海)网络信息技术有限公司 - - 188、深圳市随手科技有限公司（随手记） + - 188、深圳市随手科技有限公司【随手记】 - 189、深圳水务科技有限公司 - - 190、易企秀 + - 190、易企秀【易企秀】 - 191、北京磁云科技 - 192、南京蜂泰互联网科技有限公司 - 193、章鱼直播 @@ -297,9 +297,22 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 - 210、普联软件股份有限公司 - 211、北京科蓝软件股份有限公司 - 212、江苏斯诺物联科技有限公司 - - 213、北京搜狐-狐友（搜狐） + - 213、北京搜狐-狐友【搜狐】 - 214、新大陆网商金融 - 215、山东神码中税信息科技有限公司 + - 216、河南汇顺网络科技有限公司 + - 217、北京华夏思源科技发展有限公司 + - 218、上海东普信息科技有限公司 + - 219、上海鸣勃网络科技有限公司 + - 220、广东学苑教育发展有限公司 + - 221、深圳强时科技有限公司 + - 222、上海云砺信息科技有限公司 + - 223、重庆愉客行网络有限公司 + - 224、数云 + - 225、国家电网运检部 + - 226、杭州找趣 + - 227、浩鲸云计算科技股份有限公司 + - 228、科大讯飞【科大讯飞】 - …… > 更多接入的公司，欢迎在 [登记地址](https://github.com/xuxueli/xxl-job/issues/1 ) 登记，登记仅仅为了产品推广。 @@ -343,7 +356,7 @@ XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是 ## 二、快速入门 ### 2.1 初始化“调度数据库” -请下载项目源码并解压，获取 "调度数据库初始化SQL脚本" 并执行即可，正常情况下应该生成16张表。 +请下载项目源码并解压，获取 "调度数据库初始化SQL脚本" 并执行即可。 "调度数据库初始化SQL脚本" 位置为: @@ -1509,20 +1522,18 @@ Tips: 历史版本(V1.3.x)目前已经Release至稳定版本, 进入维护阶段 ### 6.26 版本 v2.1.1 Release Notes[规划中] -- 1、[ING]调度日志优化：支持设置日志保留天数，过期日志天维度记录报表，并清理；调度报表汇总实时数据和报表； -- 2、[ING]父子任务参数传递； -- 3、[ING]调度中心JDK版本调整为JDK8，从而升级至最新版本SpringBoot； -- 4、[ING]执行器端口复用，复用容器端口提供通讯服务； -- 5、[ING]执行器服务端口与注册端口分离，支持docker动态随机端口； -- 6、登录界面取消默认填写的登录账号密码； -- 7、[ING]cron在线生成工具； -- 8、[ING]任务、执行器数据全量本地缓存；新增消息表广播通知； -- 9、任务触发组件优化，预加载频率正常1s一次，当预加载轮空时主动休眠一个加载周期，动态降低加载频率从而降低DB压力； -- 10、注册监控线程优化，降低死锁几率； -- 11、调度组件优化：针对永远不会触发的Cron禁止配置和启动；任务Cron最后一次触发后再也不会触发时，比如一次性任务，主动停止相关任务； -- 12、任务列表交互优化，支持查看任务所属执行器的注册节点； -- 13、UI优化，任务列表和日志列表数据表格宽度比例调整，避免数据换行提升体验； -- 14、执行器表属性调整，"顺序" 属性调整为整型，解决执行器数据较多时无法正确排序的问题； +- 1、UI优化，任务列表和日志列表数据表格宽度比例调整，避免数据换行提升体验； +- 2、登录界面取消默认填写的登录账号密码； +- 3、执行器表属性调整，"顺序" 属性调整为整型，解决执行器数据较多时无法正确排序的问题； +- 4、任务触发组件优化，预加载频率正常1s一次，当预加载轮空时主动休眠一个加载周期，动态降低加载频率从而降低DB压力； +- 5、注册监控线程优化，降低死锁几率； +- 6、调度组件优化：针对永远不会触发的Cron禁止配置和启动；任务Cron最后一次触发后再也不会触发时，比如一次性任务，主动停止相关任务； +- 7、任务列表交互优化，支持查看任务所属执行器的注册节点； +- 8、DB重连优化，修复DB宕机重连后任务调度停止的问题，重连后自动加入调度集群触发任务调度； +- 9、任务触发组件加载顺序调整，避免小概率情况下组件随机加载顺序导致的I18N的NPE问题。 +- 10、[ING]Cron在线生成工具； +- 11、[ING]调度日志优化：支持设置日志保留天数，过期日志天维度记录报表，并清理；调度报表汇总实时数据和报表； +- 12、[ING]父子任务参数传递；流程任务等，透传动态参数； ### TODO LIST @@ -1531,32 +1542,29 @@ Tips: 历史版本(V1.3.x)目前已经Release至稳定版本, 进入维护阶段 - 3、调度任务优先级； - 4、多数据库支持，在重写并移除Quartz的基础上，DAO层通过JPA实现，不限制数据库类型； - 5、执行器Log清理功能：调度中心Log删除时同步删除执行器中的Log文件； -- 6、Bean模式任务，JobHandler自动从执行器中查询展示为下拉框，选择后自动填充任务名称等属性； +- 6、任务自动注册：Bean模式任务，JobHandler自动从执行器中查询展示为下拉框，选择后自动填充任务名称等属性；待考虑，因为任务自动注册将会导致任务难以管理控制； - 7、API事件触发类型任务（更类似MQ消息）支持"动态传参、延时消费"；该类型任务不走调度组件，单独建立MQ消息表，调度中心竞争触发；待定，该功能与 XXL-MQ 冲突，该场景建议用后者； - 8、调度线程池改为协程方式实现，大幅降低系统内存消耗； -- 9、执行器端口复用，http通讯自动添加相对地址 "/xxl-job"： -- 10、流程任务，支持参数传递； -- 11、Cron TimeZone 自定义； -- 12、忙碌转移优化，全部机器忙碌时不再直接失败； -- 13、流程任务等，透传动态参数； -- 14、任务自动注册；待考虑，因为任务自动注册将会导致任务难以管理控制； -- 15、失败重试间隔； -- 16、任务权限管理：执行器为粒度分配权限，核心操作校验权限； -- 17、SimpleTrigger 支持； -- 18、除Cron外，支持设置固定时间间隔触发； -- 19、调度日志列表加上执行时长列，并支持排序； -- 20、dag任务，替换子任务：配置并列的"a-b、b-c"路径列表，构成串行、并行、dag任务流程，"dagre-d3"绘图；任务依赖，流程图，子任务+会签任务，各节点日志； -- 21、排程任务：支持时间短、时间点配置，支持配置多个，精确到秒；实现有效期等功能； -- 22、告警邮件内容，支持自定义模板配置； -- 23、暂停状态，支持Cron 为空； -- 24、新增任务运行模式 "GLUE模式(GO) "，支持GO任务； -- 25、注册中心优化，实时性注册发现：心跳注册间隔10s，refresh失败则首次注册并立即更新注册信息，心跳类似；30s过期销毁； -- 26、提供执行器Docker镜像； -- 27、脚本任务，支持数据参数，新版本仅支持单参数不支持需要兼容； -- 28、GLUE 模式 Web Ide 版本对比功能； -- 29、批量调度：调度请求入queue，调度线程批量获取调度请求并发起远程调度；提高线程效率； -- 30、多语言执行器：约定跨语言通讯方案，以及通讯接口； -- 31、移除commons-exec，采用原生实现； +- 9、任务、执行器数据全量本地缓存；新增消息表广播通知； +- 10、忙碌转移优化，全部机器忙碌时不再直接失败； +- 11、失败重试间隔； +- 12、SimpleTrigger：除Cron外，支持设置固定时间间隔触发； +- 13、调度日志列表加上执行时长列，并支持排序； +- 14、DAG流程任务：替换子任务，支持参数传递：配置并列的"a-b、b-c"路径列表，构成串行、并行、dag任务流程，"dagre-d3"绘图；任务依赖，流程图，子任务+会签任务，各节点日志； +- 15、日期过滤：支持多个时间段排除； +- 16、告警邮件内容，支持自定义模板配置； +- 17、暂停状态，支持Cron 为空； +- 18、新增任务运行模式 "GLUE模式(GO) "，支持GO任务； +- 19、注册中心优化，实时性注册发现：心跳注册间隔10s，refresh失败则首次注册并立即更新注册信息，心跳类似；30s过期销毁； +- 20、提供执行器Docker镜像； +- 21、脚本任务，支持数据参数，新版本仅支持单参数不支持需要兼容； +- 22、GLUE 模式 Web Ide 版本对比功能； +- 23、批量调度：调度请求入queue，调度线程批量获取调度请求并发起远程调度；提高线程效率； +- 24、多语言执行器：约定跨语言通讯方案，以及通讯接口； +- 25、移除commons-exec，采用原生实现； +- 26、调度中心JDK版本调整为JDK8，从而升级至最新版本SpringBoot； +- 27、执行器服务端口与注册端口分离，支持docker动态随机端口； +- 28、执行器端口复用，复用容器端口提供通讯服务； ## 七、其他 diff --git a/pom.xml b/pom.xml index 796a1699..2ba022dc 100644 --- a/pom.xml +++ b/pom.xml @@ -39,7 +39,7 @@ 2.5.7 3.1.0 - 3.1.0 + 3.1.1 1.6 3.2.3 diff --git a/xxl-job-admin/src/main/java/com/xxl/job/admin/core/thread/JobFailMonitorHelper.java b/xxl-job-admin/src/main/java/com/xxl/job/admin/core/thread/JobFailMonitorHelper.java index f5462d82..87a2144b 100644 --- a/xxl-job-admin/src/main/java/com/xxl/job/admin/core/thread/JobFailMonitorHelper.java +++ b/xxl-job-admin/src/main/java/com/xxl/job/admin/core/thread/JobFailMonitorHelper.java @@ -105,8 +105,8 @@ public class JobFailMonitorHelper { public void toStop(){ toStop = true; // interrupt and wait - monitorThread.interrupt(); - try { + monitorThread.interrupt(); + try { monitorThread.join(); } catch (InterruptedException e) { logger.error(e.getMessage(), e); @@ -116,7 +116,6 @@ public class JobFailMonitorHelper { // ---------------------- alarm ---------------------- - // email alarm template private static final String mailBodyTemplate = "
" + I18nUtil.getString("jobconf_monitor_detail") + "：" + "\n" + " " + @@ -141,8 +140,6 @@ public class JobFailMonitorHelper { /** * fail alarm - * - * @param jobLog */ private boolean failAlarm(XxlJobInfo info, XxlJobLog jobLog){ boolean alarmResult = true; diff --git a/xxl-job-admin/src/main/java/com/xxl/job/admin/core/thread/JobScheduleHelper.java b/xxl-job-admin/src/main/java/com/xxl/job/admin/core/thread/JobScheduleHelper.java index d3c51b82..01713766 100644 --- a/xxl-job-admin/src/main/java/com/xxl/job/admin/core/thread/JobScheduleHelper.java +++ b/xxl-job-admin/src/main/java/com/xxl/job/admin/core/thread/JobScheduleHelper.java @@ -49,17 +49,20 @@ public class JobScheduleHelper { } logger.info(">>>>>>>>> init xxl-job admin scheduler success."); - Connection conn = null; while (!scheduleThreadToStop) { // Scan Job long start = System.currentTimeMillis(); + + Connection conn = null; + Boolean connAutoCommit = null; PreparedStatement preparedStatement = null; + boolean preReadSuc = true; try { - if (conn==null || conn.isClosed()) { - conn = XxlJobAdminConfig.getAdminConfig().getDataSource().getConnection(); - } + + conn = XxlJobAdminConfig.getAdminConfig().getDataSource().getConnection(); + connAutoCommit = conn.getAutoCommit(); conn.setAutoCommit(false); preparedStatement = conn.prepareStatement( "select * from xxl_job_lock where lock_name = 'schedule_lock' for update" ); @@ -67,16 +70,16 @@ public class JobScheduleHelper { // tx start - // 1、预读5s内调度任务 + // 1、pre read long nowTime = System.currentTimeMillis(); List scheduleList = XxlJobAdminConfig.getAdminConfig().getXxlJobInfoDao().scheduleJobQuery(nowTime + PRE_READ_MS); if (scheduleList!=null && scheduleList.size()>0) { - // 2、推送时间轮 + // 2、push time-ring for (XxlJobInfo jobInfo: scheduleList) { - // 时间轮刻度计算 + // time-ring jump if (nowTime > jobInfo.getTriggerNextTime() + PRE_READ_MS) { - // 过期超5s：本地忽略，当前时间开始计算下次触发时间 + // 2.1、trigger-expire > 5s：pass && make next-trigger-time // fresh next Date nextValidTime = new CronExpression(jobInfo.getJobCron()).getNextValidTimeAfter(new Date()); @@ -90,7 +93,7 @@ public class JobScheduleHelper { } } else if (nowTime > jobInfo.getTriggerNextTime()) { - // 过期5s内 ：立即触发一次，当前时间开始计算下次触发时间； + // 2.2、trigger-expire < 5s：direct-trigger && make next-trigger-time CronExpression cronExpression = new CronExpression(jobInfo.getJobCron()); long nextTime = cronExpression.getNextValidTimeAfter(new Date()).getTime(); @@ -104,7 +107,7 @@ public class JobScheduleHelper { jobInfo.setTriggerNextTime(nextTime); - // 下次5s内：预读一次； + // next-trigger-time in 5s, pre-read again if (jobInfo.getTriggerNextTime() - nowTime < PRE_READ_MS) { // 1、make ring second @@ -127,7 +130,7 @@ public class JobScheduleHelper { } } else { - // 未过期：正常触发，递增计算下次触发时间 + // 2.3、trigger-pre-read：time-ring trigger && make next-trigger-time // 1、make ring second int ringSecond = (int)((jobInfo.getTriggerNextTime()/1000)%60); @@ -150,7 +153,7 @@ public class JobScheduleHelper { } - // 3、更新trigger信息 + // 3、update trigger info for (XxlJobInfo jobInfo: scheduleList) { XxlJobAdminConfig.getAdminConfig().getXxlJobInfoDao().scheduleUpdate(jobInfo); } @@ -169,11 +172,27 @@ public class JobScheduleHelper { } finally { // commit - try { - conn.commit(); - } catch (SQLException e) { - if (!scheduleThreadToStop) { - logger.error(e.getMessage(), e); + if (conn != null) { + try { + conn.commit(); + } catch (SQLException e) { + if (!scheduleThreadToStop) { + logger.error(e.getMessage(), e); + } + } + try { + conn.setAutoCommit(connAutoCommit); + } catch (SQLException e) { + if (!scheduleThreadToStop) { + logger.error(e.getMessage(), e); + } + } + try { + conn.close(); + } catch (SQLException e) { + if (!scheduleThreadToStop) { + logger.error(e.getMessage(), e); + } } } @@ -204,12 +223,7 @@ public class JobScheduleHelper { } } - if (conn != null) { - try { - conn.close(); - } catch (SQLException e) { - } - } + logger.info(">>>>>>>>>>> xxl-job, JobScheduleHelper#scheduleThread stop"); } }); diff --git a/xxl-job-admin/src/main/resources/static/js/jobinfo.index.1.js b/xxl-job-admin/src/main/resources/static/js/jobinfo.index.1.js index 415a9399..0d1408ac 100644 --- a/xxl-job-admin/src/main/resources/static/js/jobinfo.index.1.js +++ b/xxl-job-admin/src/main/resources/static/js/jobinfo.index.1.js @@ -90,9 +90,9 @@ $(function() { "render": function ( data, type, row ) { // status if (1 == data) { - return 'RUNNING'; + return 'RUNNING'; } else { - return 'STOP'; + return 'STOP'; } return data; } diff --git a/xxl-job-core/pom.xml b/xxl-job-core/pom.xml index 6969985a..68f36292 100644 --- a/xxl-job-core/pom.xml +++ b/xxl-job-core/pom.xml @@ -52,6 +52,14 @@ test + + + top.jfunc.common + utils + 1.8.2.3 + + + \ No newline at end of file diff --git a/xxl-job-core/src/main/java/com/xxl/job/core/biz/impl/ExecutorBizImpl.java b/xxl-job-core/src/main/java/com/xxl/job/core/biz/impl/ExecutorBizImpl.java index c12a0fa2..1c809602 100644 --- a/xxl-job-core/src/main/java/com/xxl/job/core/biz/impl/ExecutorBizImpl.java +++ b/xxl-job-core/src/main/java/com/xxl/job/core/biz/impl/ExecutorBizImpl.java @@ -54,7 +54,7 @@ public class ExecutorBizImpl implements ExecutorBiz { return ReturnT.SUCCESS; } - return new ReturnT(ReturnT.SUCCESS_CODE, "job thread aleady killed."); + return new ReturnT(ReturnT.SUCCESS_CODE, "job thread already killed."); } @Override diff --git a/xxl-job-core/src/main/java/com/xxl/job/core/executor/XxlJobExecutor.java b/xxl-job-core/src/main/java/com/xxl/job/core/executor/XxlJobExecutor.java index e617becc..389234d1 100644 --- a/xxl-job-core/src/main/java/com/xxl/job/core/executor/XxlJobExecutor.java +++ b/xxl-job-core/src/main/java/com/xxl/job/core/executor/XxlJobExecutor.java @@ -4,6 +4,7 @@ import com.xxl.job.core.biz.AdminBiz; import com.xxl.job.core.biz.ExecutorBiz; import com.xxl.job.core.biz.impl.ExecutorBizImpl; import com.xxl.job.core.handler.IJobHandler; +import com.xxl.job.core.handler.annotation.JobHandler; import com.xxl.job.core.log.XxlJobFileAppender; import com.xxl.job.core.thread.ExecutorRegistryThread; import com.xxl.job.core.thread.JobLogFileCleanThread; @@ -21,6 +22,9 @@ import com.xxl.rpc.util.IpUtil; import com.xxl.rpc.util.NetUtil; import org.slf4j.Logger; import org.slf4j.LoggerFactory; +import top.jfunc.common.utils.BeanUtil; +import top.jfunc.common.utils.ClassUtil; +import top.jfunc.common.utils.StrUtil; import java.util.*; import java.util.concurrent.ConcurrentHashMap; @@ -223,18 +227,49 @@ public class XxlJobExecutor { } - // ---------------------- job handler repository ---------------------- + /// ---------------------- job handler repository ---------------------- + private static ConcurrentMap jobHandlerRepository = new ConcurrentHashMap(); + public static IJobHandler loadJobHandler(String name){ + return jobHandlerRepository.get(name); + } + public static IJobHandler registJobHandler(String name, IJobHandler jobHandler){ logger.info(">>>>>>>>>>> xxl-job register jobhandler success, name:{}, jobHandler:{}", name, jobHandler); return jobHandlerRepository.put(name, jobHandler); } - public static IJobHandler loadJobHandler(String name){ - return jobHandlerRepository.get(name); + + /** + * 根据包扫描结果注册{@link IJobHandler}，包下所有{@link IJobHandler}子类都扫描进 + */ + public static void registJobHandler(String... packages){ + for (String onePackage : packages) { + Set> jobHandlerClasses = ClassUtil.scanPackageBySuper(onePackage, true, IJobHandler.class); + for (Class jobHandlerClass : jobHandlerClasses) { + String name = determineHandlerName(jobHandlerClass); + IJobHandler jobHandler = BeanUtil.newInstance(jobHandlerClass); + registJobHandler(name , jobHandler); + } + } } + /** + * 名字默认是类名首字母小写，可以使用{@link JobHandler}修改名称 + */ + private static String determineHandlerName(Class jobHandlerClass) { + String name = StrUtil.lowerFirst(jobHandlerClass.getSimpleName()); + if(jobHandlerClass.isAnnotationPresent(JobHandler.class)){ + String value = jobHandlerClass.getAnnotation(JobHandler.class).value(); + if(!"".equals(value)){ + name = value; + } + } + return name; + } + + + /// ---------------------- job thread repository ---------------------- - // ---------------------- job thread repository ---------------------- private static ConcurrentMap jobThreadRepository = new ConcurrentHashMap(); public static JobThread registJobThread(int jobId, IJobHandler handler, String removeOldReason){ JobThread newJobThread = new JobThread(jobId, handler);