XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。
https://www.xuxueli.com/xxl-job/
1、 业务逻辑与定时任务逻辑放入在同一个Jar包中,如果定时任务逻辑挂了也会影响到业务逻辑;
2、 如果服务器集群的情况下,可能存在定时任务逻辑会重复触发执行;
3、 当任务量很大的时候,传统任务调度不支持任务拆分,无法快速执行完毕;
4、 定时任务非常占用服务器的内存,不管用什么框架,底层肯定是一个while死循环。
- xxl-job-admin:调度中心
- xxl-job-core:公共依赖
- xxl-job-executor-samples:执行器Sample示例
核心模块:
调度中心模块:统一管理调度任务(控制执行器执行任务),自身不承担业务逻辑,同时提供了“日志、告警、注册中心”等功能。
执行器模块:负责接收调度中心的请求,进行定时任务逻辑执行。
· Maven3+
· Jdk1.8+
· Mysql5.7+
作用:统一管理任务调度平台上调度任务,负责触发调度执行,并且提供任务管理平台。
1. 下载xxl-admin源码https://www.xuxueli.com/xxl-job/,导入IDEA编辑器;
2. 将xxl-job依赖的sql导入到Mysql中;
sql文件在xxl-job-master\xxl-job-master\doc\db\目录。
3. xxl-job-admin启动项目,访问http://localhost:8080/xxl-job-admin
默认登录账号 “admin/123456”
org.springframework.boot
spring-boot-starter-parent
2.6.7
pom
import
org.springframework.boot
spring-boot-starter-web
org.springframework.boot
spring-boot-starter-test
test
com.xuxueli
xxl-job-core
2.4.0-SNAPSHOT
1. 将xxl-job-executor-sample-springboot模块下的application.propertis文件
和logback.xml文件copy到自己的resources目录下
注意需要修改执行器端口xxl.job.executor.port参数,不能和其它服务端口相同
/**
* xxl-job config
*
* @author xuxueli 2017-04-28
*/
@Configuration
public class XxlJobConfig {
private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
@Value("${xxl.job.admin.addresses}")
private String adminAddresses;
@Value("${xxl.job.accessToken}")
private String accessToken;
@Value("${xxl.job.executor.appname}")
private String appname;
@Value("${xxl.job.executor.address}")
private String address;
@Value("${xxl.job.executor.ip}")
private String ip;
@Value("${xxl.job.executor.port}")
private int port;
@Value("${xxl.job.executor.logpath}")
private String logPath;
@Value("${xxl.job.executor.logretentiondays}")
private int logRetentionDays;
@Bean
public XxlJobSpringExecutor xxlJobExecutor() {
logger.info(">>>>>>>>>>> xxl-job config init.");
XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
xxlJobSpringExecutor.setAppname(appname);
xxlJobSpringExecutor.setAddress(address);
xxlJobSpringExecutor.setIp(ip);
xxlJobSpringExecutor.setPort(port);
xxlJobSpringExecutor.setAccessToken(accessToken);
xxlJobSpringExecutor.setLogPath(logPath);
xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
return xxlJobSpringExecutor;
}
}
/**
* 定时任务
*/
@Component
public class JobHandler {
@XxlJob("kexuektJobHandler")
public void demoJobHandler() {
System.out.println("kexuektJobHandler执行器开始执行");
System.out.println("参数:" + XxlJobHelper.getJobParam());
}
}
测试:
1. 执行器管理手动添加执行器
2. 新增定时任务
3. 点击执行一次,查看控制台效果。
1、执行器项目启动后会将自己的IP和端口xxl.job.executor.port信息注册到“调度中心的注册中心”
2、调度中心向执行器下发执行任务时,根据注册的执行器名称xxl.job.executor.appname,从注册中心找到所有执行器的IP地址(执行器集群),然后根据策略(轮训、随机等)去调用某一具体的执行器。
3、“执行器”执行任务逻辑,执行结束后将结果通知给“调度中心”成功或失败;
第一个、最后一个、轮训、随机、分片广播等。
如果有100w条消息,如何最快的通知给用户?
通过分页解决:
第一台服务器执行1-10w条
第一台服务器执行10w-20w条
问题:10台服务怎么知道自己从那条开始执行?
答案:通过分片广播策略。
int shardIndex = XxlJobHelper.getShardIndex(); // 0-9
int shardTotal = XxlJobHelper.getShardTotal(); // 10
得到每台服务需要处理多少条消息:100w / shardTotal = 10w
得到分页开始值:(100w / shardTotal) * shardIndex = 0, 10w, 20 w …….
limit(0, 10w) limit(10w, 10w) limit(20w, 10w) ……
模拟1=1w条数据
select * from sys_log limit 0,10;
select * from sys_log limit 10,10;
select * from sys_log limit 20,10;
留言与评论(共有 0 条评论) “” |