消息推送平台📝 推送下发【邮件】【短信】【微信服务号】【微信小程序】【企业微信】【钉钉】等消息类型。所使用的技术栈包括:SpringBoot、SpringDataJPA、MySQL、Docker、docker-compose、Kafka、Redis、Apollo、prometheus、Grafana、GrayLog、Flink、Xxl-job、Echarts等等
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
3y 2af53cf7a7
优雅关闭应用服务器配置
3 years ago
austin-common handler 线程池模块代码重构 3 years ago
austin-cron handler 线程池模块代码重构 3 years ago
austin-handler handler 线程池模块代码重构 3 years ago
austin-service-api 1.延迟队列实现 优化 3 years ago
austin-service-api-impl 1. austin.sql 测试数据修改 3 years ago
austin-stream 1. 编写数据接口,可视化 3 years ago
austin-support 1. 删掉传统配置的线程池(代码和配置信息) 3 years ago
austin-web 优雅关闭应用服务器配置 3 years ago
docker 添加docker的样例配置 3 years ago
example 1、crowdBatchTaskPending 线程池 设置核心线程空闲 回收策略以及时间 3 years ago
sql 1、crowdBatchTaskPending 线程池 设置核心线程空闲 回收策略以及时间 3 years ago
.gitignore 1. update gitgnore 3 years ago
INSTALL.md 1. 编写数据接口,可视化 3 years ago
LICENSE add LICENSE. 3 years ago
README.md 优雅关闭应用服务器配置 3 years ago
pom.xml 1. 删掉传统配置的线程池(代码和配置信息) 3 years ago

README.md

作者 gitee Starts gitee Starts 作者 项目交流 对线面试官

项目介绍

austin项目核心功能:发送消息

项目出现意义:只要公司内有发送消息的需求,都应该要有类似austin的项目,对各类消息进行统一发送处理。这有利于对功能的收拢,以及提高业务需求开发的效率

系统项目架构

austin项目核心流程austin-api接收到发送消息请求,直接将请求进MQaustin-handler消费MQ消息后由各类消息的Handler进行发送处理

Question 为什么发个消息需要MQ

Answer发送消息实际上是调用各个服务提供的API假设某消息的服务超时austin-api如果是直接调用服务,那存在超时风险拖垮整个接口性能。MQ在这是为了做异步和解耦并且在一定程度上抗住业务流量。

Question:能简单说下接入层做了什么事吗?

Answer

Questionaustin-streamaustin-datahouse的作用?

Answeraustin-handler在发送消息的过程中会做些通用业务处理以及发送消息这个过程会产生大量的日志数据。日志数据会被收集至MQaustin-stream流式处理模块进行消费并最后将数据写入至austin-datahouse

Questionaustin-adminaustin-cron的作用?

Answerautsin-adminaustin项目的管理后台,负责管理消息以及查看消息下发的情况。业务方可根据通过austin-admin管理后台直接定时发送消息,而austin-cron就是承载着定时任务的工作了。

使用姿势

目前引用的中间件教程的安装姿势均基于Centos 7.6austin项目强依赖MySQL/Redis/Kafka/apollo弱依赖prometheus/graylog/flink/xxl-job。如果缺少相关的组件可戳:安装相关组件教程

1、austin使用的MySQL版本5.7x。如果目前使用的MySQL版本8.0,注意改变pom.xml所依赖的版本

2、填写application.propertiesaustin-database对应的ip/port/username/password信息

3、执行sql文件夹下的austin.sql创建对应的表以及插入测试数据

4、填写application.propertiesaustin-kafka对应的ip/port信息

5、填写application.propertiesaustin-redis对应的ip/port信息

6、检查apolloapp.id/apollo.bootstrap.namespaces检查创建的消息队列topicaustin.business.topic.name

7、以上配置信息都在application.properties文件中修改。

8、由于使用了Apollo且我是在云服务器上安装的我这边会直接跳过metaserver服务发现,在AustinApplication需要配置对应的apollo地址(注意端口!)

9、目前短信和邮件账号的信息都配置在apollo,配置的示例参照com.java3y.austin.support.utils#getAccount中的注释

10、调用http接口com.java3y.austin.web.controller#send给自己发一条短信或者邮件感受

curl -XPOST "127.0.0.1:8080/send"  -H 'Content-Type: application/json'  -d '{"code":"send","messageParam":{"extra":null,"receiver":"13719333899"},"messageTemplateId":1}'

11、austin前端管理系统部署一分钟即能打开GitHubGitee查看

12、正常使用数据管理需要将austin-streamjar包上传至Flink,在打jar包前需要填写com.java3y.austin.stream.constants.AustinFlinkConstant中的rediskafkaip/port日志的topic在application.properties中的austin.business.log.topic.name。如果没有该topic需要提前创建)

13、正常使用定时任务需要部署xxl-job,根据部署文档启动xxl的调度中心并在application.properteis中填写 austin-xxl-job-ipaustin-xxl-job-port

里程碑

  • Maven+SpringBoot项目搭建
  • logback日志记录项目运行时信息引入common/guava/Hutool/Lombok/fastjson/OkHttp工具包
  • 接入腾讯云渠道发送一条短信
  • 使用SpringData JPA将短信发送记录存储至MySQL
  • 使用SpringBoot接入Kafka
  • 利用责任链完成对接入层的请求进行封装(责任链模式)
  • 消费层实现数据隔离(线程池:生产者与消费者模式)
  • 通用去重消息功能SpringBoot接入Redis并使用pipeline减少网络请求
  • 配置服务器和docker容器以及SpringBoot应用的监控prometheus+Grafana+auctuator
  • 接入分布式配置中心完成 丢失消息、白名单以及账号配置Apollo分布式配置中心
  • 邮件渠道接入
  • 日志链路数据追踪 + 注解式打印日志(优雅打印日志以及数据埋点)
  • 接入GrayLog分布式日志收集框架
  • 引入前端低代码平台AMIS搭建后台管理页面
  • 接入分布式定时任务框架定时发送任务xxl-job定时任务框架编写上传文件接口并使用LazyPending批处理人群文件数据
  • 接入实时流计算平台Flink实时日志数据根据用户维度和消息模板维度清洗至Redis
  • 通过AMIS低代码平台接入echarts图表展示实时聚合后的数据
  • 优雅停机、动态线程池参数配置
  • 优化代码
  • 接入微信服务号渠道
  • 接入微信小程序渠道
  • 接入PUSH渠道
  • 持续提高消息推送系统的影响力,让更多的业务方了解其功能,进而挖掘更多拉新和唤醒用户的玩法,提高站内的次留率和转化率

近期更新时间2022年3月14日

近期更新功能:动态线程池、优雅停机相关

项目交流

可以添加我的个人微信备注:【项目】,我会空闲的时候拉进项目交流群

Java3y公众号在持续更新austin系列文章保姆级讲解搭建项目的过程(包括技术选型以及一些业务的探讨)以及相关环境的搭建。扫下面的码直接关注,带你了解整个项目

如果你需要用这个项目写在简历上,强烈建议关注公众号看实现细节的思路。如果⽂档中有任何的不懂的问题,都可以直接来找我询问,我乐意帮助你们!公众号下有我的联系方式

如何准备面试?

对线面试官公众号持续更新面试系列文章对线面试官系列深受各大开发的好评已有不少的同学通过对线面试官系列得到BATTMD等一线大厂的的offer。一个讲人话的面试系列,八股文不再是背诵。