17 KiB
🔥项目在线演示地址:http://139.9.66.219:3000/
🔥项目视频我正在Bilibili更新(三连越多,更新越有动力哟)
🔥项目笔记关注公众号Java3y回复「austin」即可获取,还能加项目交流群哟!
消息推送平台austin介绍
核心功能:统一的接口发送各种类型消息,对消息生命周期全链路追踪。
意义:只要公司内部有发送消息的需求,都应该要有类似austin
的项目。消息推送平台对各类消息进行统一发送处理,这有利于对功能的收拢,以及提高业务需求开发的效率。
使用姿势
1、创建需要发送的渠道账号
2、创建消息模板
3、测试发送消息是否正常
4、查看消息下发情况
5、亦可在新建模板时选择定时任务,通过上传csv文件和指定cron表达式实现下发消息
部署姿势
austin项目强依赖MySQL
/Redis
/(大概需要2G内存),弱依赖kafka
/prometheus
/graylog
/flink
/xxl-job
/apollo
/hive
(完全部署所有的服务,大概8G+内存)。如果缺少相关的组件可戳:安装相关组件教程。
实在想要
clone
项目后不用自己部署环境直接在本地启动debug
,我这提供了会员服务,直连部署好的服务器。
1、austin使用的MySQL版本5.7x。如果目前使用的MySQL版本8.0,注意改变pom.xml
所依赖的版本
2、填写application.properties
中austin-database
对应的ip/port/username/password
信息
3、执行sql
文件夹下的austin.sql
创建对应的表
4、填写application.properties
中austin.redis
对应的ip
/port
信息
5、以上配置信息都在application.properties
文件中修改。(prometheus
/graylog
/flink
/xxl-job
/apollo
/kafka
/hive
可选)
6、austin前端管理系统部署,戳GitHub或Gitee跳转至对应的仓库
7、(可选)正常使用数据管理(查看实时数据链路下发)需要将austin-stream
的jar
包上传至Flink
,根据部署文档启动Flink。在打jar
包前需要填写com.java3y.austin.stream.constants.AustinFlinkConstant
中的redis
和kafka
的ip/port
(注意:日志的topic在application.properties
中的austin.business.log.topic.name
。如果没有该topic,需要提前创建,并使用Kafka作为消息队列实现)
8、(可选)正常使用定时任务需要部署xxl-job
,根据部署文档启动xxl的调度中心,并在application.properteis
中填写 austin.xxl.job.ip
和austin.xxl.job.port
9、(可选)正常使用分布式日志采集需要部署graylog
,根据部署文档启动graylog
,并在application.properteis
中填写 austin.graylog.ip
。
10、(可选)正常使用系统监控需要部署promethus
和grafana
,根据部署文档配置grafana
图表。
11、(可选)正常使用动态配置中心需要部署apollo
,根据部署文档启动apollo
,通过docker-compose启动需要在AustinApplication注入对应的ip和port(可看注释)。
12、(可选)正常使用数据仓库需要部署hive
,根据部署文档通过flink
把数据写入到hive
中(flink
环境也要安装好),将austin-data-house
的jar
包提交到flink
执行
技术栈
技术栈 | 实现 |
---|---|
编程语言 | Java(JDK 1.8) |
项目管理工具 | Maven 3.x |
集成开发工具 | IDEA 2022 |
部署服务器 | Centos 7.6 |
系统部署工具 | Docker & Docker-compose |
项目环境 | SpringBoot 2.5.6 |
关系型数据库 | MySQL 5.7.X |
缓存数据库 | Redis:lastest |
ORM框架 | SpringData JPA 2.5.6 |
分布式定时任务框架 | XXL-JOB v2.3.0 |
分布式配置中心 | Apollo & Nacos |
消息队列 | Kafka & RabbitMQ & RocketMQ |
分布式日志采集框架 | Graylog |
分布式计算引擎 | Flink 1.16.0 |
监控采集组件 | Prometheus |
监控可视化组件 | Grafana |
数据仓库 | Hive 2.3.2 |
大数据环境 | Hadoop 2.7.4 |
大数据可视化 | Metabase:lastest |
前端技术 | Amis |
工程模块&系统流程
了解工程模块的职责,这对看项目代码的时候会有个比较清晰的认识:
工程模块 | 作用 |
---|---|
austin-common | 项目公共包:存储着项目公共常量/枚举/Bean |
austin-support | 项目工具包:对接中间件/组件 |
austin-cron | 定时任务模块:对xxl-job封装和项目定时任务逻辑 |
austin-web | 后台管理模块:提供接口给前端调用 |
austin-service-api | 消息接入层接口定义模块:只有接口和必要的入参依赖 |
austin-service-api-impl | 消息接入层具体实现模块:真实处理请求 |
austin-handler | 消息处理逻辑层:消费MQ下发消息 |
austin-stream | 实时处理模块:利用flink实时处理下发链路数据 |
austin-data-house | 数据仓库模块:消费MQ数据写入hive |
会员服务
收费课程是以项目为主,代码在Gitee和GitHub上都是开源的,项目没有商业版,后面也不会有。那么,付费跟我自己去拉Git仓库拉代码下来看有什么区别?
1、有很多人的自学能力和基础确实不太行,不知道怎么开始学习,从哪开始看起,学习项目的过程中会走很多弯路,很容易就迷茫了。付费最跟自学最主要的区别就是我的服务会更周到。
我会告诉你怎么开始学这个开源项目,哪些是重点需要掌握的,如何利用最短的时间把握整个系统架构和编码的设计,把时间节省下来去做其他事情。
2、一个生产环境的系统肯定会依赖各种中间件,《消息推送平台-Austin》也是一样的。我专门买了两台服务器已经搭建好必要的依赖,付费的可以使用我的远程服务器,在本地就能直接启动运行体验和学习
3、项目在编写的过程中也经历多次的重构迭代,迭代的内容我是不会将以往文章内容重新修正发布,但语雀的文档内容一定是及时同步,文档跟代码是保持一致的
4、干练清爽的项目commit,可一步一步跟着commit还原整个系统的过程
5、近300人的股东社群,技术交流氛围融洽,有组团从0到1复现消息推送平台的
6、除了项目,还可以问我些学习经验、学习路线、简历编写、面试经验等等问题,技术和学习上的知识知无不言
详情可以看戳:我开通了付费渠道
项目交流
由于austin项目交流群已经超过了两百人,添加我的个人微信备注:【项目】,我空的时候会拉进项目交流群里
如何准备面试?
对线面试官公众号持续更新面试系列文章(对线面试官系列),深受各大开发的好评,已有不少的同学通过对线面试官系列得到BATTMD等一线大厂的的offer。一个讲人话的面试系列,八股文不再是背诵。
想要获取这份电子书,点击关注下方公众号,回复「对线」得到我的联系方式即可进群获取电子书
里程碑
- Maven+SpringBoot项目搭建
- logback日志记录项目运行时信息,引入common/guava/Hutool/Lombok/fastjson/OkHttp工具包
- 接入腾讯云渠道发送一条短信
- 使用SpringData JPA将短信发送记录存储至MySQL
- 使用SpringBoot接入Kafka
- 利用责任链完成对接入层的请求进行封装(责任链模式)
- 消费层实现数据隔离(线程池:生产者与消费者模式)
- 通用去重消息功能(SpringBoot接入Redis并使用pipeline减少网络请求)
- 配置服务器和docker容器以及SpringBoot应用的监控(prometheus+Grafana+auctuator)
- 接入分布式配置中心完成 丢失消息、白名单以及账号配置(Apollo分布式配置中心)
- 邮件渠道接入
- 日志链路数据追踪 + 注解式打印日志(优雅打印日志以及数据埋点)
- 接入GrayLog分布式日志收集框架
- 引入前端低代码平台AMIS搭建后台管理页面
- 接入分布式定时任务框架定时发送任务(xxl-job定时任务框架),编写上传文件接口并使用LazyPending批处理人群文件数据
- 接入实时流计算平台(Flink),实时日志数据根据用户维度和消息模板维度清洗至Redis
- 通过AMIS低代码平台接入echarts图表展示实时聚合后的数据
- 优雅停机、动态线程池参数配置
- 企业微信渠道接入
- 夜间屏蔽次日早晨推送(xxl-job定时任务框架,另类的延时队列)
- 钉钉渠道接入
- 单机限流实现
- 引入单测框架,编写部分单测用例
- 接入微信服务号渠道(已有pull request代码,待调试)
- 接入微信小程序渠道(已有pull request代码)
- 接入PUSH渠道
- 接入云片短信渠道,并短信支持流量配置,拉取腾讯云短信回执
- 完成接入钉钉机器人渠道所有类型的消息
- 完成接入钉钉工作渠道所有类型的消息,包括对文件素材的上传功能
- Kafka消息支持tag过滤
- MQ层支持可插拔,默认使用eventbus单机队列,Kafka变为弱依赖
- 渠道账号改为读取数据库,优化短信回执拉取功能
- 接入微信服务号渠道(发送模板消息)完成
- 接入微信小程序渠道(发送订阅消息)完成
- 测试环境完成微信服务号扫码登录功能
- 测试环境docker-compose完成接入MySQL/Redis/Flink/xxl-job/Kafka
- 在线演示第一版发布
- 数据仓库模块完成
- 邮件支持附件推送,短信支持指定账号和AUTO推送,access_token存储至Redis
- 总体架构已完成,持续做基础建设和优化代码
近期更新时间:2023年2月28号
近期更新功能:access_token存储到Redis,短信支持指定账号和AUTO推送,邮件支持附件推送