fork from goim and support nats to replace kafka / zookeeper
goim 是 非常成功的 IM ( 即时消息平台), 依赖项为 kafka ( 消息队列) + zookeeper ( 分布式扩展) + bilibili/discovery( 服务发现与均衡) , 由于 kafka / zk 在部署上与 golang 的单一可执行文件相比, 稍复杂, 加上为简化运维, 所以, 这里 fork 了 goim 并修改为 nats
由于修改比较大, 暂时用新的 repo 来进行代码管理, 以后看情况是否能回归到 Terry-Mao 的主线版本上.
同时, 与 goim 有所差异的重要一点是:
这个 fork 是实验性质, 请不要用于生产环境!! this repo is NOT production ready!!
作为一个曾经的架构师(2005~2014, Utstarcom IPTV/OTT 事业部) 与当前自由的技术类咨询与服务从业者, 有合作伙伴询问 IM 用在视频直播中的方案, 我作了一些研究( 作为曾经的架构师/解决方案工程师/ IPTV播控产品线 release manager, 我除了技术原型的实现代码以外, 甚少参与实际撰写代码的工作 )
中国 B站( BiliBili ) 的技术领军 毛剑 是我神交以久的技术专家, 这次就以 goim 为基础进行了一些学习与扩展尝试.
同时, 另一位技术专家 Xin.zh 的文章 一套高可用实时消息系统实现 以及我在电信/广电的经历, 这一次, 闲来无事, 尝试写一些代码来加深学习.
- 消息队列修改为 nats + liftbridge 注: liftbridge 替代了 nats-streaming-server , 相关信息参见liftbridge介绍文章
- 日志替换为 uber-go/zap, 替换原一是因为 zap 快一点, 二是个人更为熟悉这个日志库
- 修改了三个应用程序的启动方式, 去除了所有启动参数, 改为读取指定的 toml 配置文件( 同时, 预留接口以久将来进行读取远程配置, 及配置参数动态加载)
- 深入 comet / logic 模块尽量抽象接口, 以及作一些外部对接, 以及 技术实现的替换 , 例如, websocket 更换为 ws)
- comet 增加 gRPC 与 rpc 接口, tcp /websocket 等扩展增加用户注册 /发送消息/ 变更聊天室 / 查看历史消息等
- 增加 gRPC 拦截 ( 支持 chatbot 等), 增加支持 消息历史存储/ relay 等接口
修改文件如下示意, 支持 nats 的应用程序在以下路径, 每个应用下的 toml 为对应的配置 /cmd/nats/discoveryd-config.toml 为 discovery 的配置
├── cmd
│ └── nats
│ ├── comet
│ │ ├── comet-config.toml
│ │ └── main.go
│ ├── discoveryd-config.toml
│ ├── job
│ │ ├── job-config.toml
│ │ └── main.go
│ └── logic
│ ├── logic-config.toml
│ └── main.go
支持 nats 的库文件在
/internal/nats/
路径下, 除配置文件以外, 所有库的调用方式与原 goim 相同
参见 /goim-usage-cn.md ( chinese )
goim is a im server writen by golang.
- Light weight
- High performance
- Pure Golang
- Supports single push, multiple push and broadcasting
- Supports one key to multiple subscribers (Configurable maximum subscribers count)
- Supports heartbeats (Application heartbeats, TCP, KeepAlive, HTTP long pulling)
- Supports authentication (Unauthenticated user can't subscribe)
- Supports multiple protocols (WebSocket，TCP，HTTP）
- Scalable architecture (Unlimited dynamic job and logic modules)
- Asynchronous push notification based on Kafka
make build
make run
make stop
// or
nohup target/logic -conf=target/logic.toml -region=sh -zone=sh001 deploy.env=dev weight=10 2>&1 > target/logic.log &
nohup target/comet -conf=target/comet.toml -region=sh -zone=sh001 deploy.env=dev weight=10 addrs=127.0.0.1 2>&1 > target/logic.log &
nohup target/job -conf=target/job.toml -region=sh -zone=sh001 deploy.env=dev 2>&1 > target/logic.log &
env:
export REGION=sh
export ZONE=sh001
export DEPLOY_ENV=dev
supervisor:
environment=REGION=sh,ZONE=sh001,DEPLOY_ENV=dev
go flag:
-region=sh -zone=sh001 deploy.env=dev
You can view the comments in target/comet.toml,logic.toml,job.toml to understand the meaning of the config.
Websocket: Websocket Client Demo
Android: Android
iOS: iOS
| CPU | Memory | OS | Instance |
|---|---|---|---|
| Intel(R) Xeon(R) CPU E5-2630 v2 @ 2.60GHz | DDR3 32GB | Debian GNU/Linux 8 | 1 |
- Online: 1,000,000
- Duration: 15min
- Push Speed: 40/s (broadcast room)
- Push Message: {"test":1}
- Received calc mode: 1s per times, total 30 times
- CPU: 2000%~2300%
- Memory: 14GB
- GC Pause: 504ms
- Network: Incoming(450MBit/s), Outgoing(4.39GBit/s)
- Received: 35,900,000/s
goim is is distributed under the terms of the MIT License.