对我们来说,正常运行时间并非营销指标,而是影响我们每一项决策的工程约束。 当您的整个业务在单一平台上运行时,停机时间并不是一个不便,而是一种绝对的限制。 我们认真对待这一责任,并且它体现在 KamoCRM 架构的每个层面上,从数据库到负载平衡器。
在基础上,我们运行 YugabyteDB 作为我们的主要数据存储。 YugabyteDB 是一个分布式 SQL 数据库,可在多个节点之间复制数据,并且具有自动故障转移功能。 如果某个节点出现故障,群集将继续运行,而不会丢失数据或需要人工干预。 此外,我们的应用层由通过 RKE2 在 Kubernetes 上运行的超过 64 个无状态微服务组成。
实时通信增加了另一层复杂性。 视频会议、消息传递和电话通话都需要持续连接和低延迟,我们使用 Janus WebRTC 来处理这些问题,并使用 NATS JetStream 来处理消息代理,这两种技术都在我们的群集中部署在高可用性配置中。 甚至我们的文件存储层(由 MinIO 提供支持)也配置了擦除编码,以确保数据的持久性。
结果是,系统中没有任何一个组件的故障会导致其他组件停机。 更新每天以滚动部署的形式发送几次,因此发布更新不会影响可用性。 数千个指标实时跟踪,随叫随到的工程师在几秒钟内就会获悉异常情况。
