服务端开发者从零构建系统方法论

桃扇骨 2021-09-24 23:38 233阅读 0赞

> 欢迎大家关注公众号「JAVA前线」查看更多精彩分享文章，主要包括源码分析、实际应用、架构思维、职场分享、产品思考等等，欢迎大家加我微信「java\_front」一起交流学习

# 1 前言 #

我认为技术之于业务的意义在于：技术可以实现业务的需求，技术可以丰富业务的手段，技术可以扩展业务的边界。

从0到1构建一个互联网技术系统是十分具有挑战性的工作，综合能力要求比较高。本文来谈一谈从0到1构建互联网技术系统基本方法论，具体实现细节可能会有所不同。

# 2 关键步骤 #

## 2.1 技术选型 ##

选用稳定的并且经过线上考验的技术和框架，不要刻意使用新技术或新版本。

## 2.2 绘制用例图 ##

用例图由参与者，用例，边界以及它们之间的关系构成，用于描述系统功能。

用例图是外部用户（被称为参与者）所能观察到的系统功能的模型图。用例图呈现了一些参与者，一些用例，以及它们之间的关系，主要用于对系统、子系统或类的功能行为进行建模。用例图是系统的蓝图。

## 2.3 设计领域模型 ##

设计清晰的领域模型对开发以及后续维护至关重要。简而言之就是系统有多少个模块，每个模块之间是怎么交互的，是同步还是异步，走消息还是直接调用。此时每个工程师可以认领自己熟悉的模块，作为子项目负责人，后续分模块进行开发。

## 2.4 设计交互流程 ##

系统间的模块是如何交互的？系统和其它系统间如何交互？这些问题需要在这个阶段得到详细而具体的回答。

一个比较好的方法是绘制时序图，用一个典型的业务场景为例，描绘出整个系统交互的主要流程。

## 2.5 设计数据表 ##

数据表设计有以下维度需要思考

*  基础数据字段
 *  核心业务字段
 *  数据表索引设计
 *  数据表体量
 *  是否需要分库分表

## 2.6 新建工程模块 ##

现在架构师就要开始创建工程和模块了。原则上是一个领域一个工程，按照领域级别分别开发和部署。当然项目刚开始为了快速迭代可以先合并几个领域到一个工程，等到体量大了再拆分。

## 2.7 明确代码规约 ##

异常是抛出还是捕获，接口的返回值需要用Result包装，监控、告警、流控由切面统一处理等，这样系统会具有很好的维护性。

## 2.8 开发阶段 ##

此时开发的基础条件都已具备，每个模块的负责人按照模块进行开发。

## 2.9 测试阶段 ##

开发人员单元测试要完备，测试人员先按模块进行测试，最后全链路测试。

# 2.10 发布阶段 #

明确各模块依赖关系，明确发布顺序，确定回滚方案。注意RPC服务循环依赖问题。

# 3 核心指标 #

完成上述工作，功能相关的工作就完成了。当然一个系统仅仅完成功能是远远不够的，还有以下的几个核心指标需要关注。

## 3.1 机器指标 ##

架构师只关注功能层面是不够的，因为有些功能看似正常，但是在运行一段时间会暴露严重问题。

例如刚发布上去功能完全正常，但运行一段时间后响应速度显著下降，原因是有开发人员在代码中随意声明线程，频繁创建线程达到了Linux支持的最大线程数，导致整个应用无法接收新的请求。

所以在线上还应该关注机器指标，比如线程数，CPU利用率，内存，磁盘空间，磁盘IO，网络流量，负载情况，GC情况等等。

当系统运行一段时间后出现耗时莫名增加，超时报警异常增多，但并没有发布或升级的操作，就需要立刻分析机器指标。

## 3.2 性能指标 ##

在客户端层，代理层，WEB层，服务端层，数据层都有着自己的性能优化的手段。简单介绍服务层和数据层常见优化方案。

常见的做法是在服务层和数据层之间加一个缓存层，可以是本地缓存也可以是分布式缓存，原则就是将数据放在离用户更近的地方，以空间换时间。

技术架构上可以抽出一层缓存工具框架包，在框架中统一提供比如缓存击穿，分布式锁等解决方案。

## 3.3 监控指标 ##

没有监控报警的业务系统非常不安全，工程师必须对系统监控报警敏感且及时响应。监控可以从以下方面去思考。

### (1) 业务监控 ###

*  业务异常：单位时间出现X次需要告警
 *  延时监控：某状态单位时间内是否变化
 *  数据量监控：单位时间数据量是否正常

### (2) 系统监控 ###

*  系统异常是不允许出现的异常，例如如空指针，操作数据库失败等异常，只要出现就立刻需要告警被感知

## 3.4 安全指标 ##

系统的安全性是系统的根本，要从系统安全和业务安全两个方向去考虑。下列指标只是提供一个思路，还有很多指标可以补充。

### (1) 业务安全 ###

*  超时是失败还是重试
 *  补偿机制是否完备
 *  分布式一致性是否实现
 *  监听消息业务幂等性是否完备

### (2) 系统安全 ###

*  是否鉴权
 *  是否流控
 *  是否高频检测
 *  是否随意声明线程

# 4 利用大数据 #

大数据技术和框架层出不穷，我们可以选择一些来扩展系统的功能，减轻系统的压力。

例如我们可以利用Hive进行离线数据分析，ES进行实时数据分析和数据检索，HBase存储行为轨迹数据等，可以减轻数据库压力，降低系统风险。大数据平台还可以提供数据化产出，为数据化运营提供有力保障。

# 5 文章总结 #

从0到1构建互联网技术系统需要有一定的架构思维和能力，这种能力也只有在不断实践，踩坑和思考中才可以形成。踩坑也不要灰心，注意吸取教训总结经验，这样才能尽快成为一名合格的架构师。

> 欢迎大家关注公众号「JAVA前线」查看更多精彩分享文章，主要包括源码分析、实际应用、架构思维、职场分享、产品思考等等，欢迎大家加我微信「java\_front」一起交流学习

发表评论取消回复

表情：

评论列表（有 0 条评论，233人围观）

还没有评论，来说两句吧...

相关阅读

相关 008-从零搭建微服务-系统服务（一）

模块规划后续服务都按下图结构创建，主要分为三块：mingyue-system 系统服务聚合模块、mingyue-system-api 系统服务公共 API 模块、min

谁践踏了优雅/ 2023年10月12日 11:09/ 0 赞/ 43 阅读

相关手动从零使用ELK构建一套搜索服务

前言这两天需要对接一个新的搜索业务，由于测试机器还没到位，所以就自己创造条件，通过在Windows上安装VM虚拟机，模拟整套环境，从而能快速进入核心业务的开发测试状态中

不念不忘少年蓝@/ 2022年09月24日 10:18/ 0 赞/ 116 阅读

相关从零手写服务端框架

服务端开发是一个很笼统的概念，狭义讲，服务端开发只是后台程序员的逻辑开发，比如一些新功能（针对新数据的增删改查），或者游戏的新玩法等等；而广义上讲，服务端开发的工作会涉及除了：

浅浅的花香味﹌/ 2022年07月16日 09:20/ 0 赞/ 146 阅读

相关从零手写服务端框架

服务端开发是一个很笼统的概念，狭义讲，服务端开发只是后台程序员的逻辑开发，比如一些新功能（针对新数据的增删改查），或者游戏的新玩法等等；而广义上讲，服务端开发的工作会涉及除了：

刺骨的言语ヽ痛彻心扉/ 2022年07月16日 09:20/ 0 赞/ 159 阅读

相关从零到独自开发一个网站（后端）

从零到独自开发一个网站（后端） 2015-09-15 16:22:25 本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非

灰太狼/ 2022年07月13日 08:12/ 0 赞/ 168 阅读

相关后端开发者从零做一个移动应用（一）

移动互联网时代，我不想只当一个后端工程师是时候学习一些新的东西了！一直以来想要学习一些前端的知识，扩宽自己的技术栈，但是一直以来对前端都是进行了解，没有用一个产品

川长思鸟来/ 2022年06月13日 02:44/ 0 赞/ 161 阅读

相关后端开发者从零做一个移动应用（后端篇）

先来上一张前端页面的效果图（Vue + Vux + Vuex + Vue-Router）。 ![image][] \ 第一次做gif 没什么经验，太大了。加载慢 \ 项

蔚落/ 2022年06月12日 05:16/ 0 赞/ 283 阅读

相关系统开发服务端插件(openresty开发)

nginx version: openresty/1.13.6.2 openresty 基础框架下载地址： [http://openresty.org/c

港控/mmm°/ 2022年04月23日 08:20/ 0 赞/ 360 阅读

相关手动从零使用ELK构建一套搜索服务

\[b\]\[size=large\] 由于Iteye不支持MarkDown语法写的文章，请大家点击下面链接查看我放在开源中国上的文章 :D \[url\]htt

喜欢ヅ旅行/ 2022年04月11日 06:26/ 0 赞/ 409 阅读

相关服务端开发者从零构建系统方法论

> 欢迎大家关注公众号「JAVA前线」查看更多精彩分享文章，主要包括源码分析、实际应用、架构思维、职场分享、产品思考等等，欢迎大家加我微信「java\_front」一起交流学习

桃扇骨/ 2021年09月24日 23:38/ 0 赞/ 234 阅读