高并发-----高并发和大数据的处理

深藏阁楼爱情的钟 2022-01-28 04:09 225阅读 0赞

JAVA架构 2019-05-23 00:11:36

随着网络的普遍，我们的生活慢慢被信息所包围。我们做web开发的，遇到高并发和大数据的情况很正常，那么我们需要怎么做才能解决这些问题？

**高并发的解决方案**

说到高并发，我们遇到的高并发是如何产生的呢?大家有想过么？并发并发，无外乎是同时访问我们的服务器，服务器处理能力达到上限，整个程序处于高负荷甚至宕机状态，高并发的同时数据库的查询或者数据的存储也相应变多。所以高并发的处理需要处理两个核心点，一个是web服务器问题，另一个就是我们的大数据问题。

**第一种：使用集群和分布式**

增加web服务器数量，做web服务器集群，通过负载均衡算法，将请求分发给压力小的服务器，使得请求在最短时间内得到响应，避免影响用户体验，集群分布式是大多数公司都使用的常用方式。

集群:在多台服务器集群的前提下，每台服务器的功能是一样的，无论访问哪台服务器都是一样的，主要起到分流的作用。

分布式：将不同的业务分给不同的服务器做，处理一个请求可能用到好几个服务器，使请求得到快速响应，分布式和集群可以用时使用。

**第二种：页面静态化**

在我们的web里面并不是所有的数据都是时刻变化，有些页面变动很小，我们就可以让这部分的页面存入缓存中，频率变化高的，我们可以使用Ajax来实现数据的更新，这样我们就避免了大量用户对数据库的请求。

**第三种：应用和静态资源的分离**

这个时候，我们将我们的静态资源（js，html，css等等）放在单独资源服务器上，这样就可以减轻我们应用服务器的压力。

**第四种：通过反向代理将别的服务器资源展示给用户**

反向代理服务器是我们正常访问A网站的时候，将B网站的信息发给我们。这样极大的减轻了我们服务器的压力。客户端直接访问的服务器并不真正提供服务，它从别的服务器获取资源然后将结果返回给用户

**大数据的处理方案:**

**1， 使用缓存**

我们可以将数据放在内存里面，避免每次访问数据库，对数据造成压力。同时使用缓存还能提高查询效率和缩短查询时间。

**2，sql语句优化**

sql语句的优化很重要，我们需要什么数据就查询什么数据，避免造成不必要的性能浪费。sql语句优化详情，在我的Mysql数据库（三）------mysql优化方案，有想法的可以看看。

**3，数据库集群和库表散列**

注:上述方案只是部分解决办法，更多的方法大家有兴趣可以自行百度。

**温馨提示**

**如果你喜欢本文，请朋友圈，想要获得更多信息，请关注我。**

发表评论取消回复

表情：

评论列表（有 0 条评论，225人围观）

还没有评论，来说两句吧...

相关阅读

相关高并发技巧-流量聚合和高并发写入处理技巧

> 这篇文章我将介绍对于写入流量高的处理技巧，并且介绍一款快手开源的很实用的用来做流量聚合的工具BufferTrigger。通过这篇文章的介绍，相信对于大多写流量（后面就称为写

今天药忘吃喽~/ 2024年04月01日 19:05/ 0 赞/ 14 阅读

相关高并发技巧-流量聚合和高并发写入处理技巧

> 这篇文章我将介绍对于写入流量高的处理技巧，并且介绍一款快手开源的很实用的用来做流量聚合的工具BufferTrigger。通过这篇文章的介绍，相信对于大多写流量（后面就称为写

你的名字/ 2024年04月01日 19:05/ 0 赞/ 4 阅读

相关 java高并发处理 java处理高并发的几种方法

一、背景综述并发就是可以使用多个线程或进程，同时处理（就是并发）不同的操作。高并发的时候就是有很多用户在访问，导致系统数据不正确、糗事数据的现象。对于一些大型网站，

心已赠人/ 2024年03月17日 23:21/ 0 赞/ 20 阅读

相关高并发技巧-流量聚合和高并发写入处理技巧

> 这篇文章我将介绍对于写入流量高的处理技巧，并且介绍一款快手开源的很实用的用来做流量聚合的工具BufferTrigger。通过这篇文章的介绍，相信对于大多写流量（后面就称为写

太过爱你忘了你带给我的痛/ 2023年09月23日 14:10/ 0 赞/ 71 阅读

相关高并发技巧-流量聚合和高并发写入处理技巧

读流量（qps）高的场景其实见的更多，比如常用的淘宝和抖音，大部分都是读场景，而写的流量相对读的流量整体要低不少。但是如果遇到做活动，比如电商促销秒杀；或者一些本身确实写流量高

ゝ一纸荒年。/ 2023年09月23日 13:48/ 0 赞/ 74 阅读

相关如何处理大量数据高并发大流量并发操作方案

文/赖忠标大数据并发处理解决方案： 1、HTML静态化效率最高、消耗最小的就是纯静态化的html页面，所以尽可能使网站上的页面采用静态页面来实现，这个最简单的方

骑猪看日落/ 2022年06月05日 01:45/ 0 赞/ 184 阅读

相关高并发的处理

高并发的处理 1，放在redis中，数据库中排队，然后用定时任务一个一个去消费---辅助用状态 ---qps大(异步处理的方式) 2，负载均衡

川长思鸟来/ 2022年04月06日 14:39/ 0 赞/ 182 阅读

相关高并发-----高并发和大数据的处理

JAVA架构 2019-05-23 00:11:36 随着网络的普遍，我们的生活慢慢被信息所包围。我们做web开发的，遇到高并发和大数据的情况很正常，那么我们需要怎么做才能解

深藏阁楼爱情的钟/ 2022年01月28日 04:09/ 0 赞/ 226 阅读

相关 MySQL大数据高并发处理之-查询的优化

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 谈一下MySQL中的查询优化技术。保证在实现功能的基础上

港控/mmm°/ 2022年01月13日 08:41/ 0 赞/ 378 阅读

相关高并发大流量专题---8、动态语言的并发处理

高并发大流量专题---8、动态语言的并发处理一、总结一句话总结：和本科毕业论文连起来了：基于消息中间件Rocket MQ的研究；用于并发处理的消息队列

Myth丶恋晨/ 2021年11月05日 01:48/ 0 赞/ 240 阅读