设为首页收藏本站
站点公告:
微信公众号bj_xxw
北京信息网 首页 新闻资讯 科技 互联网 查看内容

大型网站大数据高并发带来的问题解决方案

2019-6-30 22:42| 发布者: jhb| 查看: 7150| 评论: 0

摘要: 大型网站大数据高并发带来的问题解决方案随着计算机网络的普及和网络技术的不断发展,网络应用程序设计的复杂性也需要不断提高。大型网站,比如门户网站,在面对大量用户访问、高并发请求方面带来的问题。1.大并发: ...
随着计算机网络的普及和网络技术的不断发展,网络应用程序设计的复杂性也需要不断提高。大型网站,比如门户网站,在面对大量用户访问、高并发请求方面带来的问题。

1.大并发:在同一个时间点,有大量的客户来访问我们的网站,如果访问量过大,就可能造成网站瘫痪。

北京信息网

2.大流量:当网站大后,有大量的图片,视频, 这样就会对流量要求高,需要更多更大的带宽。

北京信息网

3.大存储:你的数据量会成海量的数据,如果我们的数据放入一张表,是无法应对的。可能对数据保存和查询出现问题。

北京信息网

基本的解决方案集中在这样几个环节:使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web容器,(对架构分层+负载均衡+集群)这几个解决思路在一定程度上意味着更大的投入。

北京信息网

解决方案:

北京信息网

   一、提高硬件能力、增加系统服务器。(当服务器增加到某个程度的时候系统所能提供的并发访问量几乎不变,所以不能根本解决问题)

北京信息网

   二、使用缓存(本地缓存:本地可以使用JDK自带的 Map、Guava Cache.分布式缓存:Redis、Memcache.本地缓存不适用于提高系统并发量,一般是用处用在程序中。比如Spring是如何实现单例的呢?大家如果看过源码的话,应该知道,Spiring把已经初始过的变量放在一个Map中,下次再要使用这个变量的时候,先判断Map中有没有,这也就是系统中常见的单例模式的实现。)

北京信息网

北京信息网

    分布式缓存利器Redis集群,Redis集群的搭建至少需要三主三从。

北京信息网

    1. 所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。

北京信息网

    2. 节点的fail是通过集群中超过半数的节点检测失效时才生效(所以一个集群中至少要有三个节点)。

北京信息网

    3. 客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。

北京信息网

    4. 集群中每一个节点都存放不同的内容,每一个节点都应有备份机。

北京信息网

    5. redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->value

北京信息网

6f2f3282288d4e94bf7a9726375ed87f.jpg

北京信息网

Redis 集群中内置了16384 个哈希槽,当需要在Redis 集群中放置一个key-value 时,redis先对 key 使用 crc16 算法算出一个结果,然后把结果对16384 求余数,这样每个key 都会对应一个编号在0-16383 之间的哈希槽,redis会根据节点数量大致均等的将哈希槽映射到不同的节点。

北京信息网

   三 、消息队列 (解耦+削峰+异步)通过异步处理提高系统性能,降低系统耦合性

北京信息网

在不使用消息队列服务器的时候,用户的请求数据直接写入数据库,在高并发的情况下数据库压力剧增,使得响应速度变慢。但是在使用消息队列之后,用户的请求数据发送给消息队列之后立即 返回,再由消息队列的消费者进程从消息队列中获取数据,异步写入数据库。由于消息队列服务器处理速度快于数据库(消息队列也比数据库有更好的伸缩性),因此响应速度得到大幅改善。

北京信息网

a30c723bb3a947c48d11c171c533376a.jpg

北京信息网

通过使用消息中间件对Dubbo服务间的调用进行解耦, 消息中间件可利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,可以在分布式环境下扩展进程间的通信。通过消息中间件,应用程序或组件之间可以进行可靠的异步通讯,从而降低系统之间的耦合度,提高系统的可扩展性和可用性。

北京信息网

   四 、采用分布式开发 (不同的服务部署在不同的机器节点上,并且一个服务也可以部署在多台机器上,然后利用 Nginx 负载均衡访问。这样就解决了单点部署(All In)的缺点,大大提高的系统并发量)

北京信息网

168c31de54204e53aad6f820ed4667da.png

北京信息网

   五 、数据库分库(读写分离)、分表(水平分表、垂直分表)

北京信息网

PXC高可用集群与Replication集群结合方案

北京信息网

这种的集群在遇到单表数据量超过2000万的时候,mysql性能会受损,所以一个集群还不够,我们需要把数据分到另一个集群,这个称为“切片”,就是把大量的数据拆分到不同的集群中,每个集群的数据都是不一样的,通过MyCat这个阿里巴巴的开源中间件,可以把sql分到不同的集群里面去。

北京信息网

d3ae5dedb4ea44fa9ae87919cd66ad63.png

北京信息网

北京信息网

PXC集群方案与Replication区别

北京信息网

    PXC集群方案所有节点都是可读可写的,Replication从节点不能写入,因为主从同步是单向的,无法从slave节点向master点同步。

北京信息网

    PXC同步机制是同步进行的,这也是它能保证数据强一致性的根本原因,Replication同步机制是异步进行的,它如果从节点停止同步,依然可以向主节点插入数据,正确返回,造成数据主从数据的不一致性。

北京信息网

    PXC是用牺牲性能保证数据的一致性,Replication在性能上是高于PXC的。所以两者用途也不一致。PXC是用于重要信息的存储,例如:订单、用户信息等。Replication用于一般信息的存储,能够容忍数据丢失,例如:购物车,用户行为日志等

北京信息网

   六、 采用集群 (多台机器提供相同的服务)系统架构方案

北京信息网

2ed3d419a8cd4d07963da8ff96368f47.png

北京信息网

   七、CDN 加速 (将一些静态资源比如图片、视频等等缓存到离用户最近的网络节点)

北京信息网

   八、浏览器缓存 页面静态化(使用php自己的ob缓存技术实现, 主流的mvc框架(tp,yii,laravel)模板引擎一般都自带页面静态化 )      

北京信息网

   九、使用合适的连接池(数据库连接池、线程池等等)

北京信息网

   十、适当使用多线程进行开发。

北京信息网

   十一、使用镜像

北京信息网

镜像是大型网站常采用的提高性能和数据安全性的方式,镜像的技术可以解决不同网络接入商和地域带来的用户访问速度差异,比如ChinaNet和EduNet之间的差异就促使了很多网站在教育网内搭建镜像站点,数据进行定时更新或者实时更新。有很多专业的现成的解决架构和产品可选。也有廉价的通过软件实现的思路,比如Linux上的rsync等工具。

北京信息网

   十二、图片服务器分离

北京信息网

大家知道,对于Web服务器来说,不管是Apache、IIS还是其他容器,图片是最消耗资源的,于是我们有必要将图片与页面进行分离,这是基本上大型网站都会采用的策略,他们都有独立的、甚至很多台的图片服务器。这样的架构可以降低提供页面访问请求的服务器系统压力,并且可以保证系统不会因为图片问题而崩溃。

北京信息网

在应用服务器和图片服务器上,可以进行不同的配置优化,比如apache在配置ContentType的时候可以尽量少支持、尽可能少的LoadModule,保证更高的系统消耗和执行效率。

北京信息网

北京信息网

随着信息量和用户的增多,大数据和高并发成了软件设计必须考虑的问题,暂时总结这么多方案,随着技术的进步和时间的推移,会有更多的优秀的解决方案出现。

北京信息网

北京信息网

吉海波

北京信息网

鲜花

握手

雷人

路过

鸡蛋
此篇文章已有0人参与评论

请发表评论

全部评论

推荐阅读
港媒:大陆对台湾的忍耐有限度,打击“台独”将会“硬的更硬” .
据香港“中评社”10月15日报道,大陆领导人习近平13日在加德满都指出,任何人企图在中
广渠路东延项目部开展欢庆祖国70周年——书法品鉴会
  为庆祝祖国70周年华诞,10月5日下午,北京项目管理部广渠路东延项目部很荣幸的邀
家,有多包容,就有多兴旺!
家,是什么?家是亲情的存放点,家是爱情的欢乐窝,家是人生的避风港,家是一生的归宿
歌词:依然准备着
刘玉广虽然脱下军装虽然告别营房军人意志作风从此留在心上家国情怀斧凿刀刻知道如何前
以政府安排工作方式退出现役士兵保险补缴告知单
以政府安排工作方式退出现役士兵保险补缴告知单2019年1月,中共中央办公厅、国务院办
这个旅有个晒得黝黑的女兵,但战友都说她最美
今天我们来认识一位女兵先来看两张照片▼▲主人公是右边那位,清新秀丽吧。▲右边这位
优秀!舞蹈老师参军变身特战女兵
说实话哨位君被一个女兵震撼了95后、舞蹈老师、特战队员又会跳舞又懂习武看着她手撕脸
图解土耳其出兵叙利亚:库尔德两面受敌,俄罗斯恐成最大赢家 ...
10月9日,土耳其正式发动了代号“和平喷泉”的大规模越境军事行动,当晚土耳其军队以
永远的怀念——同乡战友追忆修建独库公路牺牲烈士弓荣生
“当青春在不知不觉中老去,蓦然回首,总有那么几个人,几段往事,几许深情,镌刻在心
2019最新军队和武警院校名单
大家都知道上军校有几大好处首先是省钱,学杂费和生活费全免,且每月发放津贴、其次包

特产家小程序

扫描,关注官方微信

联系我们

400-0098-987

24小时服务热线
客服QQ:2030115567
Copyright 2005-2018 天下通达(北京)网络技术有限公司 版权所有 | 地址:北京市海淀区西三旗沁春汇底商1008

Archiver|手机版|小黑屋|北京信息网 ( 京ICP备14024126号-1 北京市公安局海淀分局网络备案编号:1101082106