漫谈大型网站架构

【编者按】架构无处不在,今天我们请到了《大型分布式网站架构设计与实践》一书的作者陈康贤来分享他对大型网站架构的理解,另外,我们也正在专访陈康贤,如果读者们有什么问题欢迎在本文下面的评论里留言,或者致邮CSDN编辑钱曙光qianshg@csdn.net。

以下为正文:

大型网站架构从来都不是一个预先定义的架构,而是一个演进式的架构。很少有一个网站从建站开始,就能够因具备大型网站的所有属性而一成不变的,从最简单的LAMP架构,再到基于IOE的大型集中式应用架构,再演变成时下的分布式应用架构,随着网站用户规模的扩大,架构也在不断演进。从实体机到虚拟机再到当前流行的Docker技术,从单机房到同城多机房再到异地多活,从LAMP到J2EE再到各种分布式中间件如服务框架、分布式消息队列、配置管理中间件、分布式数据访问层,由简至繁的艰难蜕变,也正是一个网站从小变大由弱变强的成长历程,哪里有挑战,哪里才会有变革,这正是作为技术人建功立业的时刻。

规模不断扩大,但成本不可能随之线性增长,如何利用规模效应降低资源成本,抽取公共部分,避免重复造轮子,提高开发效率和响应速度,成了必须思考的问题。技术存在的核心价值就是为了生产力的提高,当技术架构制约了生产力发展,就需要进行技术变革。当前支撑大型网站的几大核心技术,分布式、服务化、虚拟化,其中分布式解决的是规模化带来的问题,所谓的规模化即包括数据规模越来越大,访问量越来越高,也包括开发团队规模越来越大,工程代码规模越来越大。单机的存储能力以及负载能力必然有限,从PC到小型机再到中型机、大型机,成本将成指数级升高,而成百上千人开发同一个工程,则导致系统臃肿,开发、发布效率极低,互联网将丧失了赖以生存的灵活性,回到以前传统软件的开发模式。通过应用垂直拆分,集群分布式水平扩展,不仅使系统容量得到提升,存储和负载将分配到大规模的廉价集群上,以降低成本,开发效率和开发模式也得到改变。通过公共业务抽取,将诞生一批处于系统底层的基础服务,避免相同的内容重复造轮子,提高开发效率。作为大型网站架构中最重要的中间件,服务化框架简化了服务调用所涉及的对象序列化与反序列化,通信协议,服务路由等操作,以及到后来诞生的一个新名词—服务治理,去梳理服务的依赖关系、调用链路、强弱依赖等等更复杂的问题。在架构师的武器库中,还有众多不同应用场景下使用的中间件,如消息中间件、 分布式数据访问层、配置管理中心、数据迁移工具、分布式文件系统等等,这些都是日常系统架构中的粘合剂。大型网站的另外一个核心技术就是资源的虚拟化,从实体机到Xen、KVM再到基于LXC的轻量级虚拟化方案,再到Docker,技术的更新换代使得资源的利用率越来越高,集群的运维、部署和管理越来越方便。另外不同的场景下如何选择存储也十分重要,高并发和大数据往往都不会单独出现,到底是采用磁盘、SSD还是采用内存,到底是采用分布式文件系统,关系数据库,还是NOSQL,还是采用内存分布式缓存,不同的场景下方案会大相径庭,分布式文件系统存储容量几乎可以理解为无限,但是吞吐低,关系型数据库有严谨的schema以及功能强大的SQL语句,可以满足各种复杂的查询条件,但无奈扩展太麻烦,为了应对高并发读写访问,master-slave、读写分离、分库分表一折腾,不仅工作量大增,且查询维度受限,还需要引入垂直化搜索引擎来扩展查询维度,NOSQL虽然能自动分区扩容,但无奈不支持SQL,而缓存虽快,内存条又太贵,架构就是要不断的权衡取舍。

大公司之所以不如小公司响应速度快,原因在于大公司有太多积累,有时候积累多了也会成为包袱,现有的模型会使得新业务难以快速融入。当遇到问题和挫折的时候,就是思考改进和系统变革的时候,从来没有哪个系统在设计好之后就封存代码永不改变的,技术永远是不断发展,需求和市场也是不断变化的,因此不要指望用一种架构满足所有的需求,系统设计需要满足一段时间内的可扩展性,但千万不要过度设计,因为过了半年之后你回过头来重新review,你会发现需求早已改变,这就是互联网的快节奏。对于系统的架构来说,一段时间之内架构的演变,常常会经历从清晰,再到模糊混乱,再重构,再清晰,然后又变得模糊的过程,市场环境总是瞬息万变的,系统的设计要遵循对扩展开放,对修改封闭的原则,做到这点即可方便及时的接入新流程,又能够不影响既有的流程。从宏观来看,各个系统间的关系一定不是烟囱与烟囱的关系,而是犹如城市里的高楼大厦,通过公路连接起来,要提高建房子的速度,就要充分利用已有的基础设施,已有的中间件,来降低系统构建的成本和风险。架构设计的几个层次,没有架构也是架构,专注于解决现有问题也能称为架构,而好的架构应该是即能够约束开发者又能够解放开发者使其专注于功能的设计。尽量将复杂的事情变的简单,而不要将简单的事情变的复杂,技术从来都不是用来炫的,而是用来解决实际问题的,因此我们不需要花拳绣腿,洛克希德·马丁公司的著名飞机设计师凯利·约翰逊所提出的KISS原则,就是最好的诠释。风险驱动的架构理念告诉我们,避免失败是所有工程技术的核心,架构也是技术,运用架构技术去缓解风险,避免走极端,是架构师的最根本职责。

作者介绍:陈康贤(花名龙隆,博客),淘宝技术部技术专家,著有《大型分布式网站架构设计与实践》一书,在分布式系统架构设计、高并发系统设计、系统稳定性保障等领域积累了较为丰富的实践经验,对新技术有浓厚的兴趣 。

(责编/ 钱曙光,关注架构和算法领域,寻求报道或者投稿请发邮件qianshg@csdn.net,交流探讨可加微信qshuguang2008,备注姓名+公司+职位)

「CSDN 高级架构师群」,内有SDCC 2015架构专场的讲师等诸多知名互联网公司的大牛架构师,如果你想进群交流,请加微信qshuguang2008申请入群,备注姓名+公司+职位。

唯一一家 404 也是品牌的大型网站

经常上推的人对这张题图应该不陌生,每逢重大突发性事件,“地球的脉搏”就有可能停止跳动。

刚刚从公司离职的 CEO Dick Costolo 日前在离职前最后一天接受 Business Insider 的采访时表示,上市加剧了该公司的短期思维,但自己任职的四年里也并非一事无成。

“4 年前,这个网站甚至连稳定都做不到。我们是唯一一家连 404 错误页面都有自己品牌的大型网站——失败的鲸鱼。”

相关问答

谁知道美国的 大型网站 ?

美国的大型门户网站有:雅虎、MSN等。基本介绍:雅虎(Yahoo!,NASDAQ:YHOO)是美国著名的互联网门户网站,也是20世纪末互联网奇迹的创造者之一。其服...美国的...

大型 门户网站 一般都用什么cms系统?

pageadmincms,这个用的人最多pageadmincms,这个用的人最多

大型门户网站 建设哪家公司实力最强?

肯定是BAT,但是如果你的门户网站一下子没有上万、上亿人访问,并且你的预算有限的话,建议你不要一下就求大,淘宝最早都是买别人的代码来的,具体看看《淘宝技术...

一个 大型网站 需要多少服务器?

很高兴能回答这个问题。我曾做过六年的网站开发工作,因不能具体了解到您说的“大型”到什么程度,我就按我理解的大型网站给您说说。我认为的大型网站在国内至...

大型网站 建设哪个好?

[回答]在这样一个移动互联网的时代,搭建好企业的网站,做好互联网上面的一个营销宣传工作,对于传统行业来说起着至关重要的因素。网站建设优选东莞实力雄...

机械 网站 哪家好,类似 大型 机械?

挖机,推土机,吊车推荐铁甲网挖机,推土机,吊车推荐铁甲网

国内 大型 的网络设备和服务提供商 有哪些 ?-ZOL问答

挺多的啊,像思科、华为这种国际公司,还有华三通信、汉柏科技、锐捷网络等公司都是大型的网络产品和服务提供商。尤其是近年新崛起的汉柏科技,风头日上,几乎要比...

还有没有类似3DM这样的,其他的 大型 单机游戏 网站 ?

有类似的网站因为现在有很多类似3DM的大型单机游戏网站,比如游民星空、电玩巴士、游侠网等,这些网站提供了丰富的游戏资源,而且还有许多用户分享游戏攻略和心...

在座的行家求答案, 大型 求职 网站有哪些 ,求职网站什么品牌好...

[回答]【召贝】赋能共享共赢,【召贝直面】让工作不难找。召贝直聘,以传统招聘为基础,取长补短,创造HR行业新征程。是一个性价比高、价格公道、质量保证的...

做一个 大型网站 ,例如像智联招聘的网站,大约多少钱?需要多少...

现在网上有好多现成的网站源码,我见过智联招聘类似的源码,基本不需要花钱。。有用(0)回复948748147l加QQ89934196做网站没你想象的那么复杂。很简单的。...