专题: 可扩展、高可用架构设计
Day of week:
- 星期五
本专题主要讨论大型复杂的互联网架构的设计与实践。
很多互联网包括移动业务成长非常迅速,需要在系统搭建之初以及成长阶段充分考虑系统架构的设计,以满足未来在稳定性、扩展性以及性能方面的要求。但是面对不同的业务型态,通常并没有现成的参考案例。本专题试图从已有的成功实践中,通过分析问题,找出解决思路的共性,给参与者带来在系统架构设计方面的思考及启发。同时,讲师丰富的实践经验分享也可作为大家日后的工作参考。
我们计划从不同的业务领域邀请实践者,分享他们在实际工作中所面临的挑战、成功,以及在扩展性、可用性与高性能实践时的经验与教训。
本专题将试图回答:
- 业界最新的有关互联网扩展性架构的方向是什么?
- 业界在互联网架构的方向有哪些最新的实践?
- 可用性的量化及实施过程?
- 大型系统在热点事件中系统架构如何设计、应对及测量
- 代码设计在扩展性、可用性与高性能方面的作用
多年软件及互联网行业开发经验,2008年加入新浪,曾负责通讯服务等多个大型后端系统研发。2009年起参与新浪微博的技术架构工作,在海量及峰值访问、大数据、NoSQL存储、异地机房分布式架构及开放平台等方面参与并推动多次技术架构改进,经历新浪微博从起步到成为数亿用户的大型互联网系统的技术演进过程,目前担任新浪微博技术总监。工作之余喜欢各种技术交流,曾多次公开分享新浪微博的技术架构演进,也经常通过微博发表技术观点。
by 楼方鑫
杭州平民软件有限公司创始人兼CEO
类似库存秒杀的业务非常多,比如抢积分、抢礼品、过年过节抢火车票、马拉松报名等,电商业务的库存处理要比想象中的复杂和困难,比如在双十一的超高流量基础上做秒杀,技术的因素是一个方面,还要结合非技术的因素,才能想到最佳的解决办法。这次演讲将包含:
a)库存的业务复杂性,及业务要求
b)库存的技术角度分析
c)库存的方案演变过程
d)最终方案的技术难点
e)最终方案的技术攻关
解决问题的过程中涉及了众多方面,数据库、Cache、NoSQL、限流、隔离等都需要统盘考虑,在这个过程中还认真分析了HSF、Tair & TDDL的优点和缺点,甚至还涉及了MySQL源代码层面的分析;业务方面则要充分考虑到超卖、少卖和账不平带后的后期问题。
这里分享当时解决问题的思考过程,也给大家提出了一个秒杀类业务的简洁的解决方案,无疑是谁都可以轻松面对万人秒杀。
by 么刚
搜狗架构师
搜狗商业广告平台为打造一站式营销服务提供基础架构支撑,满足广告主精准投放、精细化管理以及快速决策的需求。随着搜狗业务的飞速发展,广告数据量成几何级数增长。海量数据下,如何向互联网用户实时投放精准广告,如何向广告商提供实时广告状态和投放建议,如何对流量进行实时监控和分析,同时保证系统的健壮性,高性能和高可用性,是商业广告平台必须面对和解决的问题。
本次分享结合商业广告平台的特点,介绍搜狗商业广告平台两个流式计算系统:分布式广告物料实时计算系统和分布式消息发布订阅平台,分享在设计选型时的思考以及架构实践,希望能够给大家一定的启发和思考。
演讲大纲:
1.当“广告平台”遇到“流式计算”
列举典型场景,引出商业平台引入流式计算的必要性
2.搜狗商业平台流式计算设计原则
本节介绍搜狗在长期实践过程中对于流式计算的模式分类,以及根据实时性,易失性,保序性,可重复性等特征归纳的广告业务流式平台设计原则和实践经验总结。
3.架构实践
列举两个实例:...
by 金自翔
百度资深架构师
随着展示广告向互动广告的演进,需要开发一个支持各种实时互动效果的后端系统。这个互动系统需处理比传统广告检索系统更大的吞吐量,同时因为业务变换造成的热点切换更频繁,线上状况更难预测。为保障这个互动系统的可用性,需要在设计过程中充分考虑每个选择带来的影响,在提供合理扩展性的前提下,用尽量简单的设计方案落地实现,才能对外提供高可靠的交互服务。
演讲者会先分享一些针对类似系统通用的设计思路和经验,然后结合广告互动平台中的具体场景,说明如何从需求出发对系统内的数据和状态进行分析,实现多屏互动,投票,抽奖等后台服务,并达到一致性、可用性和可扩展性间的平衡。
除了系统可用性和扩展性,演讲者也会给出一些单机实现调优的思路和实践,提高单节点的性能和吞吐量,从而提高整个系统的性能。
听众收益:
- 了解一些大流量系统的设计原则和思路;
- 了解对于某些具体问题的并没有所谓最优解,...
by 梁宇鹏
环信首席架构师
主题摘要:
演讲将会首先在通用系统和IM系统架构演化方面进行介绍,讲述一个系统从小到大的可行的演化路线,同时会结合业务介绍一些演化规则,以及涌现式设计的要点;然后将在语言和运维两个层面,讲述创业公司内技术团队的成长经验;最后会讲一下一个有效合理的技术团队的组织特点,也会将我们对自组织的理解。
听众受益:
作为一个即时通讯云服务,环信在发展中一直保持这每月一翻的指数级增长速度。这对一个从无到有组建起来的团队以及一个从企业级应用演化出来的系统,都是一个巨大的挑战。每一个挑战的应对措施,相信可以给业务前线拼搏的技术人员一些帮助。
同时作为云服务的使用者,环信与众多创业团队一样,也面临着基础设施方面更大的不确定性。应对这种不确定性的措施以及相关的思考,将会为听众提供一些新的启发与提醒。
跟大多数创业公司一样,环信在成长过程中不可避免地遇到人员紧张,线上问题频发的情况,如何高效利用资源解决问题,以在服务演化中保证系统的可用性,就成了研发工作的重中之重。...
by 梁耀斌
阿里技术保障 全局架构技术专家
高可用是网站能否为用户提供优质服务的一个重要考核标准,但到底是什么是高可用,目前是缺少一个这样的标准的,国家在系统的容灾能力方面有一个国标,为可用性做了一定的标准定义,但互联网行业需要一个更加适合和贴近的标准。
阿里集团是一个业务多元化的集团,每个业务领域也都是完全不同的,这个高可用的标准定义用于指导各业务领域的系统的高可用的能力建设,不仅仅是评估各业务领域目前能做到的高可用能力级别,同时还将结合业务发展状况制定一个长期的高可用能力提升的建设方案,例如如何应对单机房中各种基础设施(交换机、电力等)的故障,如何应对地域级的基础设施故障等等。
这个topic将分享我们所定义的高可用标准,以及要达到标准中不同的能力级别可采用的技术方案。
by 秦迪
新浪微博平台及大数据技术专家
主题摘要:
很多开发者都会有这种经验:伴随着系统的规模扩大、性能不断提高,在系统运行的过程会出现很多意料之外的情况,影响服务的质量。在这些意料之外的情况当中,有相当一部分属于高性能、高并发、高负载环境下特有的问题,这类问题出现条件苛刻,难以发现和排查,并且往往会引起整个系统崩溃的严重后果。
微博平台作为典型的大规模、高性能系统,在不断改进架构以应对各类极端峰值的同时,也需要面对高负载系统出现的各类问题,并且积累了一些此类问题的经验。本次演讲中,会和大家聊一聊在大规模、高性能、高负载系统中特有的几类问题和解决思路。
主要提纲:
- 有哪些问题:结合案例,介绍大规模、高负载系统的几类典型问题
- 如何解决问题:在排查此类问题时总结出的一些方法和思路
- 如何避免问题:从系统设计到上线维护的过程中,避免此类问题发生的一些原则
by 洪小军
美图架构平台部门负责人
美拍作为国内最火和发展速度最快的短视频社区,上线九个月用户数即过亿,破亿速度超过微博、微信。这里主要会分享美拍从起步到快速发展阶段,在技术、团队等方面的考量。起步阶段重点快速研发上线以验证产品可行性,随着用户规模和活跃度快速增加,系统开始出现瓶颈,同时产品也在快速迭代,需要一直与时间在赛跑,在这期间又是怎么去整体考量,能满足产品快速迭代的要求又保证系统整体稳定性。
相信对于快速发展的团队,从技术选型和决策到项目安排和统筹都能有共识和参考点。快速发展过程中,也是在不断优化整体架构,不断解决所碰到的瓶颈点的过程,会碰到哪些典型的问题?面对这些问题,怎么快速的解决?关键的系统怎么更优的解决?怎么去统筹安排?相信对于架构师和一线研发人员,会有一定的参考价值。
演讲专题
Covering innovative topics
4月23日,星期四
-
敏捷之后,是什么
敏捷实践在大型组织中现在已经有哪些应用了呢?从小型团队中兴起的敏捷,到了大型组织中如何才能够取得成功呢?
-
知名移动案例分析
移动互联网高速发展,我们每天花在移动设备上的时间越来越多。怎么做出一款大众喜爱的应用,从众多 App 中脱颖而出?听听那些耳熟能详的 App 背后的成长故事,也许能找到答案。
-
新时代的安全
高危漏洞频发,隐私泄露,普通开发者该如何避免和防范;开发者如何从逻辑上避免风险?
-
互联网金融背后的技术架构
何为互联网金融?是互联网公司做金融业务,还是金融公司使用“云计算“,”大数据”等“时髦”技术?这些说法都不足以描述互联网金融的本质。
-
微服务架构
过去的一年,微服务架构在社区中讨论广泛。微服务在企业中的实践现状如何?本专题将关注它对企业计算架构的影响,以及一线互联网公司的团队是如何应对实践中的问题与挑战的。
-
永不止步的前端
过去一两年,在前端迅猛发展的同时,深深感觉到前端才刚刚开始。前端工程师正在演化成产品工程师,虽有迷雾,但路就在脚下,永不停息。
-
云计算高可用架构设计与实践
以分布式系统为基础的云平台需要对CAP原则做很好的平衡,当上层业务需要高可用支撑时,就需要对中间服务层及底层基础架构、操作系统层实现高可用,如何低成本的实现高可用就成为云平台设计的难点。本专题将以透过余额宝等金融服务的高可用服务,揭示底层的数据平台、虚拟化平台、跨数据中心的高可用架构。
4月24日,星期五
-
可扩展、高可用架构设计
本专题主要讨论大型复杂的互联网的架构设计、代码与运维体系。
-
新兴大数据处理技术与工具
Hadoop之后,又有哪些值得关注的大数据处理工具?
-
自动化运维
运维领域经过十多年发展,有什么海量和自动化理论实践供我们借鉴?云和开源运维管理系统的快速发展给我们的运维模式带来什么样的改变?如何在费时的质量问题分析时找到高效和巧妙的方法?
-
云计算平台构建与应用
云计算方兴未艾,各种技术与服务层出不穷,各种技术如何取舍?是搭建自己的云平台还是使用公有云服务?如何多快好省建设云平台,又如何在多个公有云服务中快速灵活迁移呢?了解云计算最新技术动态,行业最新内幕,应用最佳实践,就来云计算平台构建与应用专场。
-
移动开发最佳实践
移动互联网带来了新的一波创业潮,业务的飞速发展需要技术团队的良好支撑。面临不同时期不同量级的业务时,技术选型和策略可能会完全不同。让我们来看看业内的一些团队是怎么做的。
-
编程语言实战
各种不同的编程语言优劣一直是大家热议的话题,这个专题不是为了引起大家的争论,而是展示不同的编程语言在特定的场景解决了哪些问题,以实际的效果来说话,将优劣的问题留给大家来思考。
-
云计算与大数据应用选型
无论是云还是大数据,找到合适的解决方案、做好数据选型都是十分关键的。本专题将邀请来自主流云及大数据服务商的技术工程师,旨在帮助企业和个人充分了解主流解决方案的优势与特点,从而更好的进行技术选型。
-
亚马逊AWS技术应用实践
作为全球最成功的云计算服务商,亚马逊AWS在技术、功能和生态系统建设方面都有非常丰富的积累与经验。本专题将邀请亚马逊AWS的架构师及客户,分享在亚马逊AWS构建服务的实践,涉及混合云、大数据、移动应用和运维。
4月25日,星期六
-
团队建设
关注中小型团队如何走向成功。
-
服务质量
O2O潮起,“连接人与服务”成为焦点。我们邀请到一些优秀的服务平台或服务提供商,分享他们是如何针对O2O服务具有的地域性、时效性、闭环性、碎片化等特点,做好服务质量保证的。
-
挑战全栈开发
全栈是最近一两年里才流行起来的开发概念,代表一种新的工作模式。全栈工程师是否需要精通整个技术栈的所有技术,是精通单一领域,还是全面发展?全栈工程师在工作中要扮演什么不同的角色,工作过程究竟有何不同?
-
思考开源
开源的力量有目共睹,但如何应用开源、如何参与开源软件开发、如何融入和回馈开源社区、如何开源自己的软件等问题,都是很多公司的工程师非常关心的问题。这些问题的答案是什么呢?
-
基于大数据的机器学习和数据挖掘
该专题关注于当今最为前沿的机器学习技术, 包括深度学习, 大数据,以及个性化数据挖掘等领域。 我们将邀请该领域的资深专家, 详细介绍这些前沿技术给互联网产业带来的革命性的变化。
-
技术创业
在中国,技术创业是个艺术活儿——Google技术牛创业实战干货分享。
-
移动开发平台与工具应用实践
一款移动应用要经历从开发、测试、语音IM集成到运营监控的全生命周期,因此如何以低成本、快速的完成以上阶段就成为应用成败的关键。利用第三方开发平台或工具,开发者将以更低的成本获得全生命周期的技术支持,让开发者更专注应用的研发工作。本专场将主要分享移动应用开发过程中可使用的各种平台与工具的特点与应用实践,了解移动IM、IP电话、推送、广告系统背后的技术难点,以及详细解析第三方组件是如何解决用户数据管理、复杂网络、大并发等问题的。