2016年的双11在淘宝上买买买的时候，天猫和优酷土豆一起做了联合促销，在天猫双11当天购物满xxx元就赠送优酷会员，这个过程需要用户在优酷侧绑定淘宝账号（登录优酷、提供淘宝账号，优酷调用淘宝api实现两个账号绑定）和赠送会员并让会员权益生效（看收费影片、免广告等等） 这里涉及到优酷的两个部门：passport（在上海，负责登录、绑定账号，下文中的优化过程主要是passport部分）；会员（在北京，负责赠送会员，保证权益生效） 在双11活动之前，passport的绑定账号功能一直在运行，只是没有碰到过大促销带来的挑战
接入中间件drds，让优酷的数据库支持拆分，分解mysql压力
接入中间件vipserver来支持负载均衡
接入集团drc来保障数据的高可用
对业务进行改造支持amazon的全链路压测
上图是压测过程中主要的阶段中问题和改进,主要的问题和优化过程如下：
优化过程中碰到的比如淘宝api调用次数限流等一些业务问题就不列出来了
由于用户进来后先要登录并且绑定账号，实际压力先到passport部分，在这个过程中最开始单机tps只能到500，经过n轮优化后基本能达到5400 tps，下面主要是阐述这个优化过程
login 主要处理登录请求
userservice 处理登录后的业务逻辑，比如将优酷账号和淘宝账号绑定
为了更好地利用资源每台物理加上部署三个docker 容器，跑在不同的端口上（8081、8082、8083），通过bridge网络来互相通讯
说明：这里的500 tps到5400 tps是指登录和将优酷账号和淘宝账号绑定的tps，也是促销活动主要的瓶颈
在userservice机器上通过netstat也能看到大量的syn_sent状态，如下图：
这时socketconnect异常不再出现
docker(bridge)----短连接--->访问淘宝api（淘宝open api只能短连接访问），性能差，cpu都花在si上；
如果 docker(bridge)----长连接到宿主机的某个代理上（比如haproxy）-----短连接--->访问淘宝api， 性能就能好一点。问题可能是短连接放大了docker bridge网络的性能损耗
去掉docker后，性能有所提升，继续通过perf top看到内核态寻找可用的local port消耗了比较多的cpu，gif动态截图如下（可以点击看高清大图）：
注意图中ipv6_rcv_saddr_equal和inet_csk_get_port 总共占了30%的cpu
一般来说一台机器可用local port 3万多个，如果是短连接的话，一个连接释放后默认需要60秒回收，30000/60 =500 这是大概的理论tps值
同时观察这个时候cpu的主要花在sy上，最理想肯定是希望cpu主要用在us上，截图如下：
sy占用了30-50%的cpu，这太不科学了，同时通过 netstat 分析连接状态，确实看到很多time_wait：
于是让pe修改了tcp相关参数：降低 tcp_max_tw_buckets和开启tcp_tw_reuse，这个时候tps能从1000提升到3000
居然性能又回到了500，太沮丧了，其实最开始账号绑定慢，passport这边就怀疑taobao api是不是在大压力下不稳定，程序员一般都是认为自己没问题，有问题的一定是对方 ：） ，taobao api那边给出调用数据都是1ms以内就返回了（alimonitor监控图表）。
于是怀疑从优酷的机器到淘宝的机器中间链路上有瓶颈，但是需要设计方案来证明这个问题在链路上，要不各个环节都会认为自己没有问题的，当时passport的开发也只能拿到login和userservice这两组机器的权限，中间的负载均衡、交换机都没有权限接触到。
在尝试过tcpdump抓包、ping等各种手段分析后，设计了场景证明问题在中间链路上。
压测的时候在userservice ping 淘宝的机器；
将一台userservice机器从负载均衡上拿下来（没有压力），ping 淘宝的机器；
从公网上非优酷的机器 ping 淘宝的机器；
这个时候奇怪的事情发现了，压力一上来场景1、2的两台机器ping淘宝的rt都从30ms上升到100-150ms，场景1 的rt上升可以理解，但是场景2的rt上升不应该，同时场景3中ping淘宝在压力测试的情况下rt一直很稳定（说明压力下淘宝的机器没有问题），到此确认问题在优酷到淘宝机房的链路上有瓶颈，而且问题在优酷机房出口扛不住这么大的压力。于是从上海passport的团队找到北京passport的pe团队，确认在优酷调用taobao api的出口上使用了snat，pe到snat机器上看到snat只能使用单核，而且对应的核早就100%的cpu了，因为之前一直没有这么大的压力所以这个问题一直存在只是没有被发现。
于是pe去掉snat，再压的话 tps稳定在3000左右
优化到3000tps的整个过程没有修改业务代码，只是通过修改系统配置、结构非常有效地把tps提升了6倍，对于优化来说这个过程是最轻松，性价比也是非常高的。实际到这个时候也临近双11封网了，最终通过计算（机器数量*单机tps）完全可以抗住双11的压力，所以最终双11运行的版本就是这样的。 但是有工匠精神的工程师是不会轻易放过这么好的优化场景和环境的（基线、机器、代码、工具都具备配套好了）
优化完环境问题后，3000tps能把cpu us跑上去，于是再对业务代码进行优化也是可行的了。
代码中的第二个问题是我们程序中很多异常（fillinstacktrace），实际业务上没有这么多错误，应该是一些不重要的异常，不会影响结果，但是异常频率很高，对这种我们可以找到触发的地方，catch住，然后不要抛出去（也就是别触发fillinstacktrace)，打印一行error日志就行，这块也能省出10%的cpu，对应到tps也有几百的提升。
部分触发fillinstacktrace的场景和具体代码行（点击看高清大图）：
对应的火焰图（点击看高清大图）：
整个useragent调用堆栈和cpu占用情况，做了个汇总（useragent不启用tps能从4700提升到5400）
实际火焰图中比较分散：
最终通过对代码的优化勉勉强强将tps从3000提升到了5400（太不容易了，改代码过程太辛苦，不如改配置来钱快）
优化代码后压测tps可以跑到5400，截图：