从更高到更好 揭秘2021阿里双11背后的技术亮点

2021年11月23日 阅读数:546
这篇文章主要向大家介绍从更高到更好 揭秘2021阿里双11背后的技术亮点,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

简介: 今年,是阿里巴巴第13个双11。今年双11,阿里巴巴大促峰值的计算成本相比去年降低50%;截至11日,小蛮驴无人车在双11期间累计配送快递已超过100万件。更多的阿里自研技术投入到双11,在芯片、服务器等硬核技术攻坚的同时,技术也在推进全链路的降本增效。除了深耕自立自强的高科技,阿里还在践行“人人受益、责任担当、开放共享”的好科技,但愿用技术给客户创造更好的价值,为社会创造更大的贡献。从更高到更好,今年双11,阿里巴巴的技术有什么不同?前端

做者 | Alibaba Tech
来源 | 阿里技术公众号算法

今年,是阿里巴巴第13个双11。数据库

今年双11,阿里巴巴大促峰值的计算成本相比去年降低50%;小程序

截至11日,小蛮驴无人车在双11期间累计配送快递已超过100万件。segmentfault

更多的阿里自研技术投入到双11,在芯片、服务器等硬核技术攻坚的同时,技术也在推进全链路的降本增效。后端

除了深耕自立自强的高科技,阿里还在践行“人人受益、责任担当、开放共享”的好科技,但愿用技术给客户创造更好的价值,为社会创造更大的贡献。安全

从更高到更好,今年双11,阿里巴巴的技术有什么不同?服务器

image.png

绿色低碳

1 绿色科技 助力每笔订单碳排放量持续降低

交易背后的碳成本主要有三部分:一是商品交易/数字交易自己的碳成本;二是物流运输中的碳成本;三是商品生产和消费中的碳成本。网络

低碳双11,必须解答好三个考题:首先,如何让数据中心变得更“绿”、更加节能;其次,如何经过算力共享,提高资源统一调度效率;再次,如何让单位算力的效率和价值最大化。架构

在绿色数据中心方面,阿里云以低碳选址、清洁能源、液冷技术等融合AI应用,加速绿色节能技术创新及迭代升级,作到“少用电、用好电、用绿电”;在绿色计算方面,经过技术创新实现资源利用率显著提高、助力自身节能减排,今年每一笔订单在交易环节的碳排放进一步减小;在绿色算力方面,云提供了算力充分复用、高效利用的技术架构与经济模式,让算力自己更绿色;在绿色数字供应链方面,以算法驱动,采用预测+决策的算法体系,从机器学习向深度学习技术栈演进,实现数据驱动的预测决策一体化优化,持续优化、创新供应链计划和运配等环节,下降货损、提高运配效率,帮助商家下降碳排放。

image.png

2 技术驱动,建设阿里巴巴绿色数字供应链

今年双11,数字供应链采用预测+决策的算法体系,实现数据驱动的预测决策一体化优化,下降货损,统一调度减小浪费;在运配场景,提高车辆装载率及运输效率;经过建设一盘货、全链路可售能力,帮助商家库存共享,更精准地进行补货备货,助力商家多端销售,下降滞销。

3 阿里云数据中心大规模使用绿电,为“双11减碳计划”提供绿色“后盾”

为助力数据中心低碳绿色发展,近年来,阿里巴巴积极响应国家“双碳”战略要求,开展清洁能源电力交易。2018年,张北数据中心加入张家口“四方协做机制”风电交易,率先在全国数据中心行业开展非水可再生能源电力交易。今年9月,做为首批全国绿色电力交易主体,达成1亿千瓦时光伏电力交易,成为本次交易中互联网行业最大的绿色电力购买主体,践行了绿色发展的理念,探索了经过新交易品种得到绿色电力的路径。双11期间,预计阿里张北数据中心将使用绿电近3000万千瓦时,减排二氧化碳2.6万吨。公开数据显示,2021年1-9月,阿里巴巴共交易绿电2.48亿千瓦时。自2018年至2021年9月,仅张北数据中心就累计交易约6亿千瓦时新能源电量,累计实现二氧化碳减排近52.3万吨。

值得一提的是,阿里巴巴张北数据中心成为行业内首个碳普惠试点项目,获评2020年国家绿色数据中心,入选2021年国家生态环境部低碳绿色典型案例。

4 统一调度、统一资源池稳定、高效、低成本支撑双 11

在应用侧,针对高并发场景,在保障消费体验的同时,阿里技术大幅优化交易链路,应对脉冲式流量。在软件侧,经过统一资源池进行统一调度,支撑大规模的离在线混部,实如今线业务优先调度。在云方面,基于阿里自研的神龙云服务器、自研的数据库PolarDB等,大大提高了服务器资源使用效率,可搭建百万级规模的容器集群,大规模释放云原生的技术红利。

5 绿色物流全面升级,经过智能切箱、绿色回箱、碳帐单等让绿色心智充分触达消费者,打造人人都能参与的绿色双11

经过优化纸箱型号和推荐合理的装箱方案,菜鸟智能切箱算法支持菜鸟全行业仓内包材推荐,平均减小使用15%包材,仅在菜鸟仓一年可为5.3亿个包裹“瘦身”。

经过碳排放测算和绿色物流各环节的信息化盘查,在2021年天猫双11期间推出了物流行业首个“我的减碳帐单”,并在6万个菜鸟驿站发起“快递包装回收 全面换鸡蛋”、1万个菜鸟驿站试行旧包装循环寄件项目,打通消费者可感知、可参与的快递包装循环使用闭环。

image.png

技术创新

1 平头哥芯片含光800规模化支持搜索推荐等场景

2021双11期间,含光800经过阿里云平台支持了淘宝搜索、推荐等业务,其中淘宝主搜100%的AI算力由该芯片提供。实际应用状况显示,含光800有效发挥了芯片与云计算环境融合的优点,既提高了系统的性能又下降了总体能耗,以搜索场景为例,相比传统GPU,使用含光800运行的算法效率最高可提高近2倍,单位算力能耗下降58%。

image.png

2 自研磐久服务器新一代硬件技术全新上阵

磐久服务器新一代硬件和技术全新应用于双11,提供行业领先的计算及存储生产力,场景化性能提高30%以上。今年云栖大会上,阿里巴巴发布自研磐久服务器系列,包括高性能计算系列、高性能存储系列、大容量存储系列。采用统一的方升架构,实现从芯片、部件到整机的技术及架构创新和自研,使用灵活模块化与全栈软硬件融合技术,提供多种通用和异构计算、多层级存储解决方案,为客户带来行业领先的、更高可靠性和更极致的性能体验。

3 双11云原生技术实现自研、开源、商业化三位一体

中间件迈向产品三位一体架构进行演进,后端BaaS化,运行时Mesh化,业务Serverless化,作到开箱即用,按量付费,全面提高研发运维效率。其中基础中间件进行BaaS改造,微服务升级到MSE,消息升级到MQ,可观测升级到ARMS,高可用升级到AHAS,全链路压测升级到PTS,升级成公有云产品,极致弹性,大促分钟级建站和扩容,大大提高建站效率。Mesh化在国际化大规模落地,把非业务逻辑下沉到Sidecar,让业务聚焦业务开发。业务Serverless化,淘宝导购前端100%上FC函数计算云产品,实现快速扩容、快速响应,帮助业务提高运维效率。将来预计将有更多企业采用阿里双十一同款中间件支撑业务峰值,快速共享中间件沉淀的技术和能力。

4 多模态大模型M6首次支持双11 落地40多个业务场景

超大规模模型成为人工智能领域的焦点。近期,阿里达摩院实现了全球首个10万亿参数的多模态大模型M6,并发布了对外平台,涵盖各项单模态和跨模态的理解及生成任务。做为国内首个商业化落地的多模态大模型,M6已在阿里巴巴超40个业务场景中应用,日调用量超5亿。

今年,大模型首次支持双11。依靠多模态理解能力,M6正在增进淘宝、支付宝等平台的搜索及内容认知精度;凭借流畅的写做能力,M6正为天猫虚拟主播等创做剧本和文案;M6已在犀牛智造上岗,其高清图像生成能力让设计师工做效率提高5倍,新款服饰开发周期从过去的1-3个月下降到最快2周,首批AI设计服装已在淘宝上线。

尤为值得一提的是,M6作到了业内极致的低碳高效,相比去年发布的大模型GPT-3,M6实现同等参数规模,能耗仅为其1%,极大下降了大模型实现门槛,并推进了普惠AI的发展。

image.png

5 IPv6大规模应用于双11

在过去三年多时间,阿里巴巴在技术生态中积极推进IPv6超大规模部署和应用,截止2021年10月,集团应用月活IPv6用户已经超过6亿。双11期间电商APP淘宝,天猫,闲鱼,考拉的移动互联网IPv6流量占比超过76%。淘宝的核心业务功能 "交易订单"链路已经完成IPv6改造并有1/3 流量经过IPv6承载,首次支撑双11大促。此外,钉钉已完成IPv6全链路改造,是国内首款端到端全链路支持IPv6-only的试点应用。

6 全栈式数字供应链技术创新,助力提高商业效率

数字供应链为行业与商家提供端到端的数字供应链解决方案,实现从采购到流通、从商家到消费者的全链路场景的覆盖。

今年双11数字供应链不断技术创新,自研深度时序预测算法Falcon,帮助商家进行智能的销量预测及补货入库,并打造了智能时序预测机器人产品DChain Forecast,让商家也具有高准确度的时序预测能力;持续建设供应链仿真平台,实现供应链全链路高保真仿真,支持品仓部署、网络规划等沙盘推演,优化库存管理,提高在架;提供智能履约决策能力,实现对仓配路由、订单集批、配送调度等做业场景的覆盖,保障远近场、标品生鲜等不一样时效要求的服务目标达成。

本次大促,数字供应链驱动了超过数以亿件商品与订单的流动,以数字化技术助力提高商业效率与经济活力。

7 阿里灵杰产品全面拥抱云原生,性能和可用性全面提高

阿里灵杰全面拥抱云原生,包括MaxCompute上线统一调度、实时计算Flink版 VVP平台升级Serverless、Hologres 全面上线到云原平生台,带来集群稳定性和资源弹性能力的提高。MaxCompute统一调度集群承担了交易量的40%,性能也是混部集群中最高的,实时计算Flink版 引擎优化、Hologres高可用能力建设等帮助核心业务营销活动分析、生意参谋等节省大促资源的同时,可用性也有大的提高。

8 云原生架构在国际化全面铺开,结合业务架构创新进一步实践云原生价值

双11期间国际化全部核心应用100%云原生,100%ASI开启Mesh数据面能力,Mesh控制面下沉覆盖核心交易链路大部分核心系统,云原生去中心化网关架构成功在AE规模化落地,承接大促流量,并经受双11峰值流量考验;

业务架构:为提高架构持续演进能力,将网关类组件实现容器化剥离,基于容器编排部署,实现去中心化网关架构,为云原生业务架构演进树立新的标杆。

基础架构:以服务网格为底座,实现企业级流量治理标准与产品架构,支持了双十一数千应用服务级别流量管控与治理,实现了流量治理规则上线由以天为单位应用维度升级到秒级上线生效,人均效率提高1倍以上。

体验升级

1 淘宝3D沉浸式直播间、虚拟主播 打造沉浸式消费新体验

双11期间,淘宝直播融合3D沉浸式直播间、3D化商品与虚拟主播(AI数字人)为消费者带来全新的沉浸式消费新体验。

淘宝直播3D沉浸式直播间基于全球首个影视级扩展示实的云拍摄技术,突破了以往影视级XR直播拍摄中云渲染、AI、复杂光影模拟、云3D资产库等关键技术,支持主播仅用普通绿幕就可虚拟出上千平米的直播会场、近千盏舞台灯光、特种摄像设备的直播效果,成为首个具备低成本、可复用、低碳环保等优点的商家自播影视级拍摄解决方案。

与此同时,淘宝直播不只利用先进的3D建模技术,将海量线下商品在线上实现3D化呈现,更在大数据与多模态技术的支持下,让直播间里的虚拟主播根据商家全量多模态商品介绍剧本,在直播过程当中图文并貌地进行商品的讲解、对话互动、问题解答,为消费者带来数字空间消费新交互体验。

2 多语言技术创新促进跨境电商商家销售

创译技术融合改写和翻译能力,缓解低质量源语言商品信息的影响,显著提高了用户语言体验,目前已支持AliExpress、ICBU在十多个国家、数千万跨境商品信息的国际化;图像翻译技术自动定位、识别翻译区域,将中文图片自动转化为英文图片,将创意轻松国际化,实现了Lazada百万商品图片信息的国际化,图片翻译及编辑工具已赋能上千头部跨境商家;多语言生成技术还能整合碎片、零散的信息,生成富有吸引力的素材,为消费者提供及时丰富的讯息。

3 业务中台助力双11更加开放与保障

业务中台经过中台能力升级,为消费者和商家提供更好的购物体验。

消费者侧,不断打磨消费者购买链路细节来提高购买体验。在联想词推荐、自适应索引选择的加持下,用户能够快速搜索到已购买目标商品,加购好物且能够购物车一键分享,直播间多样商品也能组合下单;同时,业务中台经过电商&支付能力开放,助力多支付多优惠渠道打通,缩短用户总体支付路径,下降交易时长5.5s,提高用户支付体验。

商家侧,经过中台智能算法,包括商品库存预警、尖货爆品提早关注,0秒退款等能力,助力商家高效合理备货;同时针对直播间的权益投放,促进下单转化率最高提高6%,直播间主播战绩再攀高峰。

4 独创跨境B2B直播 优化音视频体验

2021下半年,新冠疫情反复、线下展会和跨境物流遇阻、汇率和上游原材料价格波动,外贸行业面临多重不肯定性。阿里巴巴国际站去年独创跨境B2B直播,至今已累计进行30多万场。

为给客户更好的跨境直播和客服体验,达摩院XG实验室与视频云、企业智能等团队合做,经过音视频应用与网络传输优化跨层融合,实现极端弱网对抗能力,优化面向QoE的带宽估计、抗丢包技术,实现70%丢包对抗能力;经过深耕带宽估计、SVC、抗丢包等二十余项传输技术,保障了多种弱网场景下的音视频体验,音视频清晰度、卡顿率等核心体验指标均有所提高,视频卡顿率降低达80%,在极端弱网场景下表现尤其突出。

image.png

5 云原生数据仓库AnalyticDB:大幅提高查询分析实时性

阿里云数据库已连续多年稳定支撑双11,历经极端流量场景淬炼。除了保障稳定顺滑的基本盘,今年大促期间数据库经过全面云原生化,大幅提高用户体验,让技术帮助业务产生更有价值的消费者体验,持续经过技术创新赋能用户,引领技术发展路径。

今年,阿里集团经过引入阿里云原生关系型数据库PolarDB+云原生数据仓库AnalyticDB(ADB)+一站式在线数据管理平台DMS,赋能交易业务中台实现对全量订单进行便捷搜索,实现个性化的联想词推荐,让检索效率大大提高,有效提高了手淘用户的搜索体验。

此外,AnalyticDB今年还新增了数百个系统核心指标。经过丰富的工具以及不断沉淀的能力,提早发现风险,保障双11大促丝般顺滑,写入峰值百万级TPS无延时,同时大幅减小工程师工做量。

PolarDB+AnalyticDB+DMS还支撑了实时买卖家库同步、历史订单搜索等双11核心业务场景。

image.png

6 云原生内存数据库Tair:确保购物车实时显示用户到手价

阿里云原生内存数据库Tair做为历年双11大促承载流量洪峰的利器,不只在数十亿QPS的峰值下保持着亚毫秒级别的顺滑延迟,同时在电商交易核心体验场景上也作出了技术创新。

经过原生持久内存存储结构,Tair助力购物车场景实现了高并发流量下、实时显示动态优惠和券后到手价,让用户对商品实付价一目了然,显著提高消费者购买体验。

据悉,阿里自研内存数据库Tair诞生于2010年,是一种支持高并发低延迟访问的云原生内存数据库,彻底兼容Redis,已历经多年双11大促考验,提供核心在线访问加速能力,显著提高系统吞吐量。

7 科技适老,让数字服务不产生数字鸿沟

目前,阿里巴巴12款APP加入了无障碍行动,让每一个人都平等享受技术带来的红利。淘宝“长辈模式”,经过引入字体大小适配,个性化推荐,ASR语音转化等技术,消除数字鸿沟,帮助老年朋友看得清,看得懂,看得放心;

淘菜菜针对老年群体提供“银发版”,字号更大,操做更简便,同时优化低端机用户体验,小程序打开速度提高50%,加购性能提高30%;

饿了么持续优化银发用户和残障人士的使用体验,覆盖导购、搜索、下单全流程。在研发长辈模式过程当中,优化了字体大小和银发人群常使用的功能模块。此外,饿了么还专门为无声蓝骑士上线了无障碍沟通系统,以及经过智能调度系统,为残障骑手匹配接单,过去一年,智能调度系统让这些骑手单均跑单距离减小7%,让数十万障碍和银发用户更好地享受本地生活服务。

产业智能

1 AI图像生成技术助力快反时装设计

在时装行业,如何高效、准确地量产符合市场趋势的创新设计款式,缩短新款培育周期与库存风险,一直是商家的痛点难题。

经过AI图像生成技术,阿里技术研发了一套智能趋势设计解决方案,可根据趋势描述,实时产出高分辨率款式设计图,支持不一样层次的编辑操做,并经过个性化分发下降品牌同质化,从而提升了新品的研发速度与精准度,让品牌与消费者的需求对接更顺畅。

在今年的“双11”应用中,多家鞋靴商家应用并上架了几千款AI设计商品。

2 小蛮驴无人车实现大规模配送

今年双11,350多辆阿里“小蛮驴”携手菜鸟驿站,开进全国高校,天天配送快递5万多件,预计配送快递超100万件。“小蛮驴”将自动驾驶技术与菜鸟末端物流场景、即时配送场景相结合,实现了产品驱动的自动驾驶规模化落地。在物流产业中,末端物流一直是整个物流体系中成本最高、效率最低的环节,无人车开在非结构化的末端场景,须要识别处理大量的交通参与者,好比机动车、非机动车、行人、动物等,以及其余的突发情况。100万单的背后,是小蛮驴的算法技术、运营技术和安全保障能力在作支撑,以算法为例,小蛮驴目前天天单车日均识别障碍物约4000万,日均处理与其余交通参与者的交互约5000次。

image.png

原文连接
本文为阿里云原创内容,未经容许不得转载。