Abstrakt

Ettersom kunstig intelligens (AI) utvikler seg raskt, møter tradisjonelle datasenternettverk store utfordringer når de bærer AI-trafikk. Høy båndbreddeutnyttelse og et lite antall elefantstrømmer kan gjøre konvensjonell belastningsbalansering per-flyt ineffektiv, noe som resulterer i overbelastning og pakketap som betydelig øker opplæring av AI-modeller og fullføringstider. Denne hvitboken undersøker en dynamisk intelligent rutingteknologi som kombinerer sanntidsbevissthet-med intelligent beslutningstaking. Den bruker bane-kvalitetsmåling, BGP utvidet-attributsynkronisering, dynamisk vektet-kostnadsmultibane (WCMP), fjerning av unormal-bane og

Automatisk belastningsbalansering på -flytnivå (ALB) for å forbedre trafikkplanleggingen i AI-miljøer. Designet bruker også virtualisering for å gi isolasjon av flere-leietakere og tilbyr applikasjonsscenarier og planleggingsveiledning for effektive, stabile og intelligente AI-datasenternettverk.

Hvorfor tradisjonelle nettverk sliter med AI Trafikk

I tradisjonelle datasenternettverk muliggjør et stort antall små flyter per-flytbelastningsbalansering for å oppnå akseptabel distribusjon og unngåelse av overbelastning selv uten sanntidsbevissthet om nettverksforhold. AI-trafikk er veldig forskjellig: båndbreddeutnyttelsen er ekstremt høy og trafikken domineres ofte av bare noen få elefantstrømmer. Hash-kollisjoner kan derfor plassere flere store strømmer på samme bane mens andre stier forblir underbrukt. Når pakketap oppstår, kan fullføringstiden for hele AI-arbeidsmengden øke betydelig. Av denne grunn fokuserer industrien i økende grad på optimaliserte lastbalanseringsalgoritmer for AI-stoffer slik at trafikken fordeles jevnere over flere baner.

Figur 1. Sammenligning av AI-elefant-flyttrafikk og tradisjonell liten-flyttrafikk.

Kombinerer dynamisk bevissthet med intelligente beslutninger-

Dynamisk intelligent ruting er en bevissthetsbasert-lastbalansering-teknologi. Den bruker banekvalitet som registreres av brytere i stoffet for å justere lokalt banevalg og støtter dynamisk vektet lastbalansering. Teknologien er bygget på BGP og definerer et nytt utvidet-fellesskapsattributt.

Fler-dimensjonale målinger med høy-presisjon brukes til å evaluere banekvaliteten, og resultatet spres gjennom BGP for å veilede etterfølgende trafikkvideresending. Dette forbedrer nettverkets-brede belastningsfordeling og reduserer appens responstid [1].

Figur 2. Arbeidsflyt for dynamisk bevissthet, beslutninger og utførelse.

I-Band Telemetri

Måling av videresendings-forsinkelse er basert på INT (In-band Network Telemetry) og kan nå nanosekund--nivå. HDC (High Delay Capture) fanger opp pakker som opplever høy latens inne i ASIC. Når en pakke overskrider en brukerdefinert-forsinkelsesterskel, sender svitsjen de første 150 bytene av den originale pakken sammen med metadata, inkludert inngangsport, utgående port og latens, til en samler. I denne utformingen fungerer CPU-en som HDC-samleren og -analysatoren, og muliggjør høy-presisjonsmåling av videresending-forsinkelse og mer nøyaktig bane{10}}kvalitetsevaluering.

Figur 3. Forplantning av bane-kvalitet og WCMP-installasjon.

Teknologien bruker et nytt BGP utvidet-fellesskapsattributt, Path Bandwidth Extended Community, for å indikere den samlede kvaliteten til en bane til en destinasjon. Den høye-byten i feltet for utvidet-type er 0x00 og den lave-byten er 0x05. I verdifeltet representerer underfeltet Global Administrator AS-nummeret. Banekvalitet er kodet i fire byte ved hjelp av IEEE flytende{10}}punktformat og uttrykt i GB/s.

Når NIC1 kommuniserer med NIC2, annonserer NIC2 først sin IP-adresse til Leaf2. Leaf2 annonserer adressen til Spine sammen med linkens-kvalitetsverdi mot NIC2 multiplisert med Leaf2 downlink-vekten. Spine legger til sin egen vektede lenkekvalitet og overfører den akkumulerte verdien til Leaf1. Leaf1 oppsummerer stikvaliteten og installerer ruter som styrer videresending. I et tolags Leaf-Spine-stoff er porter klassifisert som Leaf uplinks, Leaf downlinks og Spine-porter, med konfigurerbare beregningskoeffisienter for hver klasse.

trafikk proporsjonalt på tvers av lenker. I dynamisk intelligent ruting justeres WCMP-vekter i sanntid i henhold til banekvalitet. For eksempel, hvis det eksisterer to veier mellom NIC1 og NIC2, kan systemet beregne et 3:7-forhold. Etter hvert som trafikken endres, spres oppdatert bane-kvalitetsinformasjon gjennom BGP til hver Leaf-svitsj, der dynamiske WCMP-ruter genereres for å veilede videresending.

Unormal banefjerning

Når en banes samlede kvalitet faller under en avtalt terskel, anses banen som ubrukelig for AI-arbeidsbelastningen og fjernes fra videresending. De resterende stiene fortsetter å føre trafikk gjennom dynamisk WCMP. Når banen går tilbake til normalen, blir den gjenopprettet. Selv om dette midlertidig kan la noe kapasitet være ubrukt, forhindrer det mer alvorlig overbelastning og pakketap [1].

Intelligent lastbalansering (ALB)

ALB gir Flowlet-basert lastfordeling. ASIC måler belastning og latens på forskjellige porter i sanntid og dirigerer hver Flowlet til koblingen med lavere belastning eller lavere forsinkelse. Dette legger til en mer detaljert-planlegging på toppen av tradisjonell ECMP. ALB støtter også port-failover og distribuerer automatisk trafikk når en utgående kobling mislykkes [1].

Virtualisering

Front-nettverk trenger ofte støtte for flere-leietakere slik at forskjellige GPU-ressurser kan tildeles forskjellige brukere. Løsningen bruker VRF (Virtual Routing and Forwarding) for å isolere leietakere, med én VRF tildelt hver bruker. GPU-relaterte undernett plasseres i brukerens VRF, og PRE ACL-er i ASIC klassifiserer inngående trafikk slik at hver brukers trafikk kun videresendes innenfor den tilsvarende VRF [1].

Global beregningspool: Kryss-regionskoblinger mellom TR-er leveres i henhold til topp inter-regiontrafikk, med valgfri inter-region QoS for å opprette en enhetlig beregningspool på tvers av regioner [2].

3. Global Inference-tjenestenettverk

Et globalt inferensnettverk velger utrullingsmodeller i henhold til ressursene og skytjenestene som er tilgjengelige i hver region og gir effektiv tjenestedistribusjon og tilgang [2].

• Modell- eller agentdistribusjon: Bruk Model Studio MaaS-implementering, PAI-EAS- eller Function Compute PaaS-distribusjon, eller IaaS-distribusjon på EGS, ACK, ACS eller Lingjun bare-metallinfrastruktur i kundens VPC.
• Tjenestedistribusjon: Lag en slutnings-distribusjons-VPC og koble til private nettverk ved hjelp av VPC-peering, tilhørende sky{1}}tjeneste-VPCer eller PrivateLink. Distribuer ALB eller forbedret ALB som tilgangspunkt og proxy-forespørsler til forskjellige modeller eller agenter.
• Tjenestetilgang: Lokale internettbrukere kan få direkte tilgang til forbedret ALB; eksterne brukere kan bruke Global Accelerator (GA); interne eller eksterne Alibaba Cloud-bedriftsbrukere kan koble seg privat gjennom PrivateLink.

Denne hvitboken forklarer utfordringene som IDC-nettverk står overfor i AI-æraen og hvordan dynamisk intelligent ruting kan håndtere dem. Dynamisk bevissthet, intelligent beslutnings-taking, WCMP, ALB og VRF-virtualisering forbedrer effektiviteten ved -belastningsbalansering, reduserer overbelastning og pakketap, og akselererer AI-trening og slutninger. Planleggingsdelen legger vekt på VPC-segmentering, samling-utgangsdesign, aggregering og forbehandling på tvers av-regioner, modellopplæring og global slutningslevering. Ettersom AI fortsetter å utvikle seg, vil datasenternettverk møte strengere krav. Dynamisk intelligent ruting vil fortsette å bli bedre for edge AI, federated learning og andre komplekse scenarier. Fremtidige IDC-nettverk vil legge større vekt på datanettverk-konvergens, energieffektivitet og automatiserte operasjoner, og skape et mer intelligent, effektivt og pålitelig grunnlag for den digitale økonomien.

Referanser

Bruker-levert teknisk kildedokument.

Hvitbok for Alibaba Cloud AI Network. Åpnet 27. mai 2026.

https://help.aliyun.com/zh/cloud-nettverk-godt-designet-design/alibaba-sky-ai-nettverk-hvitt-papir