We are in the process of migrating this forum. A new space will be available soon. We are sorry for the inconvenience.

Síť bhs


oles@ovh.net
05-26-2012, 08:12 PM
Ahoj,

Již jsme mluvili o budově, elektrické síti, věžích a serverech pro BETA test, ale co je zde nového okolo síťové úrovně v BHS?

Jdeme hodně kupředu a každý týden se dostáváme dále a dále.

V současnosti máte 3 páry optických kabelů mezi DC v BHS a Montrealem. Tyto kabely spravujeme a máme šířku pásma 2x 80 Gb/s. Rozhodli jsme se, že vytvoříme náš hlavní Montreal POP v Cologix (ex Canix 3). Máme několik bay, dva routery a "malý" 60 Gb/s do New Yorku, Toronta, Londýna.
Zajímavost: Montreal/Londýn nevede před U.S., ale přímo z Kanady.

Toto je síť, která nám umožňuje provádění ALFA a BETA testu. Později budeme moci mít perfektní konektivitu do Montrealu.

Mezitím pracujeme na nastavení vysokokapacitní sítě s vysokou dostupností mezi:
-BHS a New York (bypas Montrealu)
-BHS a Chicago (bypass Montrealu)
Cílem je redukce latence (takže nepůjde zpět do Montreal) a správa velké šířky pásma mezi DC a BHS a dvěma hlavními POPy v U.S.: New York, NY a Chicago, IL.

Jedna z přidaných hodnot je síť a kvalita šířky pásma. Tuto službu můžeme zajistit díky tomu, že jsme si pořídili dark fibre v Evropě, zvolili jsme si zařízení na chod tohoto vlákna a spravujeme síť pomocí našich týmů.

Protože se budeme v U.S. snažit zkopírovat obchodní model, který má úspěch v Evropě, je nutné obsluhovat si i vlastní optiku.

A to není jednoduché. Proč? Protože existující operátoři nechtějí prodávat kabeláž a spravovat si ji vlastními silami. Vždy preferují spravovat kabeláž a prodávat svým zákazníkům již hotovou službu. Tady je zcela určitě problém v obchodním modelu (a díky tomu i v ceně), ale především nám tím zabraňují používání inovativních řešení (jako je Coherent 100G) a omezují některé vymoženosti, které požadují naši zákazníci.

Ale obecně operátoři neprodávají ani nekupují kabeláž. Co ale dělají je, že vyměňují v poměru metr za metr. Je proto nutné investovat do naší vlastní sítě (zahrnuje inženýring a kopání země) a poté můžeme vyhledat společnosti, o jejichž sítě máme zájem a začít smlouvat. Bohužel né všichni provádějí výměny...

Za několik dní bychom měli podepsat smlouvu na pár optických kabelů mezi Montrealem a New Yorkem (přes Albanu) s operátorem, který se nebrání komunikaci. To nám umožní zprovoznění naší vlastní sítě se 100G coherent a připojit naše DC do New Yorku s kapacitou 1 Tb/s. Tato síť by měla být v provozu v období srpen/září.

Současně komunikujeme s poskytovatele o druhé redundantní cestě mezi Montrealem a New Yorkem. Tato komunikace by měla být u konce za 2-3 týdny a síť by měla fungovat v září. Cílem je mít dvě cesty a plnou redundantnost.

Jak zajistit redundanci?

Pro zajištění redundance je jedním z řešení vzít 10G okruh po jedné cestě a 10G okruh po cestě jiné. Poté vše propojit na routery. S OSPF/BGP routing protokolem, routery budou využívat cestu, která je v chodu a jestliže dojde k jejímu pádu, router novou cestu dopočítá a použije.

Problémem tohoto řešení je, že funguje na malé sítě o 50-100G, ale nikoli v našem případě, kdy chceme 1 Tb/s na začátek a později 8 Tb/s. Pro připojení 1 Tb/s reálné šířky pásma je potřeba mít 2 Tb/s šířky pásma. To znamená 200x 10G namísto 100x 10G. To je už velmi nákladné řešení, protože 10G okruh a 10G port stojí stále ještě spoustu peněz. A navíc router je limitován počtem portů na šasí. To znamená několik šasí na routery a když se to vezme celkově, tak by nám vznikla síť, kterou by bylo velice obtížné spravovat.

My hledáme jednoduchou a levnou páteřní síť.

Řešení, které bychom chtěli převést do praxe spočívá v použití 2 cest z optiky a failoveru na optiku, ale nikoli na IP na cestě.
Úroveň 1, nikoli úroveň 3. To znamená, že 100x 10G které je připojeno k routerům je vždy v provozu a optický systém používá jednu optickou cestu, nebo jinou. Toto se nazývá "chráněné okruhy" (protected circuits) a s 100G coherent to vypadá velice slibně.

To je důvod, proč musíme pracovat na naší vlastní optice. Optické zařízení na dvou routerech musí být od stejné značky a musí spolu dobře komunikovat. Cílem je přepnout optickou cestu na méně jak 200 ms v případě problému.

V Montrealu/New Yorku se nyní byvíme o třetí cestě s poskytovatelem, který má optiku mezi kanadskou hranicí a Albanou, NY a jinými poskytovately, kteří mají optiku mezi Albany,NY a New Yorkem, NY. A tutíž je zde 3 volba. Pro zajištění 100% SLA potřebujeme 2 poskytovatele, takže v tomto je to dobré.

Pokračujeme o naší síti.

Na druhé straně Montrealu do Toronta, je to trochu komplikovanější a to dokonce i když probíhá několik jednání. Zákon nařizuje, že abychom se stali kanadským poskytovatelem, musíme být z 80% vlastněny kanadskými občany. Díky tomu je zde 4-5 velkých poskytovatelů, nízká úroveň konkurenčního boje a také malé investice. Poslední se datuje do roku 1999-2001. Od té doby používají poskytovatelé stále stejnou optiku a tu si nechávají pouze pro sebe.

Ale stále se snažíme dohodnolut smlouvu a posunout tím náš projekt kupředu. 1- optika mezi Montrealem a Torontem přes Ottawu vlastněná poskytovatelem, který je ochotný ji nabídnout. Zde zatím není žádný deadline, protože nás nezajímá Toronto, ale Chicago. Mezi Torontem a Chicagem, IL jsou dvě cesty: Přes Buffalo, NY a přes Detroit, MI a tady se to začíná velice komplikovat. Mezi Torontem Detroitem, MI a Detroitem, MI a Chicagem, IL jsou 3 operátoři, kteří mají optiku a to samé je mezi Buffalo, NY a Chicagem, IL. Komunikace je komplikovaná a jde vesměs o stejný problém jako cesta mezi Toronto a Buffalo, NY. Proč?

Protože se to komplikuje mezi 3 výměnami: New York, Toronto, Chicago, úseky jsou velice krátké a přímé a výsledkem je nízká latence a proto je tato cesta používána pro HFT (High-Frequency Trading), obchodování a vysokou rychlost.
Servery posílající objednávkyna každé výměně spekulují nad objednávkami, které již byly poslány. Cílem je zpracování objednávek a skok ve frontě a využití rozdílu ve krátkých výměnách. Jsou zde společnosti, které jsou ochotny zaplatit M$ aby získaly několik ns (nikoli ms) a umístili objednávky na burze před svojí konkurencí a mají tím šanci spekulovat při výměně. Díky tomuto je zde obrovský problém vyjednat si zde šířku pásma a vše je zde velmi drahé a operátoři nechtějí další konkurenci. Jestliže je zde tedy nějaký problém, pak je to převážně na cestě Toronto-USA.

Díky tomuto jsme nyní v jendání s několika operátory na stavbu nové sítě mezi A20, namísto toho, abychom šli přes Ottawu. I když se jedná o projekt na další 2 roky, je to pro nás velice zajímavé, protože síť bude kratší a tím pádem i rychlejší.

A po New Yourku a Chicagu?

Jakmile budeme v New Yourku a Chicagu, bude jednoduché získat optiku. Dokonce i když budou operátoři budou chtít měnit či poskytovat managed služby. Zde budou stále operátoři, kteří budou priomárně zaměřeni na poskytování optiky.

Proč optika v Miami?

Se 100G šířkou pásma je možné, posílat signál dále jak 3 500 km bez nutnosti zesilování signálu. Současná 10G technologie (použita v Evropě) může cestovat pouze 700 km. Cílem tedy je, abychom mohli posílat signál z Miami až do Montreálu. To nám sníží cenu a latenci. To je velmi inovativní pro USA, kde může být cesta mezi pobřezími dlouhá i více jak 7 500 km (pro optiku). Regenerace optického signálu s 10G každých 700 km či regenerace 10x 100G optiky každých 3 500 km je 2x 10x je větší šířka pásma a 5x levnější.

A naše síť bude mít toto všechno?

Na západě bude POP, který chceme v Los Angeles, CA a Palo Alto, CA. Na těchto dvou POP budou operátoři v Asii (Japonsko, Čína, Singapur) a Australie. Nyní optický POP v Chicagu, IL je připojeno přímo do BHS. Zatím pomocí 10G.

A co jinak?

Jinak máme desítky žádostí o 10G v jiných cestách. Cílem je nabízet 10G síť jako standard, na které budeme budovat naši námi spravovanou síť. Cena je vysoká, ale je to cesta k síti, kterou je dobré mít.

Celkově chceme v USA mít tuto síť:
http://yfrog.com/z/h0l8uah

A to je vše. Vyrobit síť, jaká ještě nebyla.
Jednoduché? bylo jednoduché, dělal by to každý a nebyla by tu žádná přidaná hodnota.
Kdyby tu nebyla žádná výzva, nikdy bychom s tímto projektem nezačali.
Máme rádi výzvy.

Uvidíme v dalších 6 měsících.

S pozdravem,
Octave