Wikimedia Quarto/2/tech/Cs

Technický vývoj

Většinu následující zprávy napsal Jamesem Dayem; část o pařížských serverech pochází od Davida Monniaux.
Informace o našich serverech lze nalézt kdykoliv na [1]. Vývojářská aktivita se soustřeďuje do dvou hlavních směrů: údržba serverů a vývoj softwaru MediaWiki, který je používán i pro mnoho aplikací mimo nadaci Wikimedia. Mnoho vývojářů (ačkoliv ne všichni, záleželo na jejich volbě) je uvedeno zde. Jejich úsilí můžeme ocenit poděkováním nebo finanční podporou. Děkujeme Vám!
Až dosud pracovali všichni vývojáři zdarma, ale to by se mohlo v budoucnu změnit, abychom podpořili náš úžasný růst.

Instalace Squid cache serverů ve Francii[edit]

Dne 18. prosince 2004 jsme instalovali 3 darované servery v kolokačním centru v Aubervilliers na předměstí Paříže. Na žádost dárce se nazývají bleuenn, chloe a ennael. Z technického hlediska jde o HP sa1100 1U servery osazené 640 MB RAM, 20GB ATA hard disky a 600MHz procesory Celeron.

Tyto stroje jsou vybaveny Squid cacheovacím softwarem. Vyzkoušíme na nich postup pro připojování cacheovacích serverů blíže u uživatelů, aby se snížila reakční doba. Uživatelé ve Francii připojení přes DSL se k nim mohou připojit s reakční dobou 30 ms, zatímco když se připojují přímo na hlavní cluster Wikimedie na Floridě, trvá to 140 ms. Naší představou je, že budou-li se uživatelé z různých částí Evropy připojovat přes Squid cache ve Francii, zrychlí to všem uživatelům asi o desetinu sekundy přístup k multimediálnímu obsahu a stejně tak přístup ke stránkovému obsahu anonymním uživatelům. Přihlášení uživatelé z toho nebudou mít takový užitek, protože stránky se pro ně generují pro každého zvlášť a neukládají se do cache pro další uživatele. Pokud stránka není ve Squid cache nebo pokud je určena pro přihlášeného uživatele, musí Apache web servery strávit tvorbou stránky 0,2 až 3 sekundy, někdy i více, a to nepočítáme čas spotřebovaný databázovým dotazem. Dotazy do databáze trvají jen 0,05 sekundy pro jednoduché žádosti, mohou však dosáhnout mnoho sekund pro kategorie nebo až 100 sekund u zobrazení velkého množství sledovaných stránek.

Squid cache byly aktivovány na začátku ledna 2005, poté následovalo období testů. Od 31. ledna stroje cacheují anglický, francouzský a multimediální obsah pro Belgii, Francii, Lucembursko, Švýcarsko a Velkou Británii. Systém je stále v experimentální fázi, a proto očekáváme, že se výkonnost cacheování po odladění ještě zvýší. Uvažujeme o instalaci podobných cacheovacích clusterů i v jiných zemích.

Instalace dalších serverů na Floridě[edit]

V půli října jsme objednali dva další dvouprocesorové databázové pomocné servery s procesory Opteron, 6 disky v RAID 0 a 4 GB RAM, a dalších pět 3GHz/1GB RAM Apache serverů. Zdržení způsobené problémy s kompatibilitou, které musel dodavatel vyřešit před dodáním serverů, ponechalo náš web poddimenzovaný z hlediska databázového výkonu; až do začátku prosince musely být vyhledávací funkce dočasně vypnuty.

V listopadu 2004 selhalo pět našich web serverů, z toho čtyři s velkou kapacitou RAM (operační paměti), užívané pro Memcached nebo Squid cacheování. Wiki byly proto občas velmi pomalé.

Na začátku prosince bylo objednáno pět dalších 3GHz/3GB RAM serverů. Čtyři z nich budou zajišťovat Squid a Memcached služby jako vylepšená náhrada za pokažené stroje, dokud nebudou opraveny. Jeden stroj se SATA disky v RAID 0 bude využit jako testovací základna, abychom viděli, jaké zatížení zvládnou i tyto levnější databázové servery, další případnou možností využití je pomocný záložní databázový server, na kterém bude běžet také Apache. Tyto stroje jsou vybaveny novým vylepšením pro vzdálené monitorování napájení a stavu základní desky za 60 USD navíc. Tuto volbu jsme do této objednávky dali, abychom mohli porovnat efektivitu vzdáleného monitorování základních desek pomocí zvláštního kabelu a omezenějších monitorovacích nástrojů. Monitorování napájení a stavu zařízení na dálku pomáhá snížit nároky na obsluhu serverovny, což se může projevit snížením nákladů a rychlejší reakcí na krizové situace.

Další objednávka na hlavní databázový server nám dovolí rozdělit databázové servery na dvě skupiny: na hlavní server a dvojici pomocných, kde každá skupina bude zajišťovat asi polovinu aktivity projektu. Stejně tak je plánováno 5 nových Apache serverů na konec tohoto čtvrtletí nebo první dny příštího. Tato objednávka využije zbylých 50 000 USD z poslední příspěvkové kampaně. Rozdělení databázových serverů umožní rozpůlit množství zápisů na disk, které každá skupina musí provádět, takže zbude mnohem více kapacity na čtení z disků, které je potřeba na obsluhu uživatelských požadavků. Očekává se, že rozdělení bude provedeno asi po třech měsících, poté co nový hlavní server prokáže svou spolehlivost několika měsíci služby jako pomocný databázový server.

Zvýšený provoz a konektivita[edit]

Provoz během třetího čtvrtletí postupně vzrůstal z asi 400–500 požadavků za sekundu na začátku na asi 800 za sekundu na konci. Na počátku čtvrtého čtvrtletí rostl ještě dále až často převyšoval 900 požadavků za sekundu s denními špičkami v rozmezí 1000 až 1100 požadavků za sekundu, pak se ustálil asi na 900 a pomalu rostl, asi kvůli návratu dětí do škol, naštěstí pomaleji než doby odezvy a web se tak dostal mezi 100 největších. Využitá šířka pásma rostla z průměrných 32 megabitů za sekundu na začátku kvartálu na asi 43 megabitů za sekundu na konci. Typická denní špička činila asi 65–75 megabitů za sekundu a někdy nakrátko dosáhla hranice 100 megabitů za sekundu, jaké vůbec jedna ethernetová přípojka může dosáhnout. Dočasně jsme použili dvojici 100 megabitových přípojek a nakonec dojednali připojení gigabitovým optickým vláknem a objednali nezbytné součásti.