Wikimedia-Server
Wikipedia und die anderen Wikimedia-Projekte werden über Server-Racks betrieben, die sich in mehreren Rechenzentren befinden.
System-Architektur
Netzwerktopologie
Die Network topology wird in 'Network design' bei Wikitech beschrieben.
Software
- Unsere DNS-Server laufen gdnsd. Wir verwenden geografisches DNS, um Anfragen je nach Standort des Kunden zwischen unseren sieben Rechenzentren (3x USA, 2x Europa, 1x Asien, 1x Südamerika) zu verteilen.
- Wir verwenden Linux Virtual Server (LVS) auf Commodity-Servern, um eingehende Anfragen auszugleichen. LVS wird auch als interner Load Balancer verwendet, um MediaWiki-Anfragen zu verteilen. Für Backend-Überwachung und Failover haben wir unser eigenes System namens PyBal.
- Für reguläre MediaWiki-Webanfragen (Artikel/API) verwenden wir Varnish und Apache Traffic Server und Caching-Proxy-Server vor Apache HTTP Server.
- Alle unsere Server laufen unter Debian GNU/Linux.
- Für die verteilte Objektspeicherung verwenden wir Swift.
- Unsere Haupt-Webanwendung ist MediaWiki, die in PHP (~70 %) und JavaScript geschrieben ist (~30 %).[1]
- Our structured data is stored in MariaDB since 2013.[2] We group wikis into clusters, and each cluster is served by several MariaDB servers, replicated in a single-master configuration.
- We use Memcached for caching of database query and computation results.
- For full-text search we use OpenSearch (Extension:CirrusSearch).
- https://noc.wikimedia.org/ – Wikimedia configuration files.
Hosting
Am April 2024 stehen folgende Colocation-Standorte zur Verfügung (mit Ausnahme von Magru leitet sich jeder Name aus einem Akronym des Betreibers und einem Akronym eines nahegelegenen Flughafens ab):
- eqiad
- Anwendungsdienste (primär) bei Equinix in Ashburn, Virginia (Großraum Washington, D.C.).
- codfw
- Anwendungsdienste (sekundär) bei CyrusOne in Carrollton, Texas (Großraum Dallas–Fort Worth).
- esams
- Caching bei EvoSwitch in Amsterdam, den Niederlanden.[3]
- ulsfo
- Caching bei United Layer in San Francisco.
- eqsin
- Caching bei Equinix in Singapur.
- drmrs
- Caching bei Digital Realty in Marseille, Frankreich.
- magru
- Caching in São Paulo, Brasilien.
Geschichte
Die Web- und Datenbankserver befinden sich in Ashburn, wobei Carrollton künftig als Notfall-Ausweichstandort dienen soll. Die Wahl fiel auf Carrollton als Ergebnis des Datacenter-RfC von 2013. Bei EvoSwitch verfügen wir über einen Varnish-Cache-Cluster und verschiedene andere Server. Der Standort bei Kennisnet wird nun ausschließlich für den Netzwerkzugang und das Routing genutzt.
Ashburn (eqiad) wurde im Januar 2013 zum primären Rechenzentrum und löste damit Tampa (pmtpa und sdtpa) ab, das seit 2004 das Hauptrechenzentrum gewesen war. Um April 2014 wurde sdtpa (Equinix – ehemals Switch and Data – in Tampa, Florida, das die Netzwerkinfrastruktur für pmtpa bereitstellte) stillgelegt, gefolgt von pmtpa (Hostway – ehemals PowerMedium – in Tampa, Florida) im Oktober 2014.
In der Vergangenheit gab es bereits andere Caching-Standorte wie Seoul (yaseo, Yahoo!) und Paris (lopar, Lost Oasis); im WMF-Strategieplan 2010–2015 heißt es: „zusätzliche Caching-Zentren an wichtigen Standorten, um den gestiegenen Datenverkehr aus Lateinamerika, Asien und dem Nahen Osten zu bewältigen sowie angemessene und konsistente Ladezeiten zu gewährleisten, unabhängig davon, wo sich ein Leser befindet.“
EvoSwitch und Kennisnet werden für ihre Sachspenden als Förderer gewürdigt. Siehe die aktuelle Liste der Förderer.
Früher war auf der Seite Serverrollen eine Liste der Server und ihrer Funktionen verfügbar; derzeit wird keine solche Liste öffentlich gepflegt (möglicherweise verfügt das private Racktables-Tool über eine solche). Früher konnte man auf Icinga eine kompakte Tabelle aller nach Typ gruppierten Server einsehen, doch diese ist nicht mehr öffentlich zugänglich. Die Puppet-Konfiguration bietet jedoch eine recht gute Übersicht über die Software, die auf den einzelnen Servern läuft.
In 2016, Wikimedia performed its first data center switchover, temporarily promoting codfw to the role of primary data center and relegating eqiad to secondary. This process was repeated in 2017, 2018, and 2020 and 2021. Since 2023, eqiad has served as the primary data center from March through September, whereas Codfw has served as primary data center from September through March.
Status und Monitoring
You can check one of the following sites if you want to know if the Wikimedia servers are overloaded, or if you just want to see how they are doing.
- https://www.wikimediastatus.net/
- Grafana
Data center overview with total bandwidth, non-idle CPU and load per group of servers; versions also exist with a per-subcluster dropdown and total numbers without graphs(down in July 2019)- https://grafana.wikimedia.org/ should get you started
- Networking latency
- Icinga (private)
If you are seeing errors in real time, visit #wikimedia-techverbinden on irc.libera.chat. Check the topic to see if someone is already looking into the problem you are having. If not, please report your problem to the channel. It would be helpful if you could report specific symptoms, including the exact text of any error messages, what you were doing right before the error, and what server(s) are generating the error, if you can tell.
Energieverbrauch
In 2017, the WMF board of trustees adopted a resolution containing a commitment to minimize the Foundation's overall environmental impact, especially around data centres through using green energy. The community-led Sustainability Initiative, created in 2015, aims at reducing the environmental impact of the servers by calling for renewable energy to power them.
The Wikimedia Foundation's servers are spread out in five colocation data centers in Virginia, Texas and San Francisco in the United States, Amsterdam and Marseille in Europe, and Singapore in Asia.
In 2021, the servers used 358.8 kW (kilowatts), summing up to about 3.143 GW h (gigawatt hours) of electrical energy per year. The total carbon footprint of the servers was 1,073 metric tons CO2-eq in 2021.[4]
Only the few servers in Amsterdam and in Marseille run on renewable energy, the other use different conventional energy mixes. In 2016, just 9% of Wikimedia Foundation data centers' energy came from renewable sources, with the rest split evenly between coal, gas and nuclear power (34%, 28%, and 28%, respectively). The bulk of the Wikimedia Foundation's electricity demand is in Virginia and Texas, which both have fossil fuel heavy grids.
| Servername | Data center location | Provider | Date opened | Average energy consumption (kW) | Energiequellen | Carbon footprint (CO2/year) | Erneuerbare Option und Kosten |
|---|---|---|---|---|---|---|---|
| eqiad | Ashburn, VA
20146-20149 USA |
Equinix (Webseite)
|
February 2011 | May 2016: 130
May 2015: 152 |
2016: 32% coal 20% Erdgas 25% nuklear 17% erneuerbar |
1,040,000 lb = 520 short tons = 470 metric tons = 0.32 * 130 kW * 8765.76 hr/yr * 2.1 lb CO2/kWh for coal + 0.20 * 130 kW * 8765.76 hr/yr * 1.22lb CO2/kWh for nat gas + 0.25 * 130 kW * 8765.76 hr/yr * 0 lb CO2/kWh for nuclear + 0.17 * 130 kW * 8765.76 hr/yr * 0 lb CO2/kWh for renewable |
In 2015, Equinix made "a long-term commitment to use 100 percent clean and renewable energy". In 2017, Equinix renewed this pledge. |
| codfw | Carrollton, TX
75007 USA |
CyrusOne (Webseite)
|
May 2014 | May 2016: 77
May 2015: 70 |
2016: 23% coal 56% Erdgas 6% nuklear 1% hydro/biomass/solar/other 14% Wind (Oncor/Ercot) |
790,000 lb = 400 short tons = 360 metric tons = 0.23 * 77 kW * 8765.76 hr/yr * 2.1 lb CO2/kWh for coal + 0.56 * 77 kW * 8765.76 hr/yr * 1.22lb CO2/kWh for nat gas + 0.06 * 77 kW * 8765.76 hr/yr * 0 lb CO2/kWh for nuclear + 0.15 * 77 kW * 8765.76 hr/yr * 0 lb CO2/kWh for renewables |
? |
| esams | Haarlem
2031 BE Netherlands |
EvoSwitch (Webseite)
|
December 2008 | May 2016: < 10
May 2015: 10 |
"a combination of wind power, hydro and biomass" | 0 | n.a. |
| ulsfo | San Francisco, CA
94124 USA |
UnitedLayer (Webseite)
|
June 2012 | May 2016: < 5
May 2015: < 5 |
2016: 25% natural gas 23% nuklear 30% erneuerbar 6% hydro 17% nicht angegeben (PG&E) |
13,000 lb = 6.7 short tons = 6.1 metric tons (+ unspecified) = 0.00 * 5 kW * 8765.76 hr/yr * 2.1 lb CO2/kWh for coal + 0.25 * 5 kW * 8765.76 hr/yr * 1.22lb CO2/kWh for nat gas + 0.23 * 5 kW * 8765.76 hr/yr * 0 lb CO2/kWh for nuclear + 0.36 * 5 kW * 8765.76 hr/yr * 0 lb CO2/kWh for hydro/renewable + 0.17 * 5 kW * 8765.76 hr/yr * ? lb CO2/kWh for unspecified |
? |
| eqsin | Singapore | Equinix (Webseite) | ? | ? | ? | ? | ? |
| drmrs | Marseille | Digital Realty (Website) | ? | ? | ? | ? | ? |
Siehe auch
Mehr Hardwareinfo
- wikitech:Clusters – technical and usually more up-to-date information on the Wikimedia clusters
Admin-Protokolle
- Server admin log – Documents server changes (especially software changes)
Offsite-Verkehrsseiten
Historical information
- Cache strategy (draft from 2006)
- PHP caching and optimization (draft from 2007)
- Hardware orders up to 2007
Einzelnachweise
- ↑ Siehe MediaWiki analysis, MediaWiki WMF-supported extensions analysis.
- ↑ "Wikipedia Adopts MariaDB" (text/html). blog.wikimedia.org. Wikimedia Foundation, Inc. 2013-04-22. Retrieved 2014-07-20.
- ↑ Wurde am 6./7. September 2019 Opfer eines schweren DoS-Angriffs. Siehe eigenen Artikel auf der WMF-Website.
- ↑ Wikimedia Foundation Environmental Sustainability (Carbon Footprint) Report for 2021