Peladen-peladen Wikimedia
Wikipedia dan proyek Wikimedia lainnya dijalankan dari rak peladen yang terletak di beberapa pusat data.
Arsitektur sistem
Topologi jaringan
Topologi jaringan Yayasan Wikimedia dijelaskan pada halaman "Rancangan jaringan" di Wikitech.
Perangkat lunak
- Peladen DNS kami menjalankan gdnsd. Kami menggunakan DNS geografis untuk mengedarkan permintaan di antara tujuh pusat data kami (3x AS, 2x Eropa, 1x Asia, 1x Amerika Selatan) tergantung pada lokasi kelayan.
- Kami menggunakan Linux Virtual Server (LVS) pada server komoditas untuk menyeimbangkan beban permintaan yang masuk. LVS juga digunakan sebagai penyeimbang beban dalam untuk mengedarkan permintaan MediaWiki. Untuk pemantauan bagian belakang dan failover, kami memiliki sistem kami sendiri yang disebut PyBal.
- Untuk permintaan web MediaWiki biasa (artikel/API) kami menggunakan Varnish dan Apache Traffic Server yang menyimpan tembolok peladen proksi di depan Apache HTTP Server.
- Semua peladen kami menjalankan Debian GNU/Linux.
- Untuk penyimpanan objek teredar, kami menggunakan Swift.
- Aplikasi web utama kami adalah MediaWiki, yang ditulis dalam PHP (~70 %) dan JavaScript (~30 %).[1]
- Data terstruktur kami disimpan di MariaDB sejak 2013.[2] Kami mengelompokkan wiki ke dalam gugus, dan setiap gugus dilayani oleh beberapa server MariaDB, yang direplikasi dalam konfigurasi induk tunggal.
- Kami menggunakan Memcached untuk melakukan penyimpanan tembolok pada hasil kueri dan komputasi pangkalan data.
- Untuk pencarian teks lengkap kami menggunakan OpenSearch (Extension:CirrusSearch).
- https://noc.wikimedia.org/ – berkas konfigurasi Wikimedia.
Penginangan
Mulai April 2024, kami memiliki fasilitas kolokasi berikut (setiap nama kecuali Magru berasal dari akronim perusahaan fasilitas tersebut dan akronim bandara terdekat):
- eqiad
- Layanan aplikasi (utama) di Equinix di Ashburn, Virginia (kawasan Washington, DC).
- codfw
- Layanan aplikasi (sekunder) di CyrusOne di Carrollton, Texas (kawasan Dallas–Fort Worth).
- esams
- Penyimpanan tembolok di EvoSwitch di Amsterdam, Belanda.[3]
- ulsfo
- Penyimpanan tembolok di United Layer di San Francisco.
- eqsin
- Penyimpanan tembolok di Equinix di Singapura.
- drmrs
- Penyimpanan tembolok di Digital Realty di Marseille, Prancis.
- magru
- Penyimpanan tembolok di São Paulo, Brasil.
Sejarah
Peladen web dan pangkalan data bagian belakang berada di Ashburn, dengan Carrollton sebagai penanggung jawab cadangan darurat di masa mendatang. Carrollton dipilih untuk proyek ini berdasarkan Rekomendasi Permintaan Pusat Data 2013. Di EvoSwitch, kami memiliki gugus tembolok Varnish dan beberapa peladen lain-lain. Lokasi Kennisnet sekarang hanya digunakan untuk akses dan perutean jaringan.
Ashburn (eqiad) menjadi pusat data utama pada Januari 2013, menggantikan Tampa (pmtpa dan sdtpa) yang telah menjadi pusat data utama sejak 2004. Sekitar April 2014, sdtpa (Equinix – sebelumnya Switch and Data – di Tampa, Florida, menyediakan jaringan untuk pmtpa) ditutup, diikuti oleh pmtpa (Hostway – sebelumnya PowerMedium – di Tampa, Florida) pada Oktober 2014.
Di masa lalu, kami memiliki lokasi penyimpanan tembolok lain seperti Seoul (yaseo, Yahoo!) dan Paris (lopar, Lost Oasis); sasaran jangkauan rencana strategis WMF 2010–2015 menyatakan: "pusat penyimpanan tembolok tambahan di lokasi-lokasi utama untuk mengelola peningkatan lalu lintas dari Amerika Latin, Asia, dan Timur Tengah, serta untuk memastikan waktu muat yang wajar dan senantiasa di mana pun pembaca berada."
EvoSwitch dan Kennisnet diakui sebagai penyumbang atas sumbangan dalam bentuk barang. Lihat daftar penyumbang terkini.
Daftar peladen dan fungsinya dulu tersedia di halaman peran peladen; saat ini tidak ada daftar yang dikelola secara publik (mungkin [alat https://racktables.wikimedia.org/ racktables] yang bersifat privat memilikinya). Dulu, tabel ringkas berisi semua peladen yang dikelompokkan berdasarkan jenis dapat dilihat di icinga, tetapi ini tidak lagi tersedia untuk umum. Namun, konfigurasi boneka menyediakan acuan yang cukup baik untuk perangkat lunak yang dijalankan setiap peladen.
Status dan pemantauan
Anda dapat memeriksa salah satu situs berikut jika Anda ingin mengetahui apakah peladen Wikimedia kelebihan beban, atau jika Anda hanya ingin melihat bagaimana kinerjanya.
- https://www.wikimediastatus.net/
- Grafana
[Ikhtisar pusat data https://grafana.wikimedia.org/dashboard/db/prometheus-dc-overview] dengan total lebar pita, CPU yang tidak menganggur, dan beban per grup server; ada juga versi dengan per menu tarik-turun subkluster dan total angka tanpa grafik(turun pada Juli 2019)- https://grafana.wikimedia.org/ seharusnya bisa membantu Anda memulai
- Latensi jaringan
- Icinga (pribadi)
Jika Anda melihat kesalahan secara langsung, kunjungi #wikimedia-techsambungkan di irc.libera.chat. Periksa topik untuk melihat apakah ada yang sudah menyelidiki masalah yang Anda alami. Jika belum, silakan laporkan masalah Anda ke kanal tersebut. Akan sangat membantu jika Anda dapat melaporkan gejala spesifik, termasuk teks pesan kesalahan yang tepat, apa yang Anda lakukan tepat sebelum kesalahan terjadi, dan server mana yang menghasilkan kesalahan tersebut, jika Anda dapat mengetahuinya.
Penggunaan energi
In 2017, the WMF board of trustees adopted a resolution containing a commitment to minimize the Foundation's overall environmental impact, especially around data centres through using green energy. The community-led Sustainability Initiative, created in 2015, aims at reducing the environmental impact of the servers by calling for renewable energy to power them.
The Wikimedia Foundation's servers are spread out in five colocation data centers in Virginia, Texas and San Francisco in the United States, Amsterdam and Marseille in Europe, and Singapore in Asia.
In 2021, the servers used 358.8 kW (kilowatts), summing up to about 3.143 GW h (gigawatt hours) of electrical energy per year. The total carbon footprint of the servers was 1,073 metric tons CO2-eq in 2021.[4]
Only the few servers in Amsterdam and in Marseille run on renewable energy, the other use different conventional energy mixes. In 2016, just 9% of Wikimedia Foundation data centers' energy came from renewable sources, with the rest split evenly between coal, gas and nuclear power (34%, 28%, and 28%, respectively). The bulk of the Wikimedia Foundation's electricity demand is in Virginia and Texas, which both have fossil fuel heavy grids.
| Nama server | Lokasi pusat data | Penyedia | Tanggal dibuka | Konsumsi energi rata-rata (kW) | Sumber energi | Jejak karbon (CO2/tahun) | Renewable option and cost |
|---|---|---|---|---|---|---|---|
| eqiad | Ashburn, VA
20146-20149 USA |
Equinix (Situs web) | Februari 2011 | Mei 2016: 130
Mei 2015: 152 |
2016: 32% batu bara 20% gas alam 25% nuklir 17% energi terbarukan |
1.040.000 pon = 520 ton pendek = 470 ton metrik
= 0,32 * 130 kW * 8765,76 jam/tahun * 2,1 pon CO2/kWh untuk batu bara + 0,20 * 130 kW * 8765,76 jam/tahun * 1,22 pon CO2/kWh untuk gas alam + 0,25 * 130 kW * 8765,76 jam/tahun * 0 pon CO2/kWh untuk tenaga nuklir + 0,36 * 5 kW * 8765,76 jam/tahun * 0 pon CO2/kWh untuk energi terbarukan |
In 2015, Equinix made "a long-term commitment to use 100 percent clean and renewable energy". In 2017, Equinix renewed this pledge. |
| codfw | Carrollton, TX
75007 USA |
CyrusOne (Situs web) | Mei 2014 | Mei 2016: 77
Mei 2015: 70 |
2016: 23% batu bara 56% gas alam 6% nuklir 1% hydro/biomass/solar/other 14% angin (Oncor/Ercot) |
790,000 lb = 400 short tons = 360 metric tons = 0.23 * 77 kW * 8765.76 hr/yr * 2.1 lb CO2/kWh for coal + 0.56 * 77 kW * 8765.76 hr/yr * 1.22lb CO2/kWh for nat gas + 0,06 * 77 kW * 8765,76 jam/tahun * 0 pon CO2/kWh untuk tenaga nuklir + 0,15 * 77 kW * 8765,76 jam/tahun * 0 pon CO2/kWh untuk energi terbarukan |
? |
| esams | Haarlem
2031 BE Netherlands |
EvoSwitch (Situs web) | Desember 2008 | Mei 2016: < 10
Mei 2015: 10 |
"kombinasi tenaga angin, air dan biomassa" | 0 | tidak ada |
| ulsfo | San Francisco, CA
94124 USA |
UnitedLayer (Situs web) | Juni 2012 | Mei 2016: < 5
Mei 2015: < 5 |
2016: 25% gas alam 23% nuklir 30% energi terbarukan 6% tenaga air 17% tidak diketahui (PG&E) |
13,000 lb = 6.7 short tons = 6.1 metric tons (+ unspecified) = 0.00 * 5 kW * 8765.76 hr/yr * 2.1 lb CO2/kWh for coal + 0,25 * 5 kW * 8765,76 jam/tahun * 1,22 pon CO2/kWh untuk gas alam + 0,23 * 5 kW * 8765,76 jam/tahun * 0 pon CO2/kWh untuk tenaga nuklir + 0,36 * 5 kW * 8765,76 jam/tahun * 0 pon CO2/kWh untuk energi terbarukan ataupun tenga air + 0,17 * 5 kW * 8765,76 jam/tahun * ? pon CO2/kWh untuk energi yang tak dijelaskan |
? |
| eqsin | Singapore | Equinix (Situs web) | ? | ? | ? | ? | ? |
| drmrs | Marseille | Digital Realty (Website) | ? | ? | ? | ? | ? |
Lihat pula
Info perangkat keras
- wikitech:Clusters – technical and usually more up-to-date information on the Wikimedia clusters
Log administrator
- Server admin log – Documents server changes (especially software changes)
Offsite traffic pages
Informasi historis
- Cache strategy (draft from 2006)
- PHP caching and optimization (draft from 2007)
- Hardware orders up to 2007
Referensi
- ↑ Lihat analisis MediaWiki, analisis ekstensi yang didukung MediaWiki WMF.
- ↑ "Wikipedia Adopts MariaDB" (text/html). blog.wikimedia.org. Wikimedia Foundation, Inc. 2013-04-22. Retrieved 2014-07-20.
- ↑ Mengalami serangan DoS besar pada 6/7 September 2019. Lihat artikel khusus di situs web WMF.
- ↑ Wikimedia Foundation Environmental Sustainability (Carbon Footprint) Report for 2021