विकिमीडिया के सर्वर्स

विकिपीडिया और दूसरी विकिमीडिया परियोजनाएँ कई सारे डेटा सेंटरों में स्थित सर्वर रैक्स से चलाए जाते हैं।

प्रणाली की संरचना

विकिमीडिया संस्थान द्वारा तैनात मीडियाविकि सॉफ़्टवेयर का सरलीकृत अवलोकन (अगस्त 2022 के अनुसार)। तत्वतः एक LAMP "स्टैक" का एक जटिल संस्करण।

नेटवर्क की सांस्थितिकी

विकिमीडिया संस्थान के नेटवर्क की सांस्थितिकी को विकिटेक पर "नेटवर्क का डिज़ाइन" पृष्ठ पर वर्णित किया गया है।

सॉफ़्टवेयर

• हमारे DNS सर्वर्स gdnsd चलाते हैं। हम क्लाइट के स्थान के आधार पर हमारे सात डेटा सेंटरों (संयुक्त राज्य में 3, यूरोप में 2, एशिया में 1, दक्षिण अमेरिका में 1) के बीच अनुरोधों को बाँटने के लिए भौगोलिक DNS का उपयोग करते हैं।
• हम आवक अनुरोधों के भार संतुलन के लिए कमोडिटी सर्वरों पर लिनक्स वर्चुअल सर्वर (LVS) का उपयोग करते हैं। LVS का उपयोग मीडियाविकि के अनुरोधों को वितरित करने के लिए एक आंतरिक भार संतुलक के रूप में भी किया जाता है। बैक-एंड निगरानी और फ़ेल-ओवर के लिए हमारे पास PyBal नामक हमारी अपनी प्रणाली है।
• साधारण मीडियाविकि वेब अनुरोधों (लेख/API) के लिए हम Apache HTTP सर्वर के सामने Varnish और Apache ट्रैफ़िक सर्वर का उपयोग करते हैं।
• हमारे सभी सर्वर्स Debian GNU/लिनक्स चलाते हैं।
• सामग्री के वितरित भंडारण के लिए हम Swift का उपयोग करते हैं।
• हमारा मुख्य वेब ऐप्लिकेशन है मीडियाविकि, जो कि PHP (~70 प्रतिशत) और जावास्क्रिप्ट (~30 प्रतिशत) में लिखा गया है।
• हमारी संरचित डेटा 2013 से MariaDB में रखी जाती है। हम विकियों को क्लस्टर्स में बाँटते हैं, और हर क्लस्टर की कई MariaDB सर्वर्स सेवा करते हैं, जो एक एकल-मालिक कॉन्फ़िगरेशन में गुलामों का काम करते हैं।
• हम डेटाबेस क्वेरी और गणना के परिणामों के लिए Memcached का उपयोग करते हैं।
• पूर्ण-टेक्स्ट खोज के लिए हम OpenSearch (Extension:CirrusSearch) का उपयोग करते हैं।
• https://noc.wikimedia.org/ — विकिमीडिया की कॉन्फ़िगरेशन फ़ाइलें।

CyrusOne में विकिमीडिया के सर्वर रैक्स

होस्टिंग

See also: hi:विकिमीडिया संस्थान#तकनीकी and wikitech:Data centers

अप्रैल २०२४ के अनुसार हमारे पास सह-विन्यास की निम्नलिखित सुविधाएँ हैं (Magru के अलावा हर नाम, सुविधा के कंपनी और पास के किसी हवाई अड्डे के नाम के मिश्रण से प्राप्त है):

eqiad

वर्जिनिया के ऐशबर्न (वाशिंगटन, डी॰ सी॰ क्षेत्र) में स्थित Equinix में ऐप्लिकेशन सेवाएँ (प्राथमिक)।

codfw

टेक्सस के कैरलटन (डैलस-फ़ोर्ट वर्थ क्षेत्र) में स्थित CyrusOne में ऐप्लिकेशन सेवाएँ (सहायक)।

esams

नेदरलैंड के ऐम्स्टर्डैम में स्थित EvoSwitch में कैशिंग।

ulsfo

सैन फ़्रांसिस्को में स्थित United Layer में कैशिंग।

eqsin

सिंगापुर में स्थित Equinix में कैशिंग।

drmrs

फ़्रांस के मार्सैय में स्थित Digital Realty में कैशिंग।

magru

ब्राज़ील के साओ पाउलो में कैशिंग।

इतिहास

बैकएंड वेब और डेटाबेस सर्वर्स ऐशबर्न में हैं, और कैरलटन भविष्य में आपातकालीन फ़ॉलबैक के लिए है। इसके लिए कैरलटन को 2013 डेटा सेंटर RfC के परिणामस्वरूप चुना गया था। EvoSwitch में हमारे पास एक Varnish कैश क्लस्टर और कई दूसरे प्रकार के सर्वर्स हैं। Kennisnet के स्थान का अब सिर्फ नेटवर्क तक पहुँच और अनुमार्गण के लिए किया जाता है।

ऐशबर्न (eqiad) जनवरी 2013 में प्राथमिक डेटा सेंटर बना, जो पद पहले टैम्पा (pmtpa और sdtpa) का था जो कि 2004 से मुख्य डेटा सेंटर था। अप्रैल 2014 में sdtpa (फ़्लोरिडा के टैम्पा में स्थित Equinix — भूतपूर्व Switch and Data — pmtpa के लिए नेटवर्किंग प्रदान करता था) बंद हो गया, जिसके बाद अक्टूबर 2014 में pmtpa (फ़्लोरिडा के टैम्पा में स्थित Hostway – भूतपूर्व PowerMedium) बंद हुआ।

अतीत में कैशिंग के हमारे दूसरे स्थान भी थे, जैसे सियोल (yaseo, Yahoo!) और पैरिस (lopar, Lost Oasis); WMF 2010–2015 रणनीतिक योजना के पहुँच के लक्ष्य में लिखा है: "लातिनी अमेरिका, एशिया और मध्य-पूर्व से बढ़ते ट्रैफ़िक को संभालने के लिए साथ में उचित और अटल लोड अवधि सुनिश्चित करने, चाहे पाठक कहीं भी स्थित हो, के लिए अतिरिक्त कैशिंग सर्वर्स।"

EvoSwitch और Kennisnet को वस्तुओं के उनके दानों के कारण दाताओं का दर्जा दिया गया है। दाताओं की वर्तमान सूची देखें।

सर्वरों और उनके कार्यों की एक सूची सर्वरों की भूमिकाओं के पृष्ठ पर उपलब्ध हुआ करती थी; ऐसी कोई सूची इस समय सार्वजनिक रूप से अनुरक्षित नहीं की जाती है (शायद गोपनीय racktables उपकरण में सूची हो)। Icinga पर पहले प्रकार के रूप से वर्गीकृत सर्वरों की एक लघु सूची देखी जा सकती थी, मगर यह अब सार्वजनिक रूप से उपलब्ध नहीं है। हालाँकि, पुतले कॉन्फ़िगरेशन में हर सर्वर के चलाए जाने वाले सॉफ़्टवेयर का एक काफी अच्छा संदर्भ दिया गया है।

2015 में टेक्सस में स्थित सर्वरों का B-रोल

स्थिति और निगरानी

अगर आप देखना चाहते हैं कि विकिमीडिया का कोई सर्वर ओवरलोड हो रहा है या नहीं, या फिर बस उनका हालचाल पता करना चाहते हैं, आप निम्नम में से कोई साइट देख सकते हैं।

• https://www.wikimediastatus.net/
• Grafana
  • सर्वरों के हर समूह के लिए कुल बैंडविड्थ, सक्रिय CPU और भार सहित डेटा सेंटर का अवलोकन; प्रति-सबक्लस्टर ड्रॉपडाउन और ग्राफ़्स के बिना कुल सांख्यिकी वाले संस्करण भी मौजूद हैं (जुलई 2019 में डाउन)
    • https://grafana.wikimedia.org/ से शुरुआत हो जानी चाहिए
  • नेटवर्किंग की विलंबता
• Icinga (गोपनीय)

अगर आपको लाइव कोई त्रुटि दिख रही हो तो कृपया irc.libera.chat पर #wikimedia-tech^{जुड़ें} पर जाएँ। विषय को जाँचकर देखें कि किसी ने समस्या पहले से ही रिपोर्ट की हुई है या नहीं। अगर नहीं तो कृपया चैनल पर समस्या की रिपोर्ट करें। अगर आप विशिष्ट लक्षण, जैसे किसी भी त्रुटि संदेश का सटीक टेक्स्ट, आप त्रुटि से बिलकुल पहले क्या कर रहे थे, और कौन-से सर्वर त्रुटि पैदा कर रहे हैं, आदि शामिल करें तो हमारी मदद होगी, अगर आप ये चीज़ें पता कर पाएँ।

ऊर्जा का उपयोग

2017 ने WMF के न्यासी मंडल ने संस्थान के समग्र पर्यावरणीय प्रभाव को घटाने, खासकर डेटा सेंटरों के आस-पास हरित ऊर्जा का उपयोग करके, की प्रतिबद्धता वाला एक संकल्प अपनाया। समुदाय के नेतृत्व वाले 2015 में निर्मित संधारणीयता के पहल का लक्ष्य सर्वरों को ऊर्जा प्रदान करने के लिए नवीकरणीय ऊर्जा का उपयोग करके सर्वरों के पर्यावरणीय प्रभाव को घटाना है।

विकिमीडिया संस्थान के सर्वर्स संयुक्त राज्य के वर्जिनिया, टेक्सस और सैन फ़्रांसिस्को में, यूरोप के ऐम्स्टर्डैम और मार्सैय में, और एशिया के सिंगापुर में स्थित सह-विन्यास के डेटा सेंटरों में फैले हुए हैं।

2021 में सर्वरों ने 358.8 kW (किलोवॉट) का उपयोग किया, जो संक्षेप में लगभग 3.143 GW h (गिगावॉट घंटा) विद्युतीय ऊर्जा प्रति वर्ष है। 2021 में सर्वरों का कुल कार्बन पदचिह्न था 1,073 मीट्रिक टन CO2-समतुल्य।

सिर्फ ऐम्स्टर्डैम और मार्सैय में स्थित कुछ सर्वर्स नवीकरणीय ऊर्जा पर चलते हैं, बाकी सभी पारंपरिक ऊर्जा के सम्मलिनों का उपयोग करते हैं। 2016 में विकिमीडिया संस्थान के डेटा सेंटरों की ऊर्जा का सिर्फ 9 प्रतिशत ही नवीकरणीय स्रोतों से आता था, और बाकी का कोयले, गैस और परमाणु ऊर्जा के बीच समान हिस्सों में बँटा था (क्रमशः 34 प्रतिशत, 28 प्रतिशत और 28 प्रतिशत)। विकिमीडिया संस्थान की अधिकांश बिजली की माँग वर्जिनिया और टेक्सस में है, जिन दोनों के ग्रिड्स ही जीवाश्म ऊर्जा पर काफी निर्भर हैं।

सर्वर का नाम	डेटा सेंटर का स्थान	प्रदाता	खुलने की तारीख	औसत ऊर्जा खपत (kW)	ऊर्जा के स्रोत	कार्बन पदचिह्न (CO2/वर्ष)	नवीकरणीय विकल्प और लागत
eqiad	Ashburn, VA 20146-20149 USA	Equinix (वेबसाइट)	फरवरी 2011	मई 2016: 130 मई 2015: 152	2016: 32% कोयला 20% प्राकृतिक गैस 25% परमाणु 17% नवीकरणीय	10,40,000 lb = 520 लघु टन = 470 मीट्रिक टन = कोयले के लिए 0.32 * 130 kW * 8765.76 घंटा/वर्ष * 2.1 lb CO2/kWh + प्राकृतिक गैस के लिए 0.20 * 130 kW * 8765.76 घंटा/वर्ष * 1.22lb CO2/kWh + परमाणु के लिए 0.25 * 130 kW * 8765.76 घंटा/वर्ष * 0 lb CO2/kWh + नवीकरणीय के लिए 0.17 * 130 kW * 8765.76 घंटा/वर्ष * 0 lb CO2/kWh	2015 में Equinix ने "100 प्रतिशत स्वच्छ और नवीकरणीय ऊर्जा का उपयोग करने की एक दीर्घकालिक प्रतिज्ञा" की। 2017 में Equinix ने इस प्रतिज्ञा को नवीनीकृत किया।
codfw	Carrollton, TX 75007 USA	CyrusOne (वेबसाइट)	मई 2014	मई 2016: 77 मई 2015: 70	2016: 23% कोयला 56% प्राकृतिक गैस 6% परमाणु 1% जल/बायोमास/सौर/अन्य 14% पवन (Oncor/Ercot)	7,90,000 lb = 400 लघु टन = 360 मीट्रिक टन = कोयले के लिए 0.23 * 77 kW * 8765.76 घंटा/वर्ष * 2.1 lb CO2/kWh + प्राकृतिक गैस के लिए 0.56 * 77 kW * 8765.76 घंटा/वर्ष * 1.22lb CO2/kWh + परमाणु के लिए 0.06 * 77 kW * 8765.76 घंटा/वर्ष * 0 lb CO2/kWh + नवीकरणीय के लिए 0.15 * 77 kW * 8765.76 घंटा/वर्ष * 0 lb CO2/kWh	?
esams	Haarlem 2031 BE Netherlands	EvoSwitch (वेबसाइट)	दिसंबर 2008	मई 2016: < 10 मई 2015: 10	"पवन, जल, और बायोमास ऊर्जा का एक सम्मिलन"	0	n.a.
ulsfo	San Francisco, CA 94124 USA	UnitedLayer (वेबसाइट)	जून 2012	मई 2016: < 5 मई 2015: < 5	2016: 25% प्राकृतिक गैस 23% परमाणु 30% नवीकरणीय 6% जल 17% अनिश्चित (PG&E)	13,000 lb = 6.7 लघु टन = 6.1 मीट्रिक टन (+ अनिश्चित) = कोयले के लिए 0.00 * 5 kW * 8765.76 घंटा/वर्ष * 2.1 lb CO2/kWh + प्राकृतिक गैस के लिए 0.25 * 5 kW * 8765.76 घंटा/वर्ष * 1.22lb CO2/kWh + परमाणु के लिए 0.23 * 5 kW * 8765.76 घंटा/वर्ष * 0 lb CO2/kWh + जल/नवीकरणीय के लिए 0.36 * 5 kW * 8765.76 घंटा/वर्ष * 0 lb CO2/kWh + अनिश्चित के लिए 0.17 * 5 kW * 8765.76 घंटा/वर्ष * ? lb CO2/kWh	?
eqsin	Singapore	Equinix (वेबसाइट)	?	?	?	?	?
drmrs	Marseille	Digital Realty (वेबसाइट)	?	?	?	?	?

ये भी देखें

हार्डवेयर की अधिक जानकारी

• wikitech:Clusters – विकिमीडिया के क्लस्टर्स के बारे में तकनीकी और आम तौर पर अधिक अद्यत जानकारी

प्रबंधक लॉग्स

• सर्वर प्रबंधक लॉग – सर्वर में बदलावों (विशेषतः सॉफ़्टवेयर में बदलावों) को प्रलिखित करता है

साइट से बाहर स्थित ट्रैफ़िक के पृष्ठ

• Semrush: Wikipedia.org ट्रैफ़िक रैंकिंग और विश्लेषण

ऐतिहासिक जानकारी

• कैश रणनीति (2006 का ड्राफ़्ट)
• PHP कैशिंग और ऑप्टिमाइज़ेशन (2007 का ड्राफ़्ट)
• 2007 तक हार्डवेयर के ऑर्डर्स