Construint noves oportunitats tant per a la generació d'ingressos com per a la difusió gratuïta del coneixement a través dels convenis i dels ingressos obtinguts.
Wikimedia Enterprise és un servei de la Fundació Wikimedia disponible a enterprise.wikimedia.com. L'objectiu del servei és construir serveis per a reutilitzadors comercials de gran volum de contingut de Wikimedia. El servei va ser anunciat el març de 2021 (blogpost, article a WIRED) i es va posar en marxa l'octubre de 2021 (Nota de premsa, article a OpenFutures).
L'objectiu se centra en les organitzacions que volen reutilitzar el contingut de Wikimedia en altres contextos, tot proporcionant serveis de dades a gran escala, de manera que siguin més ràpids i més complets, fiables i segurs. Wikimedia Enterprise té com a objectiu millorar l'experiència d'usuari dels lectors de Wikimedia més enllà dels nostres propis llocs web; augmentar l'abast i la visibilitat del contingut; i millorar la consciència i la facilitat d'atribució i verificabilitat de les organitzacions que reutilitzen més les dades dels projectes Wikimedia, mitjançant serveis d'autofinançament.
Hi ha una barrera d'entrada molt elevada per utilitzar les dades de Wikimedia, fora dels casos d'ús habituals de lectura o edició. Això es deu al fet que el contingut és difícil de segmentar i comprendre per les màquines, cosa que al seu torn afecta fins a quin punt les dades dels projectes Wikimedia arriben més enllà del nostre propi ecosistema, i l'escala d'impacte que pot tenir.
En les recomanacions de l'Estratègia del Moviment per augmentar la sostenibilitat del nostre moviment i millorar l'experiència d'usuari hi ha les següents recomanacions, respectivament: "Explorar noves oportunitats tant per a la generació d'ingressos com per a la difusió gratuïta del coneixement mitjançant els convenis i els ingressos obtinguts, per exemple [...] Construint una API empresarial" i "feu que el paquet d'API de Wikimedia sigui més complet, fiable, segur i ràpid, en col·laboració amb usuaris de gran escala [...] i millorar la consciència i la facilitat d'atribució i verificabilitat per als reutilitzadors de contingut".
És ben sabut que algunes empreses massives utilitzen les dades dels nostres projectes. Aquestes empreses reconeixen que sense els projectes de Wikimedia, no podrien proporcionar una experiència tan rica ni fiable als seus propis usuaris. Des de fa temps hi ha la sensació entre els membres de la comunitat que aquestes empreses haurien de fer més per reinvertir a les comunitats de Wikimedia pels avantatges que obtenen del contingut i els recursos que utilitzen.
Això va dur a la idea de desenvolupar un nou enfocament que sigui més sostenible a llarg termini i que proporcioni una relació molt més clara entre Wikimedia i els usuaris empresarials. La majoria dels beneficis financers per a Wikimedia probablement només provindria d'un grapat molt reduït d'usuaris intensos amb ànim de lucre, i es retroalimentaria al moviment Wikimedia.
A mesura que es va desenvolupar aquesta idea, va quedar clar que hi ha la responsabilitat de democratitzar les nostres dades per a les organitzacions que no disposen dels recursos d'aquests usuaris més grans, per assegurar-nos que estem igualant el terreny de joc i ajudar a fomentar una Internet sana sense reforçar els monopolis. Els avantatges d'aquest servei no només haurien de ser per a empreses emergents o alternatives als gegants d'Internet, sinó també per a universitats i investigadors universitaris; arxius i arxivers; juntament amb el moviment Wikimedia més ampli.
Resum
L'atenció de Wikimedia Enterprise se centra en empreses que reutilitzen el nostre contingut, normalment a gran escala, per exemple, integrades en gràfics de coneixement, cerques, assistents de veu, mapes, notícies, eines de la comunitat, aplicacions de tercers i estudis de recerca de corpus complet. Augmentar els nombrosos conjunts de dades de Wikimedia per posar estructura darrere del nostre contingut no estructurat permetrà que tots els nostres reutilitzadors de contingut satisfacin els seus requisits individuals, alhora que permetrà construir noves eines i serveis en el futur, disponibles per a tothom. Els usuaris que reutilitzen el nostre contingut busquen tres components crítics:
Freqüència: captures actuals i regulars de projectes de Wikimedia
Fiabilitat: una nfraestructura fiable i accessible
Qualitat: la "darrera millor revisió"
Cal fer èmfasi en què un conjunt autofinançat de casos d'ús específics permet a l'equip d'API de Wikimedia centrar-se en els voluntaris, els equips i les organitzacions que volen accedir als nostres conjunts de dades (i, sobretot, interactuar amb ells). Això inclou la majoria de les eines d'edició de la comunitat, que estaran fora de l'abast d'aquest servei. Per a més informació sobre les millores de les API de Wikimedia existents, vegeu la pàgina del servei sobre la iniciativa API Gateway.
Objectius del programa:
Contingut: fer que el contingut del nostre moviment estigui disponible en formats coherents llegibles per màquina, disponibles de manera gratuïta per a tots els investigadors i reutilitzadors.
Càrrega de recursos: reduir la necessitat de scraping de llocs d'alta intensitat per part dels reutilitzadors de major freqüència i volum, que actualment s'orienten als nostres servidors de producció.
Finançament: proporcionar una manera més clara i coherent perquè els reutilitzadors més grans reinverteixin els beneficis derivats en el moviment, en lloc de fer donacions altruistes ocasionals que varien de mida.
Comunitat
Wikimania 2023 presentation slides
Posa't en contacte amb l'equip si t'agradaria concertar una conversa sobre aquest servei amb la teva comunitat, a l'hora i en la plataforma que preferiu.
En anglès, la paraula "free" té dos significats, que en català són dues paraules molt diferents: lliure i gratuït.
Els projectes de Wikimedia són, sempre ho han estat i sempre romandran lliures. Els principis de les obres culturals lliures signifiquen que qualsevol persona pugui utilitzar Wikimedia sense restriccions, inclús comercialment. Com a moviment, ho acceptem. És per això que rebutgem les llicències no comercials, ja que limitarien els tipus de reutilització possibles. I és per això que considerem la reutilització comercial com un mitjà important de distribució de coneixement al públic.
Igualment, els projectes Wikimedia són, han estat i seran sempre gratuïts. La capacitat d'accedir lliurement al coneixement disponible a tots els projectes de Wikimedia sempre ha estat el nucli de la missió de la Fundació i del moviment. Proporcionem aquest accés no només a les persones que visiten els nostres llocs web, sinó també a les màquines programades perquè el nostre contingut pugui ser reutilitzat en altres entorns. El corpus complet del contingut de Wikimedia sempre ha estat, i continuarà estant, disponible per a la seva reutilització en diverses formes (incloent-hi, però no limitant-se, a bolcats de bases de dades, API i scraping) sense cap cost.
Com a resultat, el nostre contingut és reutilitzat amb freqüència per organitzacions comercials que en depenen per donar sostenir els seus models de negoci, i que en conseqüència, n'obtenen ingressos. Fora de les donacions corporatives voluntàries a la Fundació Wikimedia, el moviment no ha rebut beneficis de cap d'aquests ingressos a través de la inversió de retorn. Tot reconeixent aquest fet, sota el títol d'Augmentar la sostenibilitat del moviment, el procés d'Estratègia del Moviment va demanar a la Fundació Wikimedia que explorés, entre altres coses, "API a nivell empresarial [...] models per als reutilitzadors comercials a escala empresarial, tot intentant evitar les dependències dels ingressos o una altra influència externa indeguda en el disseny i desenvolupament del producte". A més, sota el títol Millorar l'experiència d'usuari, una altra recomanació deia: "Fer que el conjunt d'API de Wikimedia sigui més complet, fiable, segur i ràpid, en col·laboració amb els usuaris a gran escala on s'alineï amb la nostra missió i principis, per millorar l'experiència d'usuari tant dels usuaris directes com indirectes, augmentar l'abast i la capacitat de descobriment del nostre contingut i el potencial de retorn de dades, i millorar el coneixement i la facilitat d'atribució i verificabilitat per als reutilitzadors de contingut".
L'equip del projecte Enterprise està desenvolupant un nou recurs adreçat als reutilitzadors de continguts amb ànim de lucre, que tenen requisits de producte, servei i sistema que van més enllà del que oferim gratuïtament. Utilitzar aquesta oferta no serà necessari per a reutilitzar continguts comercials; les empreses poden seguir utilitzant les eines actuals disponibles sense cap cost. Tots els ingressos de l'API Enterprise s'utilitzaran inequívocament per donar suport a la missió de Wikimedia, per exemple, per finançar els programes de Wikimedia o ajudar a augmentar la dotació dels projectes.
Aquest projecte representa un nou tipus d'activitat a la Fundació. El projecte es troba en una fase molt primerenca que s'ha de considerar un període d'aprenentatge. Tindrem èxits, cometrem errors i haurem d'adaptar les nostres estratègies. L'equip es compromet a escoltar, participar en diàlegs i, en la mesura del possible, integrar els comentaris que rebem sobre el nostre treball. Aquest document és orgànic i reflecteix el pensament actual de l'equip; estem intentant documentar tot el treball possible de forma oberta. Fins ara, el nostre treball ha estat modelat per una sèrie d'entrevistes inicials amb membres de la comunitat, la Junta Directiva i el personal de la Fundació Wikimedia, investigadors i reutilitzadors de contingut.
Donada la naturalesa del servei, la presa de decisions primària correspon a la Fundació Wikimedia. Cerquem aportacions de la comunitat, en particular de la comunitat tècnica i de les persones que han participat en el procés d'estratègia, durant tota la vida del servei. S'han recopilat comentaris tècnics de companys de la Fundació Wikimedia, socis de la indústria i de la recerca, socis tècnics de tot el moviment i de les comunitats tècniques més àmplies mitjançant Phabricator. Les aportacions al desenvolupament del finançament del servei seguiran un patró similar. Continuarem recopilant aportacions mitjançant entrevistes de recerca i grups de discussió, així com comentaris aquí a Meta segons el document dels nostres principis.
Accés
Hi ha diversos mètodes per obtenir accés als conjunts de dades de l'API Enterprise:
L'API en temps real (per lots i streaming) i un fitxer d'abocament diari en format NDJSON a través del lloc web dedicat al producte de l'API Enterprise $url
De franc
La creació d'un compte a través del lloc web del producte de l'API Enterprise inclou 10.000 sol·licituds d'API sota demanda i un fitxer API d'instantània mensual en format NDJSON sense cap cost.
Those who have a non-commercial and mission-relevant use-case, which cannot be fulfilled by existing free-access APIs/dumps etc, can request expanded access to the API service at either reduced cost or no cost depending on usage and application.
Amb el temps, el "producte" que s'ofereixi anirà creixent i millorant. Aquesta informació és precisa a febrer de 2023.
Overview
All of our APIs return the same structured JSON (or ND-JSON) response format making it easy to augment one API with another. Three APIs; same data with different retrieval methods:
Retrieve bulk data with the Snapshot API
Retrieve single articles with the On-demand API
Receive changes instantly with Realtime API streaming
API responses payloads include article data such as summary, image, Wikidata QID, license, and metadata specific to the last revision such as editor, size of change, and credibility score with revert probability. All data fields and schema are explained in detail on the project's Data Dictionary website page.
API Instantània
Per als reutilitzadors de gran volum que actualment confien en els abocadors de Wikimedia per accedir a la nostra informació, hem creat una solució per ingerir contingut de Wikimedia gairebé en temps real sense excessives peticions a l'API (API sota demanda) ni haver-se de mantenir connectats a la nostra infraestructura (en temps real).
The Enterprise Snapshot API allows users to retrieve entire Wikimedia projects as a database dump file.
Download a compressed file containing everything in any supported project, in any language
Article body in HTML as well as Wikitext
Up to a daily snapshots cadence
24-hour compressed dumps (with both wikitext and html) of supported "text-based" Wikimedia projects
A wide range of commercial and consolidated schemas under SLAs
SLA and Support
API sota demanda
Els reutilitzadors de gran volum que utilitzen una infraestructura depenent de la plataforma EventStream depenen de serveis com RESTBase per extreure l'HTML dels títols de les pàgines i de les revisions actuals per actualitzar els seus productes. Els reutilitzadors de gran volum han sol·licitat un mitjà fiable per recopilar aquestes dades, així com estructures diferents d'HTML quan incorporen el nostre contingut als seus KG i productes.
The Wikimedia Enterprise On-demand API allows users to retrieve single articles from any supported Wikimedia project at anytime.
Make standard HTTP requests to retrieve documents by name from all supported projects and languages with filters available to limit response
Request the latest page data anytime to augment your Realtime or Snapshot API data
A wide range of commercial and consolidated schemas under SLAs
API en temps real
Actualment, els reutilitzadors de gran volum depenen molt dels canvis impulsats des de la nostra comunitat per actualitzar els seus productes en temps real, utilitzant les API d'EventStream per accedir a aquests canvis. Els reutilitzadors de gran volum estan interessats en un servei que els permeti filtrar els canvis que reben per limitar el seu processament, garantir connexions HTTP estables per assegurar que no es perdin dades i proporcionar un esquema més útil per limitar el nombre de peticions necessàries a l'API.
The Enterprise Realtime API allows users to stream updates in real-time from any supported Wikimedia project.
Streaming: Receive streaming (firehose) updates of every change as they occur in real-time
Batch: Download compressed snapshot files of incremental updates every hour
Instant updates for new content, any edits, deletions, and breaking news events including community-curated visibility changes
Filtering of events by Project or Revision Namespace
A wide range of commercial and consolidated schemas under SLAs with guaranteed connections
Contracted accounts receive 99% SLA and support response-time guarantees. All accounts have access to our introductory onboarding resources and help center faqs.
Equip
El personal de la Fundació Wikimedia que treballa específicament en aquest projecte:
Moltes persones de diferents equips també hi contribueixen de manera significativa, incloent-hi els equips de la WMF del Departament Jurídic, Enginyeria, Col·laboracions, Disseny, Comunicacions, etc. Treball contractat addicional proporcionat per: [$SandF Speed & Function] ofereix suport d'enginyeria; PartnerHero proveeix serveis d'atenció al client; Vuurr està ajudant el nostre procés de vendes; [$BINK Beutler Ink], en el màrqueting i la comunicació, i Super Natural Design són els dissenyadors del lloc web del projecte.
Els documents que cobreixen la relació legal de l'LLC amb la Fundació Wikimedia es publiquen a la Governance Wiki sota la "Categoria:Wikimedia Enterprise". Concretament, es tracta dels acords d'operació, de compartiment de costos i de llicència interempresarial.:
Initial Wikimedia Foundation Diff blogpost note: media stories listed below are written and published independently and were neither pre-reviewed nor approved by the WMF
API:Portada – la llista central de totes les API de Wikimedia.
Wikitech: Portal de serveis de dades – Una llista de serveis orientats a la comunitat que permeten l'accés directe a les bases de dades i als bolcats, així com interfícies web per a la consulta i l'accés programàtic als magatzems de dades.
Enterprise hub – una pàgina per a aquells interessats en utilitzar el programari MediaWiki en contextos corporatius.
MediaWiki Stakeholders' Group – organització afiliada independent que defensa les necessitats dels usuaris de MediaWiki fora de la Fundació Wikimedia, incloent-hi les empreses comercials.
Ryan Brounley
Stephanie Delbecque
Chuck Reynolds
Haroon Shaikh
Prabhat Tiwary
Luvo Dlulisa
Ruairi O'Donnell
Ehi Enabulele
