Wikimedia Enterprise/FAQ

From Meta, a Wikimedia project coordination wiki
Jump to navigation Jump to search
This page is a translated version of the page Wikimedia Enterprise/FAQ and the translation is 70% complete.
Outdated translations are marked like this.
Wikimedia Enterprise
Wikimedia Enterprise logo.svg
Building new opportunities for both revenue generation and free knowledge dissemination through partnerships and earned income.
enterprise.wikimedia.com
ProjectMain pagePrinciples
FAQ & Essay (March 2021)
TechnicalMediaWikiUpdatesPhabricatorGit
API Documentation

Эти часто задаваемые вопросы о Wikimedia Enterprise API были опубликованы в марте 2021 г.

Ниже приведены некоторые намеренно короткие ответы на распространённые вопросы. Для получения более подробной информации и контекста по любой из этих тем ознакомьтесь с эссе, принципами или технической документацией. Этот проект ранее назывался «Okapi».

Общие вопросы

Что это такое?

Wikimedia Enterprise — это по существу интерфейс прикладного программирования (API) для контента Wikimedia, разработанный для очень крупных организаций, которые используют контент Wikimedia в своей коммерческой деятельности и, соответственно, нуждаются в высокоскоростном и высоконадёжном решении, способном обрабатывать большие объемы. Клиентам, использующим данный сервис на платной основе, он предоставляется с договорной гарантией («Соглашение об уровне обслуживания», или SLA).

At launch, the service will include the content of all language editions of all Wikimedia sister projects except Wikimedia Commons and Wikidata. Being able to also include Wikidata information is high a priority on the development roadmap. You can learn more about the development progress via the monthly technical updates on the project's MediaWiki.org homepage.

Повлияет ли это на меня как редактора или владельца бота?

Нет. Это не изменит процесс редактирования (человеком или ботом) для редакторов. Все существующие API будут по-прежнему доступны.

Повлияет ли Enterprise API на текущие дампы и API?

Нет. Мы продолжим обеспечивать и обслуживать систему бесплатно предоставляемых дампов данных и API. Они не удаляются и не изменяются в связи с появлением нового API, и мы продолжим их обслуживание и разработку. На самом деле, отдельно от проекта Enterprise API, мы в настоящее время реализуем инициативу «API Gateway», которая предусматривает и обновление существующей экосистемы API в целях повышения удобства ее использования. Одна из причин, по которой Enterprise API формируется отдельно, заключается в том, чтобы не нарушать существующие экосистемы.

Почему это называется Enterprise («корпоративный»)

Ранее проект (включая API и работавшую над ним команду) назывался Okapi; это было условным названием, которое мы использовали до определения окончательного официального названия. Окапи — милое млекопитающее, обитающее в Африке, и в его названии (на английском) присутствуют буквы a-p-i. Название Wikimedia Enterprise (и Enterprise API) говорит о том, кто именно является предполагаемым пользователем сервиса: крупные компании. Важным критерием при выборе этого названия было то, что оно не подразумевает, что контент API является коммерческим или эксклюзивным или что мы вносим изменения в существующие API. Фраза Enterprise API также присутствует в стратегии развития движения и, таким образом, соответствует тому, как оно ранее использовалось в рамках нашего движения. Наконец, было важно найти название, которое бы не пересекалось с существующими названиями веб-сайтов, аффилированных лиц, проектов и команд Wikimedia.

Этот проект, и API, не следует путать с Группой MediaWiki Stakeholder и Enterprise MediaWiki Conference, соответственно, с независимой признанной организацией Wikimedia, которая выступает за для нужд пользователей MediaWiki за пределами фонда Wikimedia, включая коммерческие предприятия, а также серию конференций для этого сообщества.

Повлияет ли это непосредственно на контент Wikimedia?

Нет. Данный API позволяет осуществлять высокоскоростной доступ к контенту Wikimedia в больших объёмах и его повторное использование. Он не позволяет осуществлять никакого технического или редакторского контроля над контентом проектов Wikimedia. Разумеется, с учётом прав, предоставляемых в соответствии с системой лицензирования в рамках свободной культуры Wikimedia, повторные пользователи Wikimedia смогут создавать производные работы на основе контента.

Предоставляя доступ к контенту Wikimedia с помощью этого нового единого метода получения доступа и подписывая SLA для его использования, мы сможем обеспечить более согласованное и точное отображение указаний на авторство и лицензий для контента Викимедиа со стороны крупномасштабных повторных пользователей. Любое уменьшение случаев повторного опубликования материала, скомпрометированного вандализмом, силами крупных пользователей приносит пользу сообществу: оно укрепляет репутацию нашего сообщества как обеспечивающего достоверный контент и упрощает работу тем членам сообщества, которые занимаются борьбой с вандализмом. Со временем команда Wikimedia Enterprise надеется разработать механизмы, которые помогут повторным пользователям снизить вероятность включения ими контента, скомпрометированного вандализмом, в свои продукты. Если это приведёт к более эффективному обнаружению случаев вандализма, любые полученные знания и/или разработанные коды будут передаваться сообществу для улучшения инструментов и рабочих процессов и, как следствие, для повышения целостности знаний.

В долгосрочной перспективе команда Wikimedia Enterprise также надеется освоить методы, с помощью которых в проектах Wikimedia учитывалась бы новая информация (например, «микровклады»), полученная со стороны массовых пользователей, которые используют продукты, созданные клиентами Wikimedia Enterprise. Это соответствует рекомендации стратегии развития движения «Улучшение пользовательского опыта», где говорится об использовании API для «...увеличения потенциала возврата данных». Тогда же мы проведем с членами сообщества соответствующие обсуждения и попытаемся обеспечить возможность получения таких материалов в ответ на реальные потребности сообщества в соответствии с редакционной культурой, политикой конфиденциальности, условиями использования и пр. Wikimedia.

Will this stop errors/vandalism from appearing in search engine results

It will help.

By making a more consistent Wikimedia content-ingestion process for third-party organisations who operate at high scale and high speed, it will reduce the likelihood that they display vandalism and/or reduce the duration that it is displayed. The API feeds will not include exclusive vandalism detection features unavailable to the public, but it will enable existing signals to be more accessible to our reusers (such as ORES scores and the frequency with which an article is currently receiving edits). This will enable Enterprise's customers to have more tools at their disposal in order to make decisions for what to display and when.

Consistent with the principle of free-cultural-works, the Wikimedia Foundation does not control how reusers display Wikimedia projects' content, what context it is displayed, or with what other datasets it is combined. If you find an instance of Wikimedia content being used in an inappropriate context in a search engine result, its operator will have a procedure for providing feedback about it. By way of example, Google has a policy for "how to report a featured snippet".

Как это связано со стратегией развития движения?

В рекомендациях стратегии развития движения «Способствование устойчивому развитию нашего движения» и «Улучшение пользовательского опыта» содержатся следующие положения, соответственно: «Изучение новых возможностей как для получения дохода, так и для распространения бесплатных знаний с помощью партнерских связей и доходов от коммерческой деятельности, например... Создание прикладных интерфейсов корпоративного уровня» и « Возможности сделать набор прикладных интерфейсов Wikimedia более полным, надежным, безопасным и быстрым в сотрудничестве с крупными пользователями... а также повысить осведомленность и простоту установления подлинности и проверяемости для повторных пользователей контента».

Мы признаём, что при голосовании в сообществе по определению приоритетности рекомендаций в рамках всего сообщества эти конкретные рекомендации, связанные с API, были одними из последних в списке. Мы признаём и ожидаем, что рекомендации не будут представлять интереса. Это направление не влияет непосредственно на сообщество редакторов. При этом это одна из немногих рекомендаций, которая входит исключительно в зону ответственности WMF. Это означает, что WMF может начать этот проект немедленно и независимо от любых других стратегических направлений, не прерывая работу по ним, не отвлекая внимание от них и не меняя их приоритетность.

В то же время улучшение нашего API существенно помогает нам в реализации стратегического направления развития и нашего видения, в том числе по таким направлениям, как Знания как услуга (Knowledge as a Service) и Cправедливость знаний (Knowledge Equity). Цитируя нашу рекомендацию, можно сказать, что это направлено на «сделать набор прикладных интерфейсов Wikimedia более полным, надёжным, безопасным и быстрым в сотрудничестве с крупными пользователями в случаях, когда это соответствует нашей миссии и принципам, чтобы улучшить пользовательский опыт как наших прямых, так и косвенных пользователей, увеличить охват и обнаруживаемость нашего контента и потенциал для возврата данных, а также повысить осведомленность и простоту установления подлинности и проверяемости для повторных пользователей контента».

Многие рекомендации стратегии подразумевают увеличение дохода в рамках всего движения: это амбициозная и в конечном счете дорогая для реализации стратегия. Таким образом, создание Enterprise API в течение следующих нескольких лет позволит нам сформировать новый поток доходов, который поможет обеспечить устойчивое финансирование процесса реализации остальных рекомендаций.

Где это обсуждалось ранее?

Фонд Wikimedia начал предлагать платные услуги предоставления данных почти сразу же после создания, предоставляя каналы, позволяющие третьим лицам размещать свои собственные локальные базы данных. Именно создание этого сервиса привело к приему в наши ряды Бриона Виббера и использовалось для защиты интересов фонда Wikimedia Foundation в первые годы. В 2010 году сервис был закрыт для новых клиентов, а в 2014 году он перестал функционировать окончательно, главным образом, из-за отсутствия технического обслуживания.

Возобновление работы крупномасштабных сервисов данных для обеспечения эффективного развития движения, независимо от изменения методов обнаружения контента Wikimedia, обсуждалось в качестве возможного направления в 2015 году, а далее [[mailarchive:wikimedia-l/2016-January/081126.html|на Wikimedia-l] в 2016 году. Идея была выдвинута двумя рабочими группами на втором этапе процесса реализации стратегии развития движения, и в окончательных стратегических рекомендациях процесс улучшения стороннего использования API упоминается дважды (1, 2). Вопрос начала работы над проектом Enterprise API обсуждался на Wikimedia-l в середине 2020 года.

[Note: This FAQ was published in March 2021. At that time a Wikimedia blogpost was published, notices were placed in various mailinglists and on wiki, and many mainstream media stories covered it–most notably in WIRED. This resulted in significantly more community discussion on this talkpage, on central discussion hubs on many wikis, and in social media. Other international tech-news outlets which covered the announcement included The Hustle, Business Insider, The Hustle, Medianama, Slate, Fortune, Geek Wire, The Verge, PCMag, etc... ]

Финансовые вопросы

Для Википедии это «продажа» или «вынуждение крупных технологических компаний платить»?

Нет. Все материалы Wikimedia доступны по свободным лицензиям и могут использоваться любым лицом для любых целей. Так будет всегда, и по-другому быть не может. Сервис Enterprise API — это новый способ предоставления доступа к контенту с такой скоростью и в таких объемах, которые были адаптированы специально под потребности крупных коммерческих организаций, уже использующих контент Wikimedia на коммерческой основе. Enterprise API продаёт этот новый способ получения доступа, не запрещая никому (включая потенциальных клиентов) использовать существующие методы свободного доступа.

Многие правительства и целые отрасли (например, журналисты) по всему миру в настоящее время обсуждают, как построить финансово устойчивую модель работы с «крупными технологическими компаниями». Создание Wikimedia Enterprise API создаёт возможность для тех коммерческих организаций, которые создали бизнес-модели, используя находящийся в свободном доступе контент Wikimedia, инвестировать в движение Wikimedia надежным и регулярным образом.

Будет ли сообщество иметь доступ к Enterprise API без оплаты?

Да. Для массового доступа копия выходных материалов API будет предоставляться через [$WMDumps сервис общедоступных дампов данных], обновляемый раз в две недели. То есть с такой же регулярностью, что и другие дампы XML.

Daily dumps + hourly diffs are provided via the Data Services portal, available to anyone with a Wikimedia cloud services account.

A "trial" version of the live service will also be available via the product's website at no cost. This version is primarily designed to allow potential commercial customers to investigate the service and therefore it has a restricted maximum rate/usage. Nonetheless, it is allowed (and indeed encouraged!) for Wikimedians to register and use this service for themselves too. Non-paying users can also request a lifting of this maximum rate if there is a mission-relevant use-case that is not addressed by other existing Wikimedia services.

Как будут тратиться деньги?

Стратегическое направление развития, которого мы стремимся достичь к 2030 году, требует, среди прочего, крупномасштабного увеличения объема материалов на недостаточно представленных языках, а для этого необходим значительный рост доходов. Помимо покрытия расходов на сам проект, все средства, полученные от корпоративных клиентов, будут использованы для поддержки миссии Wikimedia. Это предполагает инвестиции в проекты Wikimedia, сообщество, организации нашего движения и фонд развития Wikimedia (Endowment). В эти первые дни трудно предсказать, когда Wikimedia Enterprise достигнет прибыльности, и еще сложнее точно предсказать, какую прибыль это направление получит в течение следующих нескольких лет. Как только у нас будет более чёткое представление о сроках и прибыльности, Попечительский совет сможет определить направления инвестирования прибыли для поддержки нашей миссии. Этот процесс, скорее всего, начнется через год.

Сколько денег это принесёт?

Неудивительно, что это один из самых важных вопросов с точки зрения бизнес-модели, на который также невозможно ответить заранее. Для определения потребностей потенциальных клиентов Enterprise API были проведены серьезные исследования, результаты которых легли в основу процесса разработки продукта и, соответственно, проведения оценки потенциального дохода в будущем. Очевидно одно: мы не сможем отказаться от пожертвований читателей. В соответствии с принципом финансовой независимости, соблюдаемым проектом Wikimedia Enterprise, прибыль от не относящейся деятельности (unrelated business income) и других источников не будет превышать 30% общего дохода фонда Wikimedia. Это значит, что не менее 70% финансирования всегда будет приходить из пожертвований, грантов и т.п.

В соответствии с принципами честности и прозрачности, заложенными в работу Wikimedia Enterprise мы будем публиковать общие данные по доходам и расходам (отдельно от данных по фонду Wikimedia) по крайней мере ежегодно. Мы также будем публиковать регулярно обновляемый реестр текущих коммерческих клиентов, стоимость договора с которыми превышает порог, до достижения которого финансовые подарки в адрес фонда Wikimedia не требуют уведомления Попечительского совета.

As per the project's financial goals that were initially defined during the development-phase, the 2021-22 Annual Plan predicts "$10.2 million in contractual revenue and approximately $3.6 million in expense for Wikimedia Enterprise...".

Повлияет ли это на сбор пожертвований?

Нет, фонд Wikimedia будет продолжать получать основную часть своего бюджета от читателей. Мы считаем, что это важно для того, чтобы Википедия оставалась независимой. Финансирование, полученное за счёт миллионов пожертвований читателей в среднем на сумму 15 долларов США, позволяет нам удовлетворять интересы общественности. Доход от Wikimedia Enterprise будет дополнять поддержку наших читателей, но не станет его заменой. Enterprise API — это также способ внесения своего вклада в проекты для корпоративных пользователей, которые уже повторно используют контент Wikimedia.

Технические вопросы

Это открытый исходный код?

Да. Вот он: https://github.com/wikimedia/OKAPI

Почему вы используете облачную инфраструктуру/AWS с внешним управлением?

Важнейшей потребностью Wikimedia Enterprise является способность быстро создавать прототипы и создавать решения, которые могут масштабироваться в соответствии с потребностями предполагаемых клиентов Enterprise API. Для этого мы оптимизировали сервис для обеспечения быстрой итерации, инфраструктурного отделения от критически важных проектов Wikimedia и использования соглашений об уровне обслуживания (SLA). Вначале эти возможности предоставляются нам внешними облачными сервисами. Несмотря на многочисленные преимущества использования внешнего облака для нашего сценария использования, мы признаём наличие фундаментальных проблем, связанных с таким использованием, учитывая культуру и принципы создания приложений в Фонде. Потребности потенциальных клиентов Enterprise API важны для достижения нашей миссии по предоставлению знаний всем людям. Однако использование существующих ресурсов фонда Wikimedia для разработки продуктов, отвечающих этим потребностям, приведет к увеличению у крупнейших мировых коммерческих организаций потребностей в аппаратном обеспечении.

Wikimedia Enterprise API размещается на Amazon Web Services (AWS), которая очень часто используется для такого рода целей. Тем не менее, у нас нет договорной обязанности или финансовой или технической необходимости использовать именно инфраструктуру AWS. Мы храним на AWS общедоступный контент Wikimedia, общие данные журналов и небольшие данные об использовании. Мы намерены заключать с клиентами соглашения об уровне обслуживания (SLA) с такими же гарантиями, как предоставляет Amazon. У нас нет эквивалентной информации о времени безотказной работы существующей инфраструктуры фонда Wikimedia. Однако мы изучаем этот вопрос совместно с отделом Wikimedia по обеспечению работы веб-сайта.

В то же время мы изучаем альтернативы AWS и готовы рассматривать любые идеи, которые могут соответствовать нашим целям использования, когда проект примет более четкие очертания, и мы уверены в том, что знаем наши реальные требования к инфраструктуре. В то же время инфраструктура хостинга WMF по-прежнему полностью контролируется фондом, она независима и не затрагивается Enterprise API.

Техническая документация приведена здесь: mw:Wikimedia Enterprise#Application Hosting.

Почему это веб-сайт .com?

Главная страница сервиса — enterprise.wikimedia.com, а не .org, на котором размещены другие веб-сайты, управляемые фондом Wikimedia, по следующим причинам:

1) Границы конфиденциальности и безопасности данных. DNS-домены действуют как технические границы для обеспечения конфиденциальности и безопасности данных. Поскольку Wikimedia Enterprise работает на отдельной инфраструктуре с отдельными политиками и средствами контроля, более безопасный вариант не стирать ни одну из этих технических границ, разместив Wikimedia Enterprise на том же домене, что и Wikimedia.org, на котором фонд Wikimedia управляет существующими сайтами. Фонд Wikimedia не управляет никакими другими сайтами в пределах «wikimedia.com», что обеспечивает чистоту границ.

2) Подлинность. Использование домена .org для коммерческих проектов, принадлежащих некоммерческой организации, разрешено. Однако команда Wikimedia Enterprise считает, что точнее и честнее разместить веб-сайт на .com, поскольку это коммерческий проект.

В настоящее время DNS для всех сайтов на «wikimedia.com», включая «enterprise.wikimedia.com», обслуживаются DNS-серверами фонда Wikimedia. Мы знаем, что это создаёт вопрос зависимости, касающийся соглашений об уровне обслуживания (SLA), и его необходимо решить до того, как Wikimedia Enterprise начнет предлагать клиентам заключение SLA. В настоящее время мы работаем над планом по обеспечению независимости DNS для Wikimedia Enterprise.

Как это повлияет на Викиданные или сервис запросов (Wikidata Query Service)?

Wikimedia Enterprise API не оказывает непосредственного влияния на Викиданные или Сервис запросов. На текущем этапе разработки, Enterprise API не выдаёт данные из Викиданных (или Викисклада). Хотя WDQS является важным сервисом для массовых пользователей Викиданных в контексте базовых характеристик графов знаний, в настоящее время цели Enterprise API сосредоточены на потоковой передаче контента в режиме, близком к реальному времени, что отличается от WDQS. Впоследствии некоторая информация, которую клиенты Enterprise API сейчас получают через WDQS, сможет быть получена через API, что может уменьшить объем использования WDQS.

Почему они не строят это сами?

Все первоначальные потенциальные клиенты Enterprise API уже используют контент Wikimedia в своих продуктах в различной степени. Независимо друг от друга они инвестируют в извлечение, реструктуризацию и стандартизацию нашего контента в соответствии с их потребностями. Тем не менее, они не могут внутри компании обеспечить скорость предоставления, последовательность и достоверность контента, предоставляемого сервисами Wikimedia. Это может обеспечить только фонд Wikimedia. Кроме того, предоставляя продукт, доступный любому клиенту, Enterprise API создает равные условия для малых предприятий, желающих использовать контент Wikimedia в своей деятельности, но не имеющих таких же внутренних ресурсов для выполнения необходимых преобразований данных, которые имеются у крупных компаний.

Юридические вопросы

Почему это реализуется дочерней компанией?

Фонд Wikimedia создал компанию с ограниченной ответственностью (LLC) с одним участником, и именно эта компания будет подписывать договоры с клиентами Enterprise API. Наличие такой Компании позволит отделить работу сервиса с соответствующими возникающими обязательствами от работы Фонда. Это стандартный подход, используемый некоммерческими организациями при осуществлении коммерческой деятельности и позволяющий управлять рисками и обеспечивать прозрачность. Тем не менее в соответствии с законодательством США Фонд все равно обязан публично раскрывать сведения о доходах и расходах Компании в составе своей ежегодной налоговой отчетности (см. аудированную финансовую отчетность здесь). Компания осуществляет деятельность под руководством фонда Wikimedia, его сотрудники являются сотрудниками фонда Wikimedia и в конечном итоге отчитываются перед Попечительским советом фонда Wikimedia. Юридическая регистрация компания может быть найдена здесь: [$SoD State of Delaware, Division of Corporations], Entity name: Wikimedia, LLC, File number: 7828447.

You can view the contracts which form the legal relationship between the Wikimedia Foundation and this new LLC at the Governance Wiki. Respectively, they are the:

The LLC's legal registration can be found at the State of Delaware, Division of Corporations, Entity name: Wikimedia, LLC, File number: 7828447. In the United States, Establishing a legal entity in the State of Delaware is common because the body of corporate law in Delaware is well-developed and easily understood. Using the LLC to operate Wikimedia Enterprise will help insulate the Wikimedia Foundation from exposure. The clarity of Delaware corporate law furthers that objective and also reduces legal costs in both the short and long term.

The assessment of appropriate tax treatment of the LLC activities has been coordinated with the Wikimedia Foundation auditors KPMG.

Кто будет «клиентами»?

Enterprise API изначально был разработан с учетом потребностей очень небольшого числа технологических организаций, которые являются крупнейшими и самыми богатыми компаниями в мире и которые обычно именуются «крупнейшие технологические компании (Big Tech)», хотя любая компания может стать клиентом. В связи с отсутствием эксклюзивных контрактов и эксклюзивных материалов разработка этого продукта также поможет малым коммерческим организациям иметь «более равные» возможности при использовании контента Wikimedia в своих продуктах.

By interviewing many organisations across many commercial sectors, it became clear that there are many more potential customers than just "big tech". Their needs are different and so the product roadmap will be adjusted over time to meet this demand – focusing on making it easier to integrate and understand Wikimedia's complex ecosystem of information (through things like credibility signals and subsets of information - see roadmap).

Мы будем публиковать и вести реестр текущих коммерческих клиентов, стоимость договора с которыми превышает порог, до достижения которого финансовые подарки в адрес фонда Wikimedia не требуют уведомления Попечительского совета (хотя этот перечень может обновляться нерегулярно). Будучи организацией, расположенной в США, по закону нам не разрешается вести бизнес с организациями, расположенными в некоторых запрещенных странах, указанных Управлением по контролю за иностранными активами.

Что включено в договоры?

Договоры с клиентами, как правило, включают условия, регулирующие продолжительность сотрудничества, тип поддержки клиентов и ожидаемое время безотказной работы, стоимость сервиса, механизмы разрешения споров, гарантии в отношении информации об авторстве и лицензировании (в зависимости от контекста), а также ограничения на повторное использование API для создания конкурирующего бизнеса (с подтверждением свободного характера базовой лицензии). Как описано в документе, посвященном принципам, договором не будет предоставляться эксклюзивный контент, эксклюзивный доступ, конфиденциальные/пользовательские данные или редакторский контроль и не будут предусматриваться ограничения на способы использования контента, противоречащие условиям свободной лицензии на такой контент.