Wikimedia Enterprise

From Meta, a Wikimedia project coordination wiki
Jump to navigation Jump to search
This page is a translated version of the page Wikimedia Enterprise and the translation is 91% complete.
Outdated translations are marked like this.
Wikimedia Enterprise
Wikimedia Enterprise logo.svg
Building new opportunities for both revenue generation and free knowledge dissemination through partnerships and earned income.
enterprise.wikimedia.com
ProjectMain pagePrinciples
Essay & FAQ (March 2021)
TechnicalMediaWikiUpdatesPhabricatorGit
API Documentation

Wikimedia Enterprise — это новый проект фонда Wikimedia, выполняемый несколькими его департаментами. Целью проекта является создание сервиса для крупных коммерческих повторных пользователей контента Wikimedia. Этот проект ранее назывался «Okapi».

Основной фокус делается на организациях, которые хотят повторно использовать контент Wikimedia в других контекстах, предоставляя услуги в области данных в крупном масштабе, чтобы они могли быть более комплексными, скоростными, надёжными и безопасными. Wikimedia Enterprise стремится повысить для читателей Wikimedia удобство работы за пределами наших собственных веб-сайтов; увеличить доступность и лёгкость нахождения контента; а также повысить осведомленность и упростить процесс определения авторства и проверки со стороны организаций, которые чаще всего повторно используют контент Wikimedia — и всё это через самоокупаемые сервисы.

Свяжитесь с командой, если вы хотите обсудить этот проект с вашим сообществом (в удобное для вас время и через подходящую программную платформу по вашему выбору).

slides
Презентация на конференции EMWCon Spring 2021

Next public meeting: Friday October 22 @ 1500 UTC on Zoom.

Прошедшие публичные встречи:

...and also at the March Strategic Wikimedia Affiliates Network (SWAN) meeting; the May 2021 Wikimedia Clinic; and at Wikimania 2021. In March 2021 the project was also featured in WIRED.


За исключением распространённых случаев использования данных Wikimedia в форме чтения или редактирования, барьер для получения возможности использования данных Wikimedia очень высок. Это связано с тем, что машинам сложно сегментировать и понимать контент, что, в свою очередь, влияет на то, как данные Wikimedia выходят за рамки нашей собственной экосистемы, и масштабы их влияния.

В рекомендациях стратегии развития движения «Способствование устойчивому развитию нашего движения» и «Улучшение пользовательского опыта» содержатся следующие положения, соответственно: «Изучение новых возможностей как для получения дохода, так и для распространения бесплатных знаний с помощью партнерских связей и доходов от коммерческой деятельности, например... Создание прикладных интерфейсов корпоративного уровня» и « Возможности сделать набор прикладных интерфейсов Wikimedia более полным, надежным, безопасным и быстрым в сотрудничестве с крупными пользователями... а также повысить осведомленность и простоту установления подлинности и проверяемости для повторных пользователей контента».

Хорошо известно, что несколько крупных компаний пользуются данными наших проектов. Эти компании признаю́т, что без проектов Wikimedia они не смогли бы предоставить своим пользователям настолько обширные или надёжные возможности для работы. В сообществе уже давно бытует мнение, что эти компании могут сделать больше для сообществ Wikimedia в финансовом плане в обмен на те выгоды, которые они получают от использования контента и ресурсов.

Это привело к идее разработки нового подхода, который будет в долгосрочной перспективе более устойчивым и обеспечит более понятные отношения между Wikimedia и корпоративными пользователями. Скорее всего, любые средства для Wikimedia будут поступать лишь от очень небольшого количества крупных коммерческих пользователей и будут направляться обратно на финансирование движения Wikimedia.

По мере развития этой идеи стало ясно, что мы обязаны также упростить доступ к нашим данным для организаций, которые не обладают такими же ресурсами, как эти крупнейшие пользователи, обеспечивая равные условия использования данных и здоровый Интернет без укрепления монополий. Данный сервис должен быть доступен не только для стартапов или мелких конкурентов интернет-гигантов, но и для университетов и исследователей, архивов и архивариусов; а также в целом для движения Wikimedia.

Wikimedia Enterprise timeline (2020-21).png

Общий обзор

Okapi users.png

Сервис Wikimedia Enterprise нацелен на предприятия, которые повторно используют наш контент, как правило, в крупном масштабе, например, интегрируют в графы знаний, поиск, голосовые помощники, карты, новостные сообщения, инструменты для сообщества, сторонние приложения и корпусные исследования. Дополнение множества наборов данных Wikimedia для структурирования нашего неструктурированного контента позволит всем нашим пользователям, повторно использующим контент, удовлетворять их индивидуальные потребности, а также позволит нам создавать в будущем новые инструменты и сервисы, доступные всем.

  • Частота: регулярные актуальные версии проектов Wikimedia
  • Надёжность: надежная и доступная инфраструктура
  • Качество: «лучшая последняя редакция»

Акцент на наборе конкретных самоокупаемых видов использования позволит команде Wikimedia API сосредоточиться на добровольцах, командах и организациях, которые хотят получить доступ к нашим наборам данных (и, что самое главное, использовать их). Это включает большинство используемых сообществом инструментов редактирования, не входящих в охват данного проекта. Для получения дополнительной информации об усовершенствованиях существующих Wikimedia API см. страницу проекта в разделе, посвященном инициативе «API Gateway».

Цели программы:

  • Контент: Обеспечить доступность большего количества контента нашего движения в последовательных машиночитаемых форматах, доступных всем исследователям и повторным пользователям.
  • Нагрузка ресурсов: Снизить потребность в высокоинтенсивном веб-скрейпинге за счёт перевода на Wikimedia API повторных пользователей с наибольшей частотой и объёмом использования, которые в настоящее время нацелены на использование наших производственных серверов.
  • Финансирование: Наличие более чёткого и последовательного способа реинвестирования полученных преимуществ крупнейшими повторными пользователями обратно в движение вместо случайных альтруистических пожертвований, размер которых различается.

Сообщество

Это вводные параграфы для более подробного эссе сообщества.

Полное эссе охватывает следующие темы

Английское слово free имеет два значения: «свободный» и «бесплатный»; для пояснения этой разницы значений часто используют обороты свободный как в «свободе слова», бесплатный как в словосочетании «бесплатное пиво».

Проекты Фонда Wikimedia всегда были, остаются и всегда будут свободными. Из принципов свободных работ следует, что любой может пользоваться контентом Wikimedia без каких-либо ограничений, в том числе в коммерческих целях. В этом состоит наша идеология как движения. Именно поэтому мы отвергаем «некоммерческие» лицензии: ими ограничиваются возможности повторного использования. И по этой же причине мы считаем коммерческое повторное использование важным средством распространения знаний.

Равным образом проекты Фонда Wikimedia всегда были, остаются и всегда будут бесплатными. Наличие бесплатного доступа к знаниям, которые предлагаются в рамках всех проектов Фонда Wikimedia, составляет центральный элемент миссии Фонда и движения. Мы предоставляем этот доступ не только физическим лицам, которые посещают наши сайты, но и — на программном уровне — машинам с возможностью адаптации назначения наших материалов под конкретные нужды. Полный корпус материалов Фонда Wikimedia всегда был и останется доступен для повторного использования в разных формах (включая, в частности, дамп баз данных, API [интерфейс прикладного программирования] и веб-скрейпинг) для бесплатного повторного использования.

Как следствие, коммерческие организации часто изменяют назначение наших материалов с учётом потребностей своего бизнеса и, соответственно, зарабатывают на этом. Не считая добровольных пожертвований, которые поступают в фонд Wikimedia от юридических лиц, наше движение никогда не получало никаких выгод от такой прибыли в форме обратных инвестиций. В подтверждение этого обстоятельства в составе рекомендации «Способствование устойчивому развитию нашего движения» процесс разработки Стратегии развития движения направил в Фонд Wikimedia запрос на исследование, среди прочего, «прикладных интерфейсов корпоративного уровня... моделей выплат или устойчивого развития для коммерческих повторных пользователей в масштабах предприятия, с учетом необходимости предотвращения зависимости доходов или другого ненадлежащего внешнего влияния на дизайн и разработку продукта». Дополнительная рекомендация «Улучшение пользовательского опыта» гласит: «Возможности сделать набор прикладных интерфейсов Wikimedia более полным, надежным, безопасным и быстрым в сотрудничестве с крупными пользователями в случаях, когда это соответствует нашей миссии и принципам, чтобы улучшить пользовательский опыт как наших прямых, так и косвенных пользователей, увеличить охват и обнаруживаемость нашего контента и потенциал для возврата данных, а также повысить осведомленность и простоту установления подлинности и проверяемости для повторных пользователей контента».

Команда проекта Enterprise занимается разработкой нового ресурса, предназначенного для лиц, осуществляющих повторное использование в коммерческих целях, требования которых к продуктам, сервисам и системам выходят за рамки того, к чему мы предоставляем свободный и бесплатный доступ. Использование этого ресурса не будет обязательным условием повторного использования материалов в коммерческих целях; компании смогут по-прежнему бесплатно пользоваться доступными в настоящее время инструментами. Вся выручка от Enterprise API будет в обязательном порядке идти на поддержку миссии фонда Wikimedia, например, на финансирование программ Wikimedia или пополнение фонда развития Wikimedia (Endowment).

Данный проект — это новый для Фонда вид деятельности. В настоящее время проект находится на ранней стадии реализации, которую следует рассматривать как время учебы. Мы будем достигать поставленных целей, но будем делать и ошибки, будем вынуждены корректировать собственные стратегии. Команда проекта готова прислушиваться к замечаниям, которые будут поступать в связи с проектом, внимательно их изучать и по возможности применять на практике. Настоящий документ определяет и отражает текущую позицию команды проекта; мы стараемся публично документировать как можно больший объем выполняемой работы. До настоящего времени наша работа корректировалась с учетом результатов ряда первичных интервью с членами сообщества, Попечительским советом фонда Wikimedia, а также персоналом, исследователями и осуществляющими повторное использование лицами.

...продолжите читать эссе сообщества. См. также раздел «Часто задаваемые вопросы» и «Принципы».

Принимая во внимание характер проекта, основное решение по нему будет принято фондом Wikimedia. Мы просим членов сообщества, в частности технического сообщества и тех, кто участвовал в процессе разработки стратегии, предоставлять помощь на протяжении всего срока реализации проекта. Мы получили комментарии по техническим вопросам от коллег из фонда Wikimedia, отраслевых партнёров и исследовательских организаций, технических партнеров в рамках движения, а также в целом от технических сообществ через Phabricator. Получение комментариев по финансовым аспектам проекта будет осуществляться по аналогичной схеме. В соответствии с нашими принципами мы продолжим собирать комментарии с помощью опросов и фокус-групп, а также форм обратной связи в Meta.

Технические вопросы

Для получения полной информации о работе над продуктом см.
главную страницу с документацией на MediaWiki.org.

Со временем предлагаемый «продукт» будет расти и улучшаться.

В версии Enterprise API за четвертый квартал 2021 года (май/июнь 2021 г.) предлагается следующее:

Тип Название Сравнить с Что это такое? Что нового?
В реальном времени Enterprise Activity "Firehose" API EventStream HTTP API Стабильный поток данных в режиме реального времени по протоколу HTTP (в рамках «текстовых» проектов WMF)
  • Предложение изменений клиенту со стабильным соединением
  • Фильтрация по проекту и типу страницы
  • Уведомления о возможном вандализме в режиме реального времени
  • Машиночитаемая и последовательная схема JSON
  • Гарантированное время безотказной работы, без ограничений трафика
Enterprise Structured Content API Restbase APIs Последние машиночитаемые материалы из всех «текстовых» проектов WMF
  • Машиночитаемая и последовательная схема JSON
  • Гарантированное время безотказной работы, без ограничений трафика
Массовый доступ Enterprise Structured Content API Дампы Wikimedia Последние экспортированные данные WMF для пакетной загрузки контента (в сжатой форме)
  • Машиночитаемая и последовательная схема JSON
  • Ежедневный экспорт Полного корпуса данных
  • Ежечасный экспорт данных о действиях
  • Гарантированная доставка
  • Загрузка предыдущих данных

Доступ

Для получения доступа к наборам данных Enterprise API существуют три метода:

  • Платный
    • Массовый и в режиме реального времени. При запуске через специальный веб-сайт продукта Enterprise API.
  • Бесплатный
    • Массовый доступ. Обновление данных Enterprise API будет проводиться раз в две недели на сайте https://dumps.wikimedia.org/

**В реальном времени. Команда Wikimedia Enterprise сотрудничает с отделом технического взаимодействия Wikimedia для внедрения к июню 2021 года бесплатной поддержки сообщества с помощью облачных сервисов.

Скриншот с альфа-панели (когда проект назывался «Okapi»), где пользователи могут загружать и сохранять ежедневные экспорты HTML из «текстовых» проектов Wikimedia

Команда

Кроме того, внештатных инженеров предоставляет компания Speed & Function. На этом раннем этапе проекта мы ещё не уверены в долгосрочных потребностях в услугах инженеров и хотим тщательно оценить способность проекта к самообеспечению. Мы не хотим чрезмерно задействовать ресурсы из других проектов WMF и нарушать процесс их реализации.

В состав совета Компании, осуществляющего надзор за проектом, из руководства фонда Wikimedia входят: Грант Ингерсолл, Технический директор; Лиза Сейц-Грувель, Директор по развитию; Тони Себро, заместитель Главного юрисконсульта; и Лейн Бэкер. В конечном счёте деятельность Компании контролируется Попечительским советом фонда Wikimedia.

The LLC's legal registration can be found at the State of Delaware, Division of Corporations, Entity name: Wikimedia, LLC, File number: 7828447.

See also: FAQ § Legal

См. также

  • API:Главная страница — центральный список всех API Wikimedia.
  • Wikitech: Data Services: Портал сервисов в области данных — список доступных для сообществ сервисов, которые обеспечивают прямой доступ к базам данных и дампам данных, а также веб-интерфейсы для запросов и программного доступа к хранилищам данных.
  • Enterprise hub — страница для тех, кто заинтересован в использовании программного обеспечения MediaWiki в рамках компании:
    • Группа MediaWiki Stakeholders — независимая аффилированная организация, которая защищает потребности пользователей MediaWiki за пределами фонда Wikimedia, включая коммерческие предприятия.
    • Enterprise MediaWiki Conference — независимая конференция для этого сообщества.