Jump to content

PetScan

From Meta, a Wikimedia project coordination wiki
This page is a translated version of the page PetScan and the translation is 100% complete.
Coolest Tool Award 2022 logo
PetScan

2022 Coolest Tool
Award Winner

in the category
Reusable

PetScan це потужний інструмент запитів. Запит готується в спеціальній формі для запитів PetScan. Також можете подивитися механізм роботи цього інструменту.

Вступ

PetScan — це інструмент, який дозволяє користувачам видобувати дані, створювати списки сторінок Вікіпедії (та пов’язаних проєктів) або елементів Вікіданих, що відповідають певним критеріям, таким як усі сторінки в певній категорії або всі елементи з певною властивістю, видобувати та аналізувати дані з проєктів Вікімедіа. PetScan також може поєднувати деякі тимчасові списки (тут їх називають «джерела») різними способами, щоб створити новий. Джерела включають:

Сторінки з Вікі(п/м)едії

Вони визначені на вкладках «Категорії», «Властивості сторінки» та «Шаблони та посилання». Ви можете запитувати сторінки в деревах категорій, з певними шаблонами або посиланнями з/на певні сторінки; обмежувати результати певними просторами імен, редагуваннями ботів/людей, останніми редагуваннями/створенням сторінок тощо. Ці три вкладки представляють колишню функціональність CatScan2. Результат їх запиту згодом зберігається як «джерело категорії».

Інші джерела

На цій вкладці ви можете додавати більше джерел, таких як запити Вікідані SPARQL (WDQS) або списки PagePile. Ви також можете визначити, як об’єднувати кілька джерел; за замовчуванням підмножина (тобто лише сторінки, які зустрічаються у всіх джерелах) повертається в кінцевому результаті. Ви також можете вказати, на яку вікі має вказувати ваш список, наприклад, якщо ви об’єднуєте результати Вікіпедії та Вікіданих.

Вікідані

На цій вкладці ви можете додатково анотувати або «фільтрувати» результати, наприклад, повертати лише елементи Вікіданих, які не мають тверджень. Використання будь-якого з цих фільтрів перетворить ваш список на Вікідані.‎

Вивід

Тут ви можете задати параметри для вашого списку, наприклад формат (веб-сторінка, Wiki, PagePile, і т.д.). Ви також можете додатково відфільтрувати свої результати, наприклад з допомогою регулярних виразів на заголовках сторінок/мітках елементів. Ви також можете замінити список результатів ранжованим списком відсутніх тем («червоні посилання»).

Визначення вашого запиту

У формі запиту можна задати такі поля:

Поле Значення За замовчуванням Примітка
Мова Виберіть мовний код проєкту, наприклад «uk» для Української або «en» для Англійської.

Виберіть «commons» для Вікісховища || "en" ||

Проєкт Проєкт Вікімедіа для пошуку (Вікіпедія, Вікісловник, Віківерситет тощо)‎ "wikipedia" NOTE: If you choose "Commons", be sure to go to the "Page properties" tab and check the "File" namespace to get useful results.
Глибина Глибина дерева категорій для пошуку. «0» означає, що пошук за підкатегоріями не здійснюється. "0"
Категорії Список категорій, по одній на строку (вказувати «category:» не потрібно). Пусто Додавання закінчення '|' та числа встановить глибину для цього дерева категорій, замінюючи значення, вибране в полі «Глибина». Вказавши категорію, ви можете звузити результати пошуку та зосередитися на сторінках, пов’язаних із певною темою.
Виключені Категорії Список категорій, як і вище. Приймаються лише статті, які не входять до цих категорій. Пусто
Поєднання Як слід використовувати наведені вище категорії:
  • Список категорій: перерахуйте підкатегорії
  • Перетин: усі сторінки які трапляються в усіх деревах категорій одночасно
  • Об'єднання: усі сторінки, що знаходяться принаймні в одному з дерев категорій
  • Відмінність: усі сторінки лише в одному з дерев категорій
  • Принаймні (N): усі сторінки, що належать принаймні до N дерев категорій

Наразі доступні тільки «Перетин» або «Об’єднання».

«Перетин»
Простори назв Простори імен для використання як потенційні сторінки‎ Статті
Перенаправлення Або‎
Шаблони Використовуйте лише сторінки, які
  • Поле 1: містять усі задані шаблони
  • Поле 2: містять один із заданих шаблонів
  • Поле 3: не містять жодного із заданих шаблонів

Вводьте по одному шаблону на рядок без префікса "шаблон:". Кожне поле можна уточнити, вибравши "Використовувати сторінку обговорення"‎

Пусто Цей параметр сумісний лише з шаблонами, визначеними в просторі імен "шаблон:". Його не можна використовувати з шаблонами, визначеними в просторі імен "Користувач:". Його не можна використовувати в просторах імен "Творець:" або "Установа:", які використовуються на Wikimedia Commons‎
Посилання з:‎
Востаннє редаговано Показати сторінки, останнє редагування яких було або не було зроблено ботом, анонімним користувачем або позначено прапорцем Або, або, або‎
Остання зміна‎ Дата або період часу останньої зміни на сторінці у форматі РРРРММДДГЧММСС (дозволено коротший варіант)‎

"Тільки сторінки, створені протягом вищевказаного періоду || || «Тільки сторінки, створені протягом вищевказаного періоду часу» дозволяють вам шукати «першу зміну» замість цього

Розмір Розмір файлу або діапазон розмірів у байтах Пусто Дозволяє вибирати статті, файли яких перевищують одне граничне значення та/або менші за інше граничне значення‎
Посилання Кількість або діапазон внутрішніх посилань на сторінці‎ Пусто Дозволяє вибирати статті з багатьма або невеликою кількістю посилань‎
Червоні посилання
Головні категорії Функція, яка ще не доступна.‎
Сортувати Функція, яка ще не доступна, яка встановлює критерії сортування для виводу.‎
Ручний список Дозволяє надати список (з префіксом простору імен) назв сторінок або елементів Вікіданих з вказаного проєкту‎ Складна частина полягає у вказівці правильних кодів проектів:
  • Англійська Вікіпедія: enwiki
  • Німецькі Вікіджерела: dewikisource або dewikisourcewiki
  • Грецький Вікісловник: elwiktionarywiki
  • Вікіновини англійською: enwikinews
  • Вікідані: wikidatawiki
  • Вікісховище: commonswiki
Вікідані Отримати Вікідані, якщо вони доступні.
Формат Формат виводу результатів пошуку:
HTML: веб-сторінки
CSV: значення в лапках, розділені комами
TSV: значення, розділені табуляцією
WIKI: як Вікітаблиця
PHP: як файл PHP
XML: як файл XML‎
Зробіть це! Натисніть тут, щоб запустити визначений вами запит.‎

===Ноу-хау===‎

==== Ідентифікатор PetScan (PSID) ====‎

Станом на 2016-04-04 кожен запит, що виконується в PetScan, записується (анонімно!) та йому присвоюється унікальний, стабільний, числовий ідентифікатор під назвою PSID. Ви можете використовувати PSID для:

  • запуску цього запиту PetScan як вхідних даних в інструментах, що підтримують PSID (таких як WD-FIST)
  • заповнення "короткої URL-адреси": https://petscan.wmflabs.org/?psid=PSID запустить запит з PSID з усіма його налаштуваннями
  • програмного розширення попереднього запиту шляхом "перезапису" параметрів: https://petscan.wmflabs.org/?format=wiki&psid=PSID запустить той самий запит, що й раніше, але вихідний формат буде wiki (замість HTML за замовчуванням або будь-якого іншого, що було обрано спочатку).

Примітки:

  • Збережеться лише запит, а не його результати!
  • Великі запити (наприклад, з багатьма елементами ручного керування) не зберігатимуться. У такому випадку PSID не відображатиметься.
  • Результати з порожнім прапорцем мають можливі збіги в наборі Вікіданих.
  • міжвікі-посилання petscan: можна використовувати для створення скорочень для постійних запитів, наприклад, [[petscan:PSID]]
  • записані запити не видаляються, тому щоразу буде генеруватися новий PSID, якщо існуючий PSID не буде викликано без змін.

==== Створюйте елементи Вікіданих для статей Вікіпедії, які ще не мають його (функціональність Creator) ====‎

  • Налаштуйте запит, який повертає список сторінок Вікіпедії (або іншого проєкту, що не належить до Вікіданих), або вставте список у розділ «Інші джерела/Список вручну»
  • На вкладці «Властивості сторінки» слід вибрати «Перенаправлення=Ні» Це тепер робиться автоматично; ви можете змінити це, якщо дійсно хочете перенаправлення у своєму списку!
  • На вкладці «Вікідані» виберіть «Тільки сторінки без елемента» для опції «Вікідані»
  • Виконати запит
  • Ваші результати матимуть додаткові елементи поруч із заголовком «результати» (якщо ви не ввійшли в WiDaR, і в цьому випадку ви побачите відповідне посилання)
  • Усі сторінки, для яких немає точного збігу в жодній мітці чи псевдонімі на Вікіданих, позначені за замовчуванням.
  • Ви можете поставити/зняти прапорці вручну, якщо потрібно.
  • Ви можете додати оператори за замовчуванням у поле операторів, які будуть додані до всіх ваших нових елементів. Отже, якщо ви створюєте елементи лише для людей, додайте P31:Q5. Ви можете додати кілька операторів таким чином (по одному на рядок). Зверніть увагу, що регістр P/Q має бути у верхньому регістрі – інакше програма непомітно завершить роботу.
  • Ви можете додавати описи за замовчуванням до нових елементів, наприклад, Dde:"some description" для опису німецькою мовою.
  • Натисніть зелену кнопку «Запустити QS». Це відкриє нову сторінку.
  • Ви можете натиснути «Запустити», щоб запустити пакет у вашому браузері, або «Запустити у фоновому режимі», щоб запустити їх із сервера Вікімедіа. Дивіться Help:QuickStatements для отримання додаткової інформації.

==== Додавання/видалення операторів для елементів Вікіданих ====‎

За допомогою PetScan можна додавати або видаляти оператори для елементів Вікіданих. Для цього важливо вибрати «Вікідані» в розділі «Інші джерела -> Використовувати Вікі». Потім ви побачите командне поле поруч із номером і зможете продовжити, як описано в попередньому розділі.‎

==== Реферер ====‎

'“(Тільки V2)”' Якщо ви відкриваєте PetScan з іншого інструменту, щоб користувач міг створити запит, ви можете передати параметри referrer_url та referrer_name (за замовчуванням referrer_url). referrer_url повинен містити рядок {PSID}, який буде замінений на PSID, який бачить користувач. Після виконання запиту у верхній частині сторінки з'явиться вікно з пропозицією повернутися до вихідного інструменту, використовуючи referrer_url, змінений за допомогою PSID.

Приклади

====Статті у ВікіПроєкті====‎

Запит на сторінці обговорення цього посібника: Знайти всі статті основного простору в розділі "Географія ВікіПроєкту Великої Британії". Починаючи зі стандартної форми подання PetScan, просто додайте "WikiProject UK geography" до першого поля рядка "Шаблони" та трохи нижче виберіть "Використовувати сторінки обговорення". Ось заповнений запит. Натисніть "Зробити це!" внизу. Під час запуску 16 серпня 2015 року запиту знадобилося 1,5 секунди для виконання та було видано список із 21 408 статей. Список відображається ПІД формою подання (яка залишається на вашому екрані), тому вам доведеться прокрутити вниз, щоб побачити результати.‎

====Посилання Dablings у WikiProject====‎

Редактори, які працюють над усуненням неоднозначностей, прагнуть залучити до допомоги членів WikiProject з певної області вмісту, зокрема WikiProject Canada. Звіт PetScan розроблений для пошуку всіх статей з неоднозначними посиланнями, що знаходяться в межах заданого WikiProject. Застосовані критерії:

  1. Статті з неоднозначними посиланнями знаходяться в розділі "Категорія:Усі статті з посиланнями, що потребують усунення неоднозначності", тому вставте "Усі статті з посиланнями, що потребують усунення неоднозначності" в поле "Категорії PetScan".
  2. Глибина довільно встановлюється на 9, що означає, що будуть знайдені статті до 9 підкатегорій нижче від батьківської категорії "потрібні усунення неоднозначності". (Пошук на таку глибину в цьому випадку не є обов'язковим, але не завадить.)
  3. Статті в WikiProject Canada мають "Шаблон:WikiProject Canada" на своїх сторінках обговорення, тому вставте "WikiProject Canada" в поле PetScan "Має будь-який з цих шаблонів" і трохи нижче виберіть "Використовувати сторінки обговорення замість цього" як кваліфікатор.
  1. Потрібні лише звичайні статті, а не сторінки значень, а сторінки значень відрізняються тим, що мають шаблон:значення, тому вставте «Значення» в поле PetScan «Немає жодного з цих шаблонів» і переконайтеся, що не вибрано «Використовувати сторінки обговорення».
  • Ці критерії реалізуються за допомогою ця форма подання PetScan, заповнена. Щоб надіслати запит, виберіть «Зробити!» внизу.
  • Під час надсилання 16 серпня 2015 року запит виконувався 31 секунду, а результатом був список із 255 статей. Результати відображаються ПІД формою подання PetScan, яка залишається на місці, тому ви можете не побачити жодних змін на екрані. Вам потрібно знати, як прокручувати вниз, щоб знайти результати! Цей запит було виконано з форматом виводу за замовчуванням «HTML».
  • Щоб отримати результати у Вікітаблиці, щоб поділитися ними на підсторінці ВікіПроєкту, запит можна було переглянути, вибравши формат «WIKI». Цього разу результати, у розмітці wikitable, замінюють форму подання PetScan на вашому екрані.
  • Щоб зробити список кориснішим для тих, хто шукає неоднозначності, налаштуйте DabSolver так, щоб він відкривався після будь-якого клацання, і можна виконати кілька кроків. Тут результати були збережені у форматі, розділеному табуляцією, потім перенесені в Excel, потім створений стовпець, який об'єднував прості текстові рядки з результатами, а потім цей отриманий стовпець був скопійований та вставлений. Результати були вставлені на сторінку Вікіпедії англійською мовою w:Wikipedia:Canadian Wikipedians' notice board/ArticlesNeedingDisambiguation2015-08-17, а також були опубліковані у вікні, що прокручується, у обговорення на сторінці обговорення WikiProject Canada. --Doncram (обговорення) 19:50, 24 серпня 2015 (UTC) посилання виправлено. DexDor (обговорення) 06:58, 29 березня 2016 (UTC)

====Виявлення сторінок з аномальним поєднанням простору імен та категорії/категорій====‎

PetScan можна використовувати для пошуку сторінок, що належать до категорії (або поєднання категорій), яка не підходить для сторінок у певному просторі імен, наприклад, сторінки адміністрування Вікіпедії, що належать до категорії, яка повинна містити лише енциклопедичні статті. Це можна виправити (наприклад, перемістивши статтю до правильного простору імен або відредагувавши обговорення, щоб вставити відсутній ":" там, де посилається на категорію). Першим кроком у цьому процесі є визначення (за допомогою PetScan) категорій, які спричиняють неправильну категоризацію (наприклад, категорії адміністрування Вікіпедії, що знаходяться в категоріях статей).‎

====Знайти некатегоризовані фотографії у Вікісховищі заданою мовою====‎

(На основі Гранти:Взірці навчання/Скарби або міни: виявлення некатегоризованих, мовно-специфічних завантажень у Вікісховищі. Дивіться мотивацію та повне пояснення там! Дякуємо користувачеві Вікімедіа Користувач:Spiritia та іншим учасникам/коментаторам за цей внесок!)‎

Запустити запит використовуючи PetScan із такими налаштуваннями:

Language = commons
Project = wikimedia
Depth = 1
Categories = Некатегоризовані файли‎
Combination = ☑ Subset
Namespaces = ☑ File
Templates : Has all of these templates = <мовний код> 
Format:  ☑ Extended data for files     ☑ File usage data

Код української мови «uk»; код для румунської мови «ro». Для того, щоб знайти не категоризовані фотографії, які були завантажені користувачами, що користуються румунською мовою, ваш запит (з вибраним HTML форматом і без автоапуску) буде мати вигляд:

https://petscan.wmflabs.org/?language=commons&project=wikimedia&depth=1&categories=Uncategorized+files&ns%5B6%5D=1&templates_yes=ro&ext_image_data=1&file_usage_data=1

Станом на 15 березня 2016 року після натискання кнопки «Виконати» запит виконується приблизно 105 секунд і видає 1748 некатегоризованих фотографій.‎

Примітки:

  1. Поле «Мова =" не використовується для вибору потрібної мови; натомість потрібний код мови встановлюється в полі «Шаблон».
  2. Код мови враховує регістр у запиті! Наприклад, використовуйте "ro", а не "RO".
  3. Для генерації результатів там було обрано формат: ☑ Wiki, замість стандартного виводу Html.‎

Насолоджуйтесь! Ще раз дякуємо, особливо User:Spiritia!‎

====Елементи без тверджень ====‎

Опцію "Не має тверджень" можна використовувати для пошуку:

  • елементів без тверджень для категорії у Вікіпедії (приклад: en:Category:United States geography stubs)
  • елементів без тверджень для всієї мовної версії Вікіпедії (приклад: "sowiki")‎

====d:Help:Import Template:Bio from itwiki ====‎

Кроки для імпорту шаблону, деякі за допомогою PetScan.‎

==== Отримати посилання на сайт для певного проєкту із запиту SPARQL ====‎

  • Вказати проєкт на вкладці "Категорії". Наприклад de для Мова та wikipedia у Проєкті, щоб використовувати німецькомовну версію Вікіпедії.
  • У Інші джерела введіть свій запит SPARQL
  • Переконайтеся, що ви вибрали З категорій з опцій Використовувати вікі
  • Натисніть Зробити це

Це може бути корисним для отримання переглядів певного набору сторінок на основі запиту SPARQL. Ви можете зберегти це до Pagepile (перевірте вкладку Output), а потім ввести цей ID Pagepile у Massviews Analysis (виберіть 'Page Pile' зі спадного списку Source).‎

==== Отримати список елементів Вікіданих з винятками на основі запиту SPARQL ====‎

Припустимо, у вас є список людей з ідентифікаторами Вікіданих (QID), до яких ви хочете додати професію (P106) «дизайнер ювелірних виробів» (Q2519376), можливо, за допомогою інструменту, такого як QuickStatements. Однак ви не хочете додавати цю професію до елементів, які вже «мають цю професію». Ось як це зробити за допомогою PetScan:

  • Збережіть свій список QID у текстовому файлі, кожен QID розміщуйте на новому рядку.
  • На вкладці «Інші джерела» вставте цей текст у поле під назвою «Список ручного введення».
  • У формі «Вікі» введіть рядок wikidatawiki.
  • У полі «SPARQL» введіть свій запит SPARQL. У цьому прикладі цей запит видасть усіх людей з професією «дизайнер ювелірних виробів»:
    select ?item where { ?item wdt:P31 wd:Q5; wdt:P106 wd:Q2519376. }
  • Нарешті, ви хочете зробити виняток, тому в полі «Комбінація» додайте рядок manual NOT sparql, щоб отримати всі QID зі «списку ручного введення», але «без» елементів із запиту SPARQL.
  • Натисніть «Зроби це!»

====Додайте свій приклад тут...====‎

== Звіти про помилки, запити на функції, база коду ==‎

Див. також

Зовнішні посилання