InternetArchiveBot

From Meta, a Wikimedia project coordination wiki
Jump to navigation Jump to search
This page is a translated version of the page InternetArchiveBot and the translation is 26% complete.
Other languages:
Deutsch • ‎English • ‎Esperanto • ‎dansk • ‎español • ‎français • ‎galego • ‎italiano • ‎magyar • ‎polski • ‎português • ‎português do Brasil • ‎shqip • ‎suomi • ‎русский • ‎اردو • ‎العربية • ‎مصرى • ‎हिन्दी • ‎ไทย • ‎中文 • ‎日本語 • ‎한국어
Coolest Tool Award 2019 square logo.svg
InternetArchiveBot
2019 Coolest Tool Award Winner
in the category
Impact

Cosa è InternetArchiveBot (IABot)

InternetArchiveBot è un potente framework PHP indipendente, un bot OAuth progettato principalmente per essere utlizzato con le WMF wiki, su richiesta delle comunità globali, da Cyberpower678. Le Wiki che implementano diverse regole. È un bot globale che utilizza le wiki controllate da numerose regole. Per la massima flessibilità, può essere modificato per adattarsi all'operatore e / o alla comunità wiki. Il suo compito è quello di indirizzare molti aspetti di obsolescenza dei link. Per i siti più complessi, può essere impostato in multi-thread in modo tale che ogni worker analizzi la propria pagina, e successivamente invii un report al master con le statistiche.

Che cosa fa?

IABot possiede una suite di funzioni che può svolgere quando analizza una pagina. Poiché l'obiettivo è quello di indirizzare lo stagnamento dei link nel modo più completo possibile, analizza i collegamenti in molti modi,

  1. Ricercare gli URL nella pagina anziché nel DB. Ciò consente al bot di catturare la maniera in cui l'url viene utilizzato, come ad esempio rilevare se viene utilizzato in un modello di citazione, un riferimento o se si tratta di un collegamento orfano. Ciò consente al bot di gestire in modo intelligente fonti formattate in vari modi, quasi come un essere umano.
  2. Controllare negli archivi se esiste già un collegamento e se non richiede l'archiviazione nella Wayback Machine.
  3. Ricercare negli archivi della Wayback Machine per recuperare una copia funzionante della pagina di un link che è morto, o usare gli archivi di un URL già utilizzati su Wikipedia.
  4. Controllare se i link non contrassegnati sono morti o no. Questo ha un tasso di falsi positivi dello 0,1%.
  5. Completare automaticamente i modelli che si risolvono come gli URL nei modelli di citazioni e che funzionano da lì. Lo stesso viene applicato ai modelli di accesso ai dati.
  6. Salvare tutte queste informazioni su un DB, che consente l'uso di interfacce in grado di utilizzare queste informazioni e consentire al bot di apprendere e migliorare i suoi servizi.
  7. Convertire gli URL di un archivio esistente nella loro forma estesa, se abilitati.
  8. Correggere gli usi impropri dei modelli di archivio o URL formattati in modo errato.

Come funziona?

Le funzioni di IABot sono state collocate in varie classi, in base alle funzioni che svolgono. Le funzioni relative alla comunicazione, come quelle dei valori di configurazione della wiki sono immagazzinati nella classe API. Le funzioni relative al DB nella classe DB, le varie funzioni core in una classe Core statica, le funzioni di controllo dei collegamenti morti in una classe CheckIfDead, il motore del thread nella classe Thread e le funzioni di analisi globali e specifiche del wiki in una classe Parser astratta. Mentre tutte le funzioni tranne l'ultima possono essere eseguite in modo uniforme su tutti i wiki, la classe Parser richiede un'estensione di classe a causa della sua natura astratta. Le estensioni di classe contengono le funzioni che consentono al bot di operare correttamente su un determinato wiki, con le proprie regole già stabilite. All'avvio, il bot tenterà di caricare automaticamente l'estensione corretta della classe Parser e di inizializzarla come classe di analisi.

Configurazione

A partire dalla versione 2.0, le pagine della wiki per la configurazione di IABot non vengono più utilizzate. Il bot invece è configurato tramite l'Interfaccia di Gestione IABot. Tutte le parole chiave globali sono ancora utilizzate.

Se stai eseguendo InternetArchiveBot, puoi configurarlo tramite la pagina di configurazione su wiki e creare un nuovo file deadlink.config.local.inc.php nella stessa directory. Se qualcun altro sta eseguendo InternetArchiveBot e hai bisogno di configurarlo solo per un determinato wiki, puoi impostare una sottopagina della pagina utente del bot chiamata "Dead-links.js" e configurarla lì. Ad esempio, User:InternetArchiveBot/Dead-links.js. I valori di configurazione sono spiegati di seguito:

  • link_scan - Determina cosa cercare quando si analizza una pagina. Impostarlo su 0 per gestire tutti gli URL esterni sulla voce. Impostarlo su 1 per scansionare solo gli URL che si trovano all'interno dei tag di riferimento.
  • page_scan - Determina quali pagine scansionare quando viene eseguito. Impostarlo su 0 per scansionare tutto lo spazio principale. Impostarlo su 1 per scansionare solo le pagine che hanno tag a collegamenti morti.
  • dead_only - Determina quali URL può toccare e/o modificare. Impostato su 0 il bot modifica tutti i collegamenti per tutto. Impostato su 1 consente al bot di modificare solo gli URL contrassegnati come morti. Impostato su 2 consente al bot di modificare tutti gli URL etichettati come morti e tutti gli URL etichettati che non lo sono.
  • tag_override - Indica al bot di ignorare la sua valutazione riguardo agli URL. Se un utente contrassegna un URL come morto mentre il bot lo valuta attivo, impostandolo su 1 consentirà di ignorare il giudizio del bot. Impostato su 0 lo disabilita.
  • archive_by_accessdate – Setting this to 1 will instruct the bot to provide archive snapshots as close to the URLs original access data as possible. Setting this to 0 will have the bot simply find the newest working archive. Exceptions to this are the archive snapshots already found and stored in the DB for already scanned URLs.
  • touch_archive – This setting determines whether or not the bot is allowed to touch a URL that already has an archive snapshot associated with it. Setting this to 1 enables this feature. Setting this to 0 disables this feature. In the event of invalid archives being present or detectable mis-formatting of archive URLs, the bot will ignore this setting and touch those respective URLs.
  • notify_on_talk – This setting instructs the bot to leave a message of what changes it made to a page on its respective talk page. When editing the main page, the talk page message is only left when new archives are added to URLs or existing archives are changed. When only leaving a talk page message without editing the main page, the message is left if a URL is detected to be dead, or archive snapshots were found for given URLs. Setting this to 1 enables this feature. Setting this to 0 disables it.
  • notify_error_on_talk – This instructs the bot to leave messages about problematic sources not being archived on respective talk pages. Setting to 1 enables this feature.
  • talk_message_header – Set the section header of the talk page message it leaves behind, when notify_on_talk is set to 1.
    See the #Magic Word Globals subsection for usable magic words.
  • talk_message – The main body of the talk page message left when notify_on_talk is set to 1.
    See the #Magic Word Globals subsection for usable magic words.
  • talk_message_header_talk_only – Set the section header of the talk page message it leaves behind when the bot doesn't edit the main article.
    See the #Magic Word Globals subsection for usable magic words.
  • talk_message_talk_only – The main body of the talk page message left when the bot doesn't edit the main article.
    See the #Magic Word Globals subsection for usable magic words.
  • talk_error_message_header – Set the section header of the talk page error message left behind, when notify_error_on_talk is set to 1.
  • talk_error_message – The main body of the talk page error message left when notify_error_on_talk is set to 1.
    Supports the following magic words:
    1. {problematiclinks}: A bullet generated list of errors encountered during the archiving process.
  • deadlink_tags – A collection of dead link tags to seek out. Automatically resolves the redirects, so redirects are not required. Format the template as you would on an article, without parameters.
  • citation_tags – A collection of citation tags to seek out, that support URLs. Automatically resolves the redirects, so redirects are not required. Format the template as you would on an article, without parameters.
  • archive#_tags – A collection of general archive tags to seek out, that supports the archiving services IABot uses. Automatically resolves the redirects, so redirects are not required. Format the template as you would on an article, without parameters. The "#" is a number. Multiple categories can be implemented to handle different unique archiving templates. This is dependent on how the bot is designed to handle these on a given wiki and is wiki specific.
  • talk_only_tags – A collection of IABot tags to seek out, that signal the bot to only leave a talk page message. These tags overrides the active configuration.
  • no_talk_tags – A collection of IABot tags to seek out, that signal the bot to not leave a talk page message. These tags overrides the active configuration.
  • ignore_tags – A collection of bot specific tags to seek out. These tags instruct the bot to ignore the source the tag is attached to. Automatically resolves the redirects, so redirects are not required. Format the template as you would on an article, without parameters.
  • verify_dead – Activate the dead link checker algorithm. The bot will check all untagged and not yet flagged as dead URLs and act on that information. Set to 1 to enable. Set to 0 to disable.
  • archive_alive – Submit live URLs not yet in the Wayback Machine for archiving into the Wayback Machine. Set to 1 to enable. Requires permission from the developers of the Wayback Machine.
  • notify_on_talk_only – Disable editing of the main article and leave a message on the talk page only. This overrides notify_on_talk. Set to 1 to enable.
  • convert_archives – This option instructs the bot to convert all recognized archives to HTTPS when possible, and forces the long-form snapshot URLs, when possible, to include a decodable timestamp and original URL.
  • convert_to_cites – This option instructs the bot to convert plain links inside references with no title to citation templates. Set to 0 to disable.
  • mladdarchive – Part of the {modifiedlinks} magic word, this is used to describe the addition of an archive to a URL.
    Supports the following magic words:
    1. {link}: The original URL.
    2. {newarchive}: The new archive of the original URL.
  • mlmodifyarchive – Part of the {modifiedlinks} magic word, this is used to describe the modification of an archive URL for the original URL.
    Supports the following magic words:
    1. {link}: The original URL.
    2. {oldarchive}: The old archive of the original URL.
    3. {newarchive}: The new archive of the original URL.
  • mlfix – Part of the {modifiedlinks} magic word, this is used to describe the formatting changes and/or corrections made to a URL.
    Supports the following magic words:
    1. {link}: The original URL.
  • mltagged – Part of the {modifiedlinks} magic word, this is used to describe that the original URL has been tagged as dead.
    Supports the following magic words:
    1. {link}: The original URL.
  • mltagremoved – Part of the {modifiedlinks} magic word, this is used to describe that the original URL has been untagged as dead.
    Supports the following magic words:
    1. {link}: The original URL.
  • mldefault – Part of the {modifiedlinks} magic word, this is used as the default text in the event of an internal error when generating the {modifiedlinks} magic word.
    Supports the following magic words:
    1. {link}: The original URL.
  • mladdarchivetalkonly – Part of the {modifiedlinks} magic word, this is used to describe the recommended addition of an archive to a URL. This is used when the main article hasn't been edited.
    Supports the following magic words:
    1. {link}: The original URL.
    2. {newarchive}: The new archive of the original URL.
  • mltaggedtalkonly – Part of the {modifiedlinks} magic word, this is used to describe that the original URL has been found to be dead and should be tagged. This is used when the main article hasn't been edited.
    Supports the following magic words:
    1. {link}: The original URL.
  • mltagremovedtalkonly – Part of the {modifiedlinks} magic word, this is used to describe that the original URL has been tagged as dead, but found to be alive and recommends the removal of the tag. This is used when the main article hasn't been edited.
    Supports the following magic words:
    1. {link}: The original URL.
  • plerror – Part of the {problematiclinks} magic word, this is used to describe the problem the Wayback machine encountered during archiving.
    Supports the following magic words:
    1. {problem}: The problem URL.
    2. {error}: The error that was encountered for the URL during the archiving process.
  • maineditsummary – This sets the edit summary the bot will use when editing the main article.
    See the #Magic Word Globals subsection for usable magic words. (Items 11, 12, and 13 are not supported)
  • errortalkeditsummary – This sets the edit summary the bot will use when posting the error message on the article's talk page.
  • talkeditsummary = This sets the edit summary the bot will use when posting the analysis information on the article's talk page.
    See the #Magic Word Globals subsection for usable magic words.

Magic Word Globals

These magic words are available when mentioned in the respective configuration options above.

  1. {namespacepage}: The page name of the main article that was analyzed.
  2. {linksmodified}: The number of links that were either tagged or rescued on the main article.
  3. {linksrescued}: The number of links that were rescued on the main article.
  4. {linksnotrescued}: The number of links that were unable to be rescued on the main article.
  5. {linkstagged}: The number of links that were tagged dead on the main article.
  6. {linksarchived}: The number of links that were archived into the Wayback Machine on the main article.
  7. {linksanalayzed}: The number of links that were overall analyzed on the main article.
  8. {pageid}: The page ID of the main article that was analyzed.
  9. {title}: The URL encoded variant of the name of the main article that was analyzed.
  10. {logstatus}: Returns "fixed" when the bot is set to edit the main article. Returns "posted" when the bot is set to only leave a message on the talk page.
  11. {revid}: The revision ID of the edit to the main article. Empty if there is no edit to the main article.
  12. {diff}: The URL of the revision comparison page of the edit to main article. Empty if there is no edit to the main article.
  13. {modifedlinks}: A bullet generated list of actions performed/to be performed on the main article using the custom defined text in the other variables.

Source code

The current source code can be found at https://github.com/cyberpower678/Cyberbot_II/tree/master/IABot.

Roadmap

Phase 1 (complete) – Have InternetArchiveBot process all the pages on English Wikipedia that are in Category:Articles with dead external links and replace as many dead links as possible with archive links from the Wayback Machine.

Phase 2 (complete) – Have InternetArchiveBot process all the pages on English Wikipedia to find untagged dead links and replace them with archive links.

Phase 3 (in progress) – Deploy InternetArchiveBot on other wikis besides English Wikipedia (with community consent).

Management

Many aspects of InternetArchiveBot can be managed at https://tools.wmflabs.org/iabot/, including reporting false positives for dead links and directing the bot to fix a single page.