Outils DMI recommandé par le médialab

Le Digital Methods Initiative (DMI) est l'un des principaux groupes de recherche européens sur l'Internet. Composé de chercheurs en nouveaux médias et de doctorants, il conçoit des méthodes et des outils permettant de réorienter les appareils et les plateformes en ligne (tels que Twitter, Facebook et Google) vers la recherche sur les questions sociales et politiques.

La page outils de la DMI offre une collection d'outils pour la collecte, l'exploration et la visualisation de données d'internet dans le cadre de processus de recherche en sciences sociales et politiques. Voici une liste des outils que vous trouverez sur cette page :

• 4CAT: Capture and Analysis Toolkit: créez des fichiers de données à partir d'une variété de forums web et analysez-les.
• Amazon Book Explorer: différentes métriques sur les livres vendus par Amazon
• Amazon Related Product Graph: ce script PHP vous permet d'entrer dans un ensemble d'ASIN(s) et de récupérer ses recommandations
• App Tracker explorer: DMI App Tracker Tracker est un outil pour détecter dans un ensemble de fichiers APK les empreintes de technologies de traçage (tracking) ou d'autres bibliothèques de code.
• Bubble Lines: entrez des étiquettes et des valeurs pour produire des bulles proportionnées en fonction des données, sous la forme d'un fichier SVG.
• Censorship Explorer: vérifiez si une URL est censurée dans un pays donné.
• Compare Lists: comparez deux listes d'URLs pour découvrir leurs points communs et différences.
• Compare Networks Over Time: compare des réseaux IssueCrawler dans le temps.
• Convert Issuecrawler to Navicrawler: convertissez un fichier XML IssueCrawler dans un fichier WXXSF Navicrawler
• Deduplicate: répliquez les tags d'un tag cloud en fonction de leur valeur
• Discus Comment Scraper: récupérez les fils de commentaires d'un site utilisant le système de commentaire disqus.
• Dorling Map Generator: production d'une Dorling Map (bulles) sous la forme d'un SVG.
• Expand Tiny Urls: dépliez des URLs raccourcies avec tinyurl.com ou bit.ly.
• Extract URLs: extrait les URLs d'un fichier Issuecrawler. Utile pour récupérer les points de départ et une liste propre des acteurs dans le réseau.
• Geo IP: traduit des URLs ou des adresses IP en positions géographiques.
• Github organizations meta-data lookup: extrait les métadonnées d'une organisation sur Github.
• Github repositories meta-data lookup: extrait les métadonnées d'un répertoire sur Github.
• Github repositories scraper: récupère les forks d'un répertoire github
• Github scraper: scrape Github pour les interactions entre utilisateurs et les relations utilisateur-répertoire
• Github user meta-data lookup: extrait les métadonnées d'un utilisateur sur Github
• GithubContributorsScraper: découvre quels utilisateurs ont contribué au code source d'un répertoire github.
• Google Autocomplete: récupère les suggestions d'autocomplétion de Google.
• Google Image Scraper: lance une requête sur images.google.com avec un ou plus mots-clés
• Google Play Similar Apps: DMI Google Play Similar Apps est outil d'extraction des détails d'une application Google Play, et de collecte des apps "similaires".
• Google Reverse Image scraper: scrapez Google pour trouver les occurences d'une image
• Googlescraper (Lippmannian Device): requêtes en bloc pour Google.
• Harvester: extrayez les URLs d'un texte. Produit une liste d'URLs propre.
• Image Scraper: Scrape les images d'une page donnée.
• Instagram Scraper: récupère les images Instagram pour un hashtag, lieu ou utilisateur.
• Internet Archive Wayback Machine Link Ripper: scrape les liens de la Wayback Machine.
• Internet Archive Wayback Machine Network Per Year: entrez un ensemble d'URLs et les versions archivées les plus proches sont récupérées. Produit un fichier de réseau à partir des liens.
• Issue Dramaturg: Entrez jusqu'à 3 URLs et un mot clé. L'outil récupère les pageranks google des URLs à travers le temps. 
• Issue Geographer: géolocalise les organisations d'une carte IssueCrawler (en utilisant whois), et visualise l'implantation sur une carte géographique.
• Issuecrawler: entrez des URLs et l'Issue Crawler fait une analyse de liens communs, produisant un cluster graph.
• Itunes Store: analysez l'iTunes store
• Language Detection: détectez les langages d'une série d'URLs.
• Link Ripper: capturez tous les liens internes et/ou externes d'une page.
• Lippmannian Device: détection de la partisanerie d'un acteur.
• Lippmannian Device To Gephi: cet outil permet de visualiser les résultats du Lippmannian Device sous la forme d'un réseau Gephi.
• Netvizz: extrait différentes données de Facebook.
• News Agencies Scraper: scrapez diverses agences de presses à la recherche de mots clés particuliers.
• Ranked Deep Pages from Core Issue Crawler Network: entrez un fichier XML Issuecrawler et ce script extraira toutes les pages de la composante principale du réseau et les ordonnera pas nombre de liens entrants.
• Raw Text to Tag Cloud Engine: prend un texte brut, compte les mots, et retour un tag cloud.
• Rip Sentences: extrayez le texte d'une page spécifique et forcez les sauts de lignes entre les phrases.
• Robots.txt Discovery: affichez les indications d'indexation d'un site
• Screenshot generator: produisez des captures d'écran à partir d'une liste d'URLs.
• Search Engine Scraper: scrapez un moteur de recherche
• Source Code Search: chargez une URLs et recherchez des patterns dans le code source de la page.
• TLD counts: entrez des URLs, et comptez les domaines de niveau maximal (top level domains)
• Tag Cloud Combinator: combinez plusieurs tag clouds en sommant les valeurs de chaque clé commune.
• Tag Cloud Generator: produisez un tag cloud en SVG.
• Tag Cloud HTML Generator: produisez un tag cloud en HTML.
• Tag Cloud To Wordle: cet outil permet de transformer un nuauge de tags en un nuage Wordle.
• Text Ripper: extraire tout le texte d'une page spécifique.
• Timestamp Ripper: affiche la date de dernière modification d'une page web (en utilisant le Header HTML). Attention aux pages générées dynamiquement, pour lesquelles la date est celle de l'heure de récupération.
• Tracker Tracker: DMI App Tracker Tracker est un outil pour détecter dans un ensemble d'URLs les empreintes de technologies de traquage web.
• Triangulation: entrez deux ou plus listes d'URLs pour découvrir leurs points communs. Les visualisations possibles incluent un diagramme de Venn.
• Tumblr: un simple outil d'analyse de co-hashtags pour tumblr
• Twitter Capture and Analysis Toolset (DMI-TCAT): capture les tweets et permet des analyses multiples (hashtags, mentions, users, search, ...)
• Wikipedia Cross-Lingual Image Analysis: rend comparables les images de toutes les traductions d'un article wikipedia
• Wikipedia Edits Scraper and IP Localizer: scrapez l'historique wikipedia et géolocalisez les édits anonymes.
• Wikipedia Entry Check: cet outil vérifie si des termes existent sous la forme d'articles wikipedia. 
• Wikipedia History Flow Companion: ce script vous permet de spécifier un intervalle de révisions Wikipedia à utiliser avec la visualisation History Flow.
• Wikipedia TOC Scraper: scrappez la table des révisions d'une page wikipedia et explorez les résultats.
• Wikipedia categories scraper: scrapez les catégories d'un article Wikipedia et les catégories des articles apparentés dans différentes langues.
• YouTube Data Tools: une collection d'outils simples pour extraire les données de la plateforme Youtube.