1. médialab Sciences Po
  2. Productions
  3. xan

xanfait par le médialab

outil en ligne de commande pour efficacement traiter les fichiers CSV

Outils – Code

Andrew Gallant, Guillaume Plique, Laura Miguel, Béatrice Mazoyer, César Pichon, Anna Charles

xan est un outil en ligne de commande qui peut être utilisé pour traiter de gros fichiers CSV.

Résultat de la commande
Résultat de la commande "view" permettant de visualiser un fichier CSV dans le terminal

Cet outil est originellement un fork de xsv écrit originellement par Andrew Gallant (@BurntSushi) et forké par le laboratoire.

L'outil a été massivement réécrit et amélioré par les ingénieur·e·s du laboratoire afin de l'adapter à nos cas d'usage quotidiens.

Nous y avons, entre autres, ajouté un langage de script dynamique que l'on peut évaluer pour chacune des lignes d'un fichier, du tri externe, une lecture à l'envers efficace, la fusion de plusieurs fichiers ordonnés etc.

Etant donné que beaucoup de nos outils produisent et consomment des fichiers CSV, il était naturel pour nous de trouver un moyen de traiter ces fichiers plus rapidement et sans nécessiter de programmer des scripts dédiés.

Nous encourageons donc les gens devant traiter de gros fichiers CSV d'essayer notre fork de l'outil.

curation et traitement

développeur.e.s

utilisable

2022