xanfait par le médialab
outil en ligne de commande pour efficacement traiter les fichiers CSV
Outils – Code
Andrew Gallant, Guillaume Plique, Laura Miguel, Béatrice Mazoyer, César Pichon, Anna Charles
xan est un outil en ligne de commande qui peut être utilisé pour traiter de gros fichiers CSV.
Cet outil est originellement un fork de xsv écrit originellement par Andrew Gallant (@BurntSushi) et forké par le laboratoire.
L'outil a été massivement réécrit et amélioré par les ingénieur·e·s du laboratoire afin de l'adapter à nos cas d'usage quotidiens.
Nous y avons, entre autres, ajouté un langage de script dynamique que l'on peut évaluer pour chacune des lignes d'un fichier, du tri externe, une lecture à l'envers efficace, la fusion de plusieurs fichiers ordonnés etc.
Etant donné que beaucoup de nos outils produisent et consomment des fichiers CSV, il était naturel pour nous de trouver un moyen de traiter ces fichiers plus rapidement et sans nécessiter de programmer des scripts dédiés.
Nous encourageons donc les gens devant traiter de gros fichiers CSV d'essayer notre fork de l'outil.
curation et traitement
développeur.e.s
utilisable
2022