Optimisation de l’espace pour la commande sort-m UNIX?

J’essaie d’exécuter un test de permutation, qui consiste à fusionner un millier de très gros fichiers pré-sortingés en un méga fichier sortingé.

L’exécution actuelle comporte des fichiers encore plus volumineux que ceux que je fusionne habituellement (de 68 à 106 Mo chacun).

Je n’ai pas assez d’espace disque pour les entrées, les intermédiaires temporaires et les sorties en même temps. Est-il possible de fusionner de manière destructive tous ces fichiers en utilisant le sort ?

Voici la commande que j’utilise actuellement:

• Comment déterminer l’heure à laquelle un fichier a été modifié au format datetime
• Comment récupérer les parameters spécifiés dans un fichier (Shell Scripting)?
• grep exact match entier
• apache ab en boucle
• unix join, en essayant de faire une jointure externe

 sort -T /media/WD_Book/tmp --compress-program=gzip -g -k 6 -m *.rand.tab > /media/WD_Book/output/merged.rand.tab 

(Les fichiers sont numérotés 0001.rand.tab à 1000.rand.tab et la clé de sorting est en notation exponentielle dans la 6ème colonne [donc -k 6 et -g ].)

Je sais qu’il est possible d’exécuter un sort sans fusion, mais la page de manuel précise qu’elle ne fonctionnera pas pour -m .

• Expression non évaluée en script shell
• alias de base pour le littéral de citation
• Programme Bash Loop
• pattern matching sur les grumes d’Oozie
• Remplacer un chemin exécutable par une variable?

 touch merged.rand.tab # Create a zero-sized result file for file in [0-9]*.rand.tab; do sort -k 6 -g -m merged.rand.tab $file > result.rand.tab rm -f merged.rand.tab mv result.rand.tab merged.rand.tab # you can rm $file if space is really scarce. done