Améliorer l’efficacité d’un programme de sorting; affichage du sorting de la colonne% d’achèvement dans le terminal

J’ai un grand fichier d’entrée délimité par des tuyaux d’environ 6 millions de lignes, comme ci-dessous:

24|BBG000SJFVB0|EQ0000000009296012|OI SA-ADR|OIBR/C|US|ADR|Equity 16|BBG002PHVB83|EQ0000000022353186|BLOOM SELECT INCOME FUND|BLB-U|CT|Closed-End Fund|Equity -50|BBG000V0TN75|EQ0000000010271114|MECHEL-PREF SPON ADR|MTL/P|US|ADR|Equity 20|BBG002S0ZR60|EQ0000000022739316|DIVIDEND 15 SPLIT CORP II-RT|DF-R|CT|Closed-End Fund|Equity -20|BBG001R3LGM8|EQ0000000017879513|ING FLOATING RATE SENIOR LOA|ISL/U|CT|Closed-End Fund|Equity 0|BBG006M6SXL2|EQ0000000006846232|AA PLC|AA/|LN|Common Stock|Equity 

Les exigences sont comme ci-dessous:
1. Je dois sortinger ce fichier d’entrée par 1ère colonne puis 2ème colonne et ensuite 2ème dernière colonne dans cet ordre
2. Affichage du% d’achèvement du sorting dans le terminal / la console pour, par exemple, “colonne 2 sorting 75%”
3. enfin la sortie dans un fichier séparé.

J’ai écrit le programme ci-dessous qui sortinge parfaitement par 1ère colonne. Mais comment intégrer toutes les autres conditions? De plus, cela prend maintenant un peu plus de temps à courir. Y a-t-il une manière plus efficace et plus propre de le faire? La seule chose est que nous ne pouvons pas utiliser de paquetage externe supplémentaire de CPAN. Les solutions Unix comme l’utilisation de SED / AWK sont correctes, mais Perl est préférable.Je viens de savoir que Python intégré est également disponible pour que cette solution soit également la bienvenue.

 my (%link_strength); {$data="datascope_input.txt"; $out="sort_file.txt"; open (my $indata , '', $out)|| die "could not open $out :\n$!"; select $outdata; my @array=(); for (@array){ $link_strength{$1}=$_ if /(?:[^|]+\|){0}([^|]+)/; } print $link_strength{$_} for (sort {$a$b} keys %link_strength); close ($outdata); close ($indata); } 

• Comment empêcher les impressions de threads Perl d’intercepter?
• Le script bash contient du code perl – et s’exécute sur Python
• Comment convertir un NULL ASCII (NUL) en un seul espace dans un fichier texte en utilisant la commande Unix?
• Comment puis-je définir une tâche cron avec la date d’hier dans Solaris?
• bc dans perl ne parvient pas à aller de l’avant

• Diviser les fichiers XML volumineux en fichiers plus petits basés sur des fragments de nœuds enfants utilisant un script unix
• Vous souhaitez modifier un fichier en place (remplacez une valeur de colonne) en fonction d’une valeur dans une autre colonne du même fichier
• trouver des milliers de fichiers dans un modèle de répertoire en Perl
• Extraire une sous-chaîne d’un fichier texte en utilisant un argument positionnel
• Extraire certains motifs du journal

 pv -p your_file.dat | sort -t'|' -k '1n,1' -k '2d,2' -k '14,14' 

 use ssortingct; sub main { open F, 'input.txt' or die $!; my @pairs; while () { my @fields = split(/\|/); my $key = [ @fields[0, 1, -2] ]; push @pairs, [$key, $_]; } close F; my @sorted_pairs = sort { my $a_key = $a->[0]; my $b_key = $b->[0]; $a_key->[0] <=> $b_key->[0] || $a_key->[1] cmp $b_key->[1] || $a_key->[2] cmp $b_key->[2] } @pairs; foreach my $pair (@sorted_pairs) { print $pair->[1]; } } main;