Calculer Girl
  1. Calculer Girl
  3. Correction de l’encodage du fichier texte codé de manière incohérente
Intereting Posts
UnicodeEncodeError: le codec ‘ascii’ ne peut pas encoder le caractère Quelle est la taille (en octets) d’une demande de connexion SSH? En utilisant Netbeans 8.0.2 et que vous souhaitez utiliser org.apache.commons.io.FileUtils; Comment? Passer les parameters $ _GET à cron job Comment démarrer une nouvelle ligne avec Emacs besoin de rendre le mot de passe moins login pour le même serveur Linux avec le même utilisateur Connectez et exécutez les commandes unix sur le serveur distant Progress Openedge Supprimer le point final du numéro et supprimer les parenthèses autour des nombres en utilisant sed Grep: / proc / sysrq-sortinggger: erreur d’entrée / sortie Comment gérer les parameters de caractères ASCII non imprimables? Utiliser un sous-processus pour exécuter un script Python sous Windows problèmes d’permissions de processus de serveur Web sur le vagrant + nginx + php fpm Comment supprimer un paragraphe à l’aide de XWPF – Apache POI Utiliser curl pour envoyer un email Un moyen d’exécuter des commandes shell sur Android par programme?

Correction de l’encodage du fichier texte codé de manière incohérente

J’ai un long fichier texte qui utilise des codages apparemment différents dans les blocs de texte suivants (iso ou utf-8). C’est le résultat de l’ajout de texte en utilisant >> file.bib et de copier et coller à partir de différentes sources (pages Web).

Les blocs peuvent en principe être distingués car ce sont des entrées bibtex 

  @article{key, author={lastname, firstname}, ...}

Je voudrais le convertir en un fichier cohérent utf-8 car il semble planter mon visualiseur bibtex (kbibtex). Je sais que je peux utiliser iconv pour convertir l’encodage de fichiers entiers, mais j’aimerais savoir s’il existe un moyen de réparer mon fichier sans corrompre certaines entrées.

Si vous pouvez assumer un codage uniforme pour chaque ligne ET vous connaissez le codage alternatif: 

 #!/usr/bin/perl use Encode; while(<>) { my $line; eval { $line=Encode::decode_utf8( $_ ); } if ($@) $line=Encode::decode( 'iso-8859-1', $_ ); #not UTF-8 # Now $line is UNICODE.Do something to it }

Vous pouvez toujours faire la même chose avec des mots si les lignes sont mixtes, mais vous savez toujours quel est le codage alternatif. Si vous ne connaissez pas le codage alternatif, ou si vous en avez plus d’un, vous devez utiliser une bibliothèque de devinettes, ce qui peut s’avérer erroné.

J’utilise vim pour cela, mais je suppose que cela peut être fait dans n’importe quel éditeur.

  • Sélectionnez (décalage + v) un bloc de texte sur lequel vous souhaitez modifier l’encodage.

  • type:! enca -L lang – (remplacez ‘lang’ par votre langue, j’utilise ‘enca -L cs’. L’utilitaire enca devrait alors vous indiquer le codage le plus probable du bloc sélectionné)

  • appuyez sur u (afin de défaire la réponse de enca apparaissant dans votre texte)

  • sélectionnez à nouveau le bloc, cette fois-ci en cours d’exécution:! iconv -f determination_encoding -t UTF-8

Notez que vim se développe automatiquement en pressant: sur: \ <,> lorsque vous êtes en mode visuel, ce qui est exactement ce que vous voulez pour exécuter des programmes sur des blocs de texte.