Calculer Girl
  1. Calculer Girl
  3. Quel est le format d’encodage du journal d’access de nginx?
Intereting Posts
Impossible de visualiser les images locales avec Apache Renommage automatique des noms de fichiers linux en nouveaux noms de fichiers légaux dans Windows Affichage de l’arborescence des processus – tlist / tasklist Méthode multi-plateforme d’access au répertoire de configuration appeler Qprocess avec des arguments contenant des espaces – Windows Puis-je appeler une fonction d’un script shell à partir d’un autre script shell? Pièges logiciels vs pièges matériels Fuse ESB, fonctionnalité: erreur d’installation Détecter USB inséré sous Windows Comment diffuser de la vidéo à partir de mon site et jouer dans l’application app? Utilisation d’une variable globale dans une bibliothèque partagée Comment séparer les jetons en ligne avec Unix? L’exécution d’un programme C compilé ici provoque une erreur de bibliothèque GLIBC sur un autre serveur – est-ce ma faute ou la leur? Exécuter trois commandes sur une seule ligne de commande sous Linux Fichier de commandes Windows – fractionnement d’une chaîne pour définir des variables

Quel est le format d’encodage du journal d’access de nginx?

Quel est l’encodage de access.log de Nginx? J’essaie de parcourir le fichier, mais mon script déclenche une exception ” invalid byte sequence in UTF-8 ” lorsqu’il voit des requêtes sur mon serveur contenant des caractères chinois / thaïlandais.

Une requête de protocole HTTP est principalement ASCII, avec des champs de données autorisés à être des octets. Voir Quel encodage est utilisé par le protocole HTTP? .

Les journaux d’erreur et d’access de Nginx refléteront cela.

Mon expérience avec 450 000 enregistrements provenant d’un petit site nord-américain a révélé que tous les enregistrements sauf un étaient décodés en ASCII sans erreur. Cet enregistrement contenait 4 octets consécutifs (b ‘\ xb8E \ x8c \ xde’) qui étaient des UTF-8 non valides mais étaient des big5hkscs valides (codec de Python pour le chinois traditionnel) qui produisaient deux glyphes.

Voir Comment puis-je rechercher par programmation la liste des codecs connus de Python? obtenir une liste de noms de codec pour une attaque en force sur des bits non-ASCII.

Décoder les enregistrements de journaux binarys en ASCII, avec ‘?’ le remplacement des erreurs, était assez bon pour mes besoins.