Calculer Girl
  1. Calculer Girl
  3. Python sur Ubuntu: comment détecter les exceptions de mémoire?
Intereting Posts
Comment personnaliser l’écran de connexion pour Windows Vista & 7? Une application peut-elle dépendre de deux versions différentes de libstdc ++? Quelle est la différence entre l’appel système et l’appel de bibliothèque? redirection htaccess avec le point d’interrogation Erreur lors de la compilation de gcc-2.7.2.3 Comment installer le SDK dotnet sur Ubuntu 16.04 LTS La bibliothèque Windows C Runtime ne se lie pas comme prévu? Limite de la longueur du nom de fichier en bash Goulot d’étranglement de la bibliothèque partagée sur la machine NUMA Fichiers de ressources Qt avec CMake et AUTORCC Comment utiliser VIM pour mémoriser les fichiers ouverts entre les sessions? Impossible d’accéder au site en utilisant un proxy où DSN fichier ODBC dans Windows Vista Navigation au clavier de type textmate pour la ligne de commande? Avertissement IE9 SmartScreen, malgré toutes les recommandations suivantes

Python sur Ubuntu: comment détecter les exceptions de mémoire?

J’ai le bloc suivant dans mon script python qui s’exécute sur une instance Ubuntu AWS EC2: 

try: data = json.loads(line) # further processing of data except Exception, e: # something went bad

line est une chaîne issue d’un fichier texte. Dans la plupart des cas, il est traité correctement. De temps en temps, je reçois des lignes énormes. Dans ce cas, le script meurt (“-9”) et dmesg -T affiche un message similaire à [Tue Jan 8 16:10:48 2013] Out of memory: Kill process 13609 (python) score 910 or sacrifice child

Ce que je ne comprends pas, c’est pourquoi au lieu de planter, il ne détecte aucune exception dans le bloc try-except . Et est-il possible de faire des changements dans ce bloc pour que le script ne plante pas mais soulève des exceptions? THX

Votre processus Python est en train d’être tué par le killer (hors mémoire) du kernel ( docs ). Cela tue Python avec SIGKILL , donc Python n’a aucune chance de répondre à cet événement … il n’est donc pas capable de générer des exceptions pour votre code.

Vous devrez peut-être exécuter votre processus dans un environnement avec plus de ressources (afin de ne pas utiliser un pourcentage aussi élevé de mémoire système), ou vous devrez peut-être limiter la taille des données JSON que vous pourrez lire.

Un des liens que j’ai posté ci-dessous mentionne ijson , qui est un parsingur JSON itératif. Cela pourrait être plus efficace en termes de mémoire que les parsingurs JSON standard, mais je ne l’ai pas essayé.