Articles of hadoop

Obtenir le dernier dossier mis à jour dans HDFS

Je veux le dernier dossier mis à jour de l’un de mes répertoires HDFS. J’ai pu obtenir le dernier fichier dans le système de fichiers hdfs, mais je ne savais pas comment le faire pour HDFS. J’ai essayé avec un script shell.

Ubuntu: commande hadoop introuvable

J’essaie de vérifier mon installation de hadoop. J’ai créé les variables d’environnement et quand j’appelle printenv , je vois mes variables HADOOP_HOME et PATH imprimées et correctes (respectivement home / hadoop et HADOOP_HOME / bin). Si je vais chez home / hadoop dans le terminal et que j’appelle ls , je vois le fichier hadoop. […]

Impossible de copier des fichiers du disque local vers HDFS

J’ai installé avec succès Ubuntu 12.04 et hadoop 2.4.0. après avoir entré la commande jps, je trouve la sortie comme ci-dessous 4135 jps 2582 SeconadaryNameNode 3143 NodeManager 2394 Namenode 2391 Datanode 3021 ResourceManager Maintenant, je veux exécuter l’exemple wordcount. J’ai créé un fichier .txt avec du contenu maintenant chaque fois que j’essaie de copier ceci […]

Erreur de compilation du programme java hadoop

J’ai écrit ce programme Java hadoop qui exécutera une indexation parallèle des fichiers. Le fichier a été créé dans eclipse package org.myorg; import java.io.*; import java.util.*; import org.apache.hadoop.fs.Path; import org.apache.hadoop.conf.*; import org.apache.hadoop.io.*; import org.apache.hadoop.mapred.*; import org.apache.hadoop.util.*; public class ParallelIndexation { public static class Map extends MapReduceBase implements Mapper { private final static IntWritable zero = […]

Outils utilisés pour mettre à jour les propriétés dynamics sans même redémarrer l’application / le serveur

Dans mon projet, j’essaie de définir les parameters dans lesquels je peux mettre à jour les propriétés dynamics du serveur / de l’application sans même le redémarrer. Nous sums confrontés à ce problème que chaque fois que nous devons mettre à jour ou modifier certaines propriétés qui sont de nature dynamic, alors chaque fois que […]

Fractionner les données à l’aide du shell

Je suis un nouveau script shell. Je dois obtenir des données entre les comptages d’exécution et les correspondances automatiques à l’aide de scripts shell. Pour qu’il puisse être traité comme des données semi-structurées. s’il vous plaît conseil

Utilisation de machines virtuelles sur un disque dur externe en tant que nœuds d’un cluster Hadoop

Je suis un débutant à la fois sur Hadoop et sur Virtual Machine (VM). Je voudrais avoir un cluster Hadoop avec 4-5 nœuds. Ce que je comprends, c’est que chaque nœud est un matériel de base (PC sous Unix). Ma pensée est la suivante: est-il possible de créer 4 ou 5 machines virtuelles (VM) sur […]

Exporter plusieurs sorties de requêtes dans la même session hive vers un script shell?

Existe-t-il un moyen d’exporter la sortie de plusieurs requêtes Hive dans la CLI Hive vers le script shell? Actuellement, j’ai un script shell dans lequel il y a plusieurs requêtes de hive que je lance: VAR1=`hive -e “select count(*) from table1;”` VAR2=`hive -e “select count(*) from table2;”` VAR3=`hive -e “select count(*) from table3;”` Cela exécutera […]

Supprimer les avertissements pour la commande hadoop fs -get -p

Je copie un grand nombre de fichiers en utilisant la commande hadoop fs -get -p. Je veux conserver (horodatage, propriété) Beaucoup de fichiers ne peuvent pas conserver les permissions, car l’ID utilisateur n’est pas disponible sur la machine locale. Donc, pour ces fichiers, je reçois “get: chown: changer propriété /a/b/c.txt Opération non autorisée” Est-il possible […]

Utiliser SCP pour déplacer un fichier du bureau Windows vers un sandbox hadoop sur vmware

Je pense que c’est simple mais j’apprécierais vraiment votre aide. J’ai un fichier zip sur mon bureau Windows “RECEIPTS_LAB.zip” et je lance un sandbox hadoop sur vmware. Le bac à sable fait partie d’un cours de formation auquel je me suis inscrit avec mapr mais je suis un débutant et je ne sais pas comment […]