Je veux le dernier dossier mis à jour de l’un de mes répertoires HDFS. J’ai pu obtenir le dernier fichier dans le système de fichiers hdfs, mais je ne savais pas comment le faire pour HDFS. J’ai essayé avec un script shell.
J’essaie de vérifier mon installation de hadoop. J’ai créé les variables d’environnement et quand j’appelle printenv , je vois mes variables HADOOP_HOME et PATH imprimées et correctes (respectivement home / hadoop et HADOOP_HOME / bin). Si je vais chez home / hadoop dans le terminal et que j’appelle ls , je vois le fichier hadoop. […]
J’ai installé avec succès Ubuntu 12.04 et hadoop 2.4.0. après avoir entré la commande jps, je trouve la sortie comme ci-dessous 4135 jps 2582 SeconadaryNameNode 3143 NodeManager 2394 Namenode 2391 Datanode 3021 ResourceManager Maintenant, je veux exécuter l’exemple wordcount. J’ai créé un fichier .txt avec du contenu maintenant chaque fois que j’essaie de copier ceci […]
J’ai écrit ce programme Java hadoop qui exécutera une indexation parallèle des fichiers. Le fichier a été créé dans eclipse package org.myorg; import java.io.*; import java.util.*; import org.apache.hadoop.fs.Path; import org.apache.hadoop.conf.*; import org.apache.hadoop.io.*; import org.apache.hadoop.mapred.*; import org.apache.hadoop.util.*; public class ParallelIndexation { public static class Map extends MapReduceBase implements Mapper { private final static IntWritable zero = […]
Dans mon projet, j’essaie de définir les parameters dans lesquels je peux mettre à jour les propriétés dynamics du serveur / de l’application sans même le redémarrer. Nous sums confrontés à ce problème que chaque fois que nous devons mettre à jour ou modifier certaines propriétés qui sont de nature dynamic, alors chaque fois que […]
Je suis un nouveau script shell. Je dois obtenir des données entre les comptages d’exécution et les correspondances automatiques à l’aide de scripts shell. Pour qu’il puisse être traité comme des données semi-structurées. s’il vous plaît conseil
Je suis un débutant à la fois sur Hadoop et sur Virtual Machine (VM). Je voudrais avoir un cluster Hadoop avec 4-5 nœuds. Ce que je comprends, c’est que chaque nœud est un matériel de base (PC sous Unix). Ma pensée est la suivante: est-il possible de créer 4 ou 5 machines virtuelles (VM) sur […]
Existe-t-il un moyen d’exporter la sortie de plusieurs requêtes Hive dans la CLI Hive vers le script shell? Actuellement, j’ai un script shell dans lequel il y a plusieurs requêtes de hive que je lance: VAR1=`hive -e “select count(*) from table1;”` VAR2=`hive -e “select count(*) from table2;”` VAR3=`hive -e “select count(*) from table3;”` Cela exécutera […]
Je copie un grand nombre de fichiers en utilisant la commande hadoop fs -get -p. Je veux conserver (horodatage, propriété) Beaucoup de fichiers ne peuvent pas conserver les permissions, car l’ID utilisateur n’est pas disponible sur la machine locale. Donc, pour ces fichiers, je reçois “get: chown: changer propriété /a/b/c.txt Opération non autorisée” Est-il possible […]
Je pense que c’est simple mais j’apprécierais vraiment votre aide. J’ai un fichier zip sur mon bureau Windows “RECEIPTS_LAB.zip” et je lance un sandbox hadoop sur vmware. Le bac à sable fait partie d’un cours de formation auquel je me suis inscrit avec mapr mais je suis un débutant et je ne sais pas comment […]