Articles of hadoop

Erreur CMake lors de l’installation de Hadoop 2.7.1 sur Windows 7 SP1

J’essaie d’installer Hadoop 2.7.1 sur Windows 7 SP1 (ordinateur 64 bits) Le build commence OK et puis je reçois une erreur (indiquée ci-dessous) qui semble indiquer que CMake est mal configuré. Cela me laisse un peu perplexe car (1) je n’ai aucune expérience dans la compilation d’éléments non-Java et (2) le processus d’installation de CMake […]

Cluster Hadoop avec Ubuntu et Windows

J’ai trois ordinateurs portables (avec Ubuntu) que je mets en réseau pour agir en tant que cluster pour hadoop. J’ai aussi une machine Windows uniquement, est-il possible de l’append au cluster et de le faire fonctionner comme un nœud? Est-ce faisable? Quelqu’un at-il rencontré un tel problème?

hadoop WARN util.NativeCodeLoader: Impossible de charger la bibliothèque native-hadoop pour votre plate-forme … en utilisant les classes Java intégrées, le cas échéant

En cours d’exécution de hadoop sur Windows 7 64 bits, je me suis retrouvé bloqué sur ceci: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable WARN common.Util: Path /hadoop-2.6.5/data/namenode should be specified as a URI in configuration files. Please update hdfs configuration. WARN common.Util: Path /hadoop-2.6.5/data/namenode should be […]

Installer Hadoop sur Windows 7 avec un processeur 32 bits?

J’ai une machine 32 bits avec Windows 7, j’ai besoin d’installer hadoop et de l’essayer, j’ai vérifié la dissortingbution Cloudera et c’est pour les images Linux, VMWare avec processeur 64 bits. Comment installer Hadoop sur Windows 7 avec un processeur 32 bits?

La définition de hadoop.tmp.dir sous Windows donne une erreur: l’URI a un composant autorité

J’essaie de spécifier le répertoire de base pour les fichiers HDFS dans mon hdfs-site.xml sous Windows 7 (Hadoop 2.7.1 que j’ai construit à partir du code source, en utilisant Java SDK 1.8.0_45 et Windows SDK 7.1). Je ne peux pas comprendre comment fournir un chemin qui spécifie un lecteur. Mon hdfs-site.xml ressemble à ceci: dfs.replication […]

Hadoop sur Windows

Je suis un utilisateur de Microsoft Windows et nouveau sur Apache Hadoop. La plupart des tutoriels Hadoop que j’ai trouvés sont basés sur Linux, donc je trouve difficile d’apprendre Hadoop sous Windows. Tous les indicateurs pour apprendre Hadoop sous Windows seraient les meilleurs.

Hadoop Impossible de définir les permissions du chemin: \ tmp \

J’exécute (ou j’essaye de toute évidence) Hadoop 1.2.1 sur ma machine Windows à l’intérieur de cygwin. Malheureusement, il y a quelque chose qui ne va pas avec mon Hadoop. J’obtiens l’erreur suivante lorsque j’essaie d’exécuter un script Pig simple en mode local. Backend error message during job submission ——————————————- java.io.IOException: Failed to set permissions of […]

winutils.exe La commande chmod ne définit pas la permission

> D:\>echo %HADOOP_HOME% > D:\Apps\winutils\hadoop-2.7.1 Créez des dossiers tmp / hive sur le même disque que HADOOP_HOME D:\>dir tmp\hive Directory of D:\tmp\hive 06/13/2016 01:13 PM . 06/13/2016 01:13 PM .. 0 File(s) 0 bytes 2 Dir(s) 227,525,246,976 bytes free Essayez de déterminer quelle permission est définie D:\>winutils.exe ls \tmp\hive FindFileOwnerAndPermission error (1789): The trust relationship […]

Essayer d’exécuter un hadoop sur des fenêtres

J’essaie d’exécuter hadoop sur ma machine (Windows x64), mais j’obtiens cette erreur lors de la création des sources: [ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.3.0:protoc (comstack-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionExcepti on: ‘protoc –version’ did not return a version -> [Help 1] Comme suggéré dans la documentation et expliqué dans le fichier BUILDING.txt, dans mon PATH vble […]

Python Hadoop en streaming sur Windows, script pas une application Win32 valide

J’ai un problème pour exécuter mapreduce python sur Hadoop en utilisant Hadoop streaming.jar. J’utilise: Windows 10 64bit Python 3.6 et mon IDE est le spyder 3.2.6, Hadoop 2.3.0 jdk1.8.0_161 Je peux obtenir une réponse alors que mon code maperducec est écrit sur le langage java, mais mon problème est lorsque je veux mélanger des bibliothèques […]