J’ai référé ce tutoriel ( http://wiki.apache.org/nutch/Nutch2Tutorial ) pour configurer Nutch 2.2.1.with Hbase. J’ai terminé l’installation comme indiqué dans le didacticiel, mais la procédure d’exploration et de stockage des données dans les tables Hbase n’est pas clairement mentionnée. Pouvez-vous s’il vous plaît me référer à certains liens / livres pertinents pour la même chose?
Mon objective est de construire un système de recommandation et après avoir parcouru de nombreux articles, je suis tombé sur Mahout comme un moyen simple mais efficace de continuer. J’ai déjà installé XAMPP sur mon système. Comment puis-je installer Mahout? J’ai besoin des instructions complètes car je n’ai jamais travaillé avec cygwin auparavant, ni avec […]
l’exemple de code est ici http://wiki.apache.org/hadoop/WordCount Je comprends la logique, cependant, j’ai remarqué que dans la fonction principale, elle ne spécifie que les chemins d’entrée et de sortie, mais elle ne spécifie jamais quelle est la clé et la valeur. Comment la carte et sa fonction réduisent-elles cela? public void map(LongWritable key, Text value, Context […]
J’ai un problème pour comprendre la véritable signification de ce code Apache Hive. Quelqu’un peut-il m’expliquer si ce code fait vraiment quelque chose? ALTER TABLE a RENAME TO a_tmp; DROP TABLE a; CREATE TABLE a AS SELECT * FROM a_tmp;
J’ai installé Hadoop1.2.1 dans Windows avec CYGWIN installé. J’ai commencé le service sshd. Également lancé namenode, datanode, mapreduce (suivi des tâches, suivi des tâches). Je peux voir l’état d’exécution de namenode, datanode et mapreduce via les URL suivantes. Lorsque j’essaie de connecter le hadoop via eclipse, je peux le faire. Bien que j’ai pu connecter […]
Nous avons un produit qui est décrit dans certains fichiers Docker, qui peuvent créer les conteneurs Docker nécessaires. Certains conteneurs docker exécutent simplement des applications de base, tandis que d’autres conteneurs exécutent des clusters (hadoop). Maintenant, la question de savoir quel gestionnaire de cluster je dois utiliser. Kubernetes ou Apache mesos ou les deux? Je […]
Comment gérer l’équilibrage de charge dans Hadoop mapreduce? J’écris une application dissortingbuée dans laquelle le serveur dissortingbue des tâches à des nœuds de travail sur la base d’un test de performances, de la mémoire disponible, du nombre de cœurs de processeur, de l’utilisation du processeur, du nombre de GPU disponibles / utilisables? Je n’ai pas […]
Je veux connaître la différence détaillée entre mapreduce 1 et mapreduce2. Qu’est-ce que l’inclusion de YARN ajoute à Hadoop? Je suis un débutant qui veut apprendre Apache Hadoop. Quelqu’un peut-il suggérer par où commencer? Aussi, quelle est la configuration de cluster de Hadoop. Merci pour votre aide.
Dans l’ancienne version de la bibliothèque hadoop (par exemple, org.apache.hadoop.mapred.lib), il existe une implémentation de base de Mapper appelée IdentityMapper , qui transmet essentiellement toutes les paires clé-valeur à un réducteur. Cependant, je n’ai trouvé dans la nouvelle version de la bibliothèque hadoop (org.apache.hadoop.mapreduce.lib) aucune classe appelée IdentityMapper (toutes les sous-classes de Mapper peuvent être […]
Solution: Utilisez un meilleur tutoriel – http://hadoop.apache.org/mapreduce/docs/r0.22.0/mapred_tutorial.html Je viens de commencer à travailler avec MapReduce, et je suis confronté à un bogue étrange auquel je n’ai pas pu répondre via Google. Je fais un programme WordCount de base, mais quand je le lance, j’obtiens l’erreur suivante lors de la réduction: java.lang.RuntimeException: java.lang.NoSuchMethodException: org.apache.hadoop.mapred.Reducer.() at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:115) […]