J’utilise un format de sortie multi-texte pour créer plusieurs fichiers d’un seul fichier, c’est-à-dire chaque ligne sur un nouveau fichier. Ceci est mon code: public class MOFExample extends Configured implements Tool { private static double count = 0; static class KeyBasedMultipleTextOutputFormat extends MultipleTextOutputFormat { @Override protected Ssortingng generateFileNameForKeyValue(Text key, Text value, Ssortingng name) { return […]
Est-ce qu’Apache Atlas prend en charge les balises pour Spark, Pig et Sqoop? Si Atlas supporte Pig, Sqoop & Spark, y a-t-il un type de personnalisation? que nous devons effectuer pour le faire fonctionner Atlas. D’où pouvons-nous obtenir le processus exact si nous voulons mettre en œuvre ce qui précède Composants Hadoop avec Atlas. Où […]
Dans l’opération de put dans HBase, il y a deux types qui sont addImmutable () et addColumn () . Quelle est la différence entre ces deux? Est immuable peut être mise à jour / écraser?
J’essaie d’installer Hbase (hbase-0.94.8) dans l’environnement Ubuntu 12.04. J’ai suivi exactement les mêmes étapes données dans cette page http://hbase.apache.org/book/quickstart.html Je peux lancer Hbase et entrer dans shell, mais quand je tape “créer” test “,” cf “” depuis le shell, les ERREURS suivantes ont été lancées hbase(main):001:0> create ‘test’, ‘cf’ 13/06/11 13:01:40 ERROR client.HConnectionManager$HConnectionImplementation: Check the […]
Je gère un cluster de cinq Cubieboards, des cartes ARM de type RaspberryPi avec (à cause de 32 bits) Hadoop 1.2.1 installé dessus. Il y a un nœud de nom et quatre nœuds esclaves. Pour mon dernier article, je souhaitais installer Apache Nutch 1.9 et Solr pour une parsing Big Data. J’ai fait la configuration […]
Je sais que $HADOOP_COMMON_HOME devrait être défini sur le chemin racine du répertoire Hadoop , mais quelle est la valeur de $HADOOP_HDFS_HOME , est-ce la même chose? Quelle est la valeur devrait-il être?
J’utilise hive 1.0.0 et apache tez 0.4.1 Lorsque je configure hive pour utiliser tez, je reçois une exception. Dans hive-site.xml lorsque la valeur de hive.execution.engine est mr fonctionne correctement . Mais si je le mets à tez j’obtiens cette erreur: Exception in thread “main” java.lang.NoSuchMethodError: org.apache.tez.mapreduce.hadoop.MRHelpers.updateEnvBasedOnMRAMEnv(Lorg/apache/hadoop/conf/Configuration;Ljava/util/Map;)V at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.open(TezSessionState.java:169) at org.apache.hadoop.hive.ql.exec.tez.TezSessionState.open(TezSessionState.java:122) at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:454) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:626) at […]
HI Vous cherchez des API pour écrire des parquest avec Pojos que j’ai. J’ai pu générer un schéma d’avro en utilisant la reflection, puis créer un schéma de parquet à l’aide d’AvroSchemaConverter. De plus, je ne suis pas en mesure de trouver un moyen de convertir Pojos en GenericRecords (avro), sinon j’aurais pu utiliser AvroParquetWriter […]
Je reçois LeaseExpiredException dans le cluster hadoop – tail -f /var/log/hadoop-hdfs/hadoop-hdfs-namenode-ip-172-30-2-148.log 2016-09-21 11: 54: 14,533 INFO BlockStateChange (gestionnaire de serveur IPC 10 sur 8020): BLOCK * InvalidateBlocks: ajoute blk_1073747501_6677 à 172.30.2.189:50010 2016-09-21 11: 54: 14,534 INFO org.apache.hadoop. ipc.Server (gestionnaire de serveur IPC 31 sur 8020): gestionnaire de serveur IPC 31 sur 8020, appelez org.apache.hadoop.hdfs.protocol.ClientProtocol.complete à […]
J’ai configuré apache Nutch 2.3.1 avec un cluster à nœud unique (Hadoop 2.7.x et hbase 1.2.6). Je dois vérifier sa fonctionnalité de sharepoint contrôle. Selon mes informations, la reprise est disponible dans Fetch et parse. Je suppose qu’à tout moment pendant la récupération (ou l’parsing), mon cluster complet tombe en panne à cause d’un problème, […]