Hive shell se lance mais à chaque fois que je frappe une commande en shell, dites hive> afficher les bases de données; Je reçois l’erreur suivante: FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: impossible d’instancier org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient Mon JPS est comme ça: /apache-hive-2.3.0-bin/conf$ jps 3779 ResourceManager 3540 SecondaryNameNode 3909 NodeManager 3384 DataNode 6856 jps 3257 NameNode je reçois ce […]
J’ai des fichiers orc dans le chemin externe de la table Hive ORC. Je souhaite fusionner les fichiers ORC de ce chemin vers un seul fichier à l’aide de l’API Orc Core: public static List mergeFiles(Path outputPath, OrcFile.WriterOptions options, List inputFiles) throws IOException Merges multiple ORC files that all have the same schema to produce […]
Je développe Map / Reduce avec Hadoop. Mon programme pilote envoie un travail MapReduce (avec une carte et une tâche de réduction) au suivi de tâche de Hadoop. J’ai deux questions: a) Ma carte ou ma tâche de réduction peut-elle soumettre un autre travail MapReduce? (avec le même cluster Hadoop et le même Job Tracker). […]
Je voudrais obtenir des informations sur toutes les tentatives de tâche d’une tâche d’un travail sur Hadoop. org.apache.hadoop.mapred.TaskReport donne des informations sur les tentatives en cours et les tentatives réussies, mais j’aimerais aussi obtenir celles qui ont échoué ou ont été tuées. Une belle façon de faire ça? Merci!
J’exécute un cluster cloudera dans 3 machines virtuelles et j’essaie d’exécuter le chargement en bloc de base via un travail de réduction de carte. Mais j’ai toujours l’erreur: error: Class org.apache.hadoop.hbase.mapreduce.HFileOutputFormat not found Il semble donc que le processus cartographique ne trouve pas la classe. J’ai donc essayé ceci: 1) append le fichier hbase.jar au […]
J’utilise un code Accumulo de base du manuel d’utilisation qui présente cette erreur. Une simple recherche sur Google n’a rien apporté d’utile. ERREUR org.apache.accumulo.core.client.AccumuloException: org.apache.thrift.TApplicationException: Invalid method name: ‘authenticate’ at org.apache.accumulo.core.client.impl.ServerClient.execute(ServerClient.java:77) at org.apache.accumulo.core.client.impl.ConnectorImpl.(ConnectorImpl.java:67) at org.apache.accumulo.core.client.ZooKeeperInstance.getConnector(ZooKeeperInstance.java:215) at org.apache.accumulo.core.client.ZooKeeperInstance.getConnector(ZooKeeperInstance.java:221) at AccumuloTest.main(AccumuloTest.java:21) CODE LOG 13/09/01 15:21:38 INFO zookeeper.ZooKeeper: Initiating client connection, connectSsortingng=192.168.1.2 sessionTimeout=30000 watcher=org.apache.accumulo.fate.zookeeper.ZooSession$ZooWatcher@76caf6c1 13/09/01 15:21:38 INFO zookeeper.ClientCnxn: […]
Il existe un outil appelé Avro-Tools qui est livré avec Avro et qui peut être utilisé pour convertir des formats JSON, Avro-Schema (.avsc) et binarys. Mais cela ne fonctionne pas avec des références circulaires. Nous avons deux fichiers: circular.avsc (généré par Avro) circular.json (généré par Jackson car il a une référence circulaire et Avro n’aime […]
J’ai créé un programme de mapreduce pour prendre des données indicasortingces mondiales pour montrer les résultats de l’indicateur spécifique que je voulais parsingr. (IE émissions de CO2). Les données sont disposées dans une longue ligne qui inclut le pays, le code, l’indicateur, l’année 1, l’émission 2, etc. Dans mon mappeur, j’ai essayé de conserver uniquement […]
Salut, j’ai peu de doutes quant à la configuration du canal pour l’parsing des journaux à partir des serveurs de production de journaux multisource J’ai 2 serveurs Apache fonctionnant sur des serveurs Linux. et un nœud s’exécute avec HDFS avec tous les démons s’exécutant dans le même nœud. Dans quel (s) noeud (s) il faut […]
Récemment, je lance des tests pour en savoir plus sur le mécanisme de basculement dans Giraph. En fait, je suis curieux; lorsqu’un travailleur dans un emploi ralentit, les autres travailleurs l’attendent. Plus tard, j’ai trouvé quelque chose comme ça dans GiraphJob.java : // Speculative execution doesn’t make sense for Giraph giraphConfiguration.setBoolean(“mapred.map.tasks.speculative.execution”, false); Est-ce que quelqu’un […]