Articles of hive

Unix Shell Script comme UDF pour Pig and Hive

Peut-on utiliser un script shell unix au lieu d’utiliser (Java ou Python) pour User Defined dans Apache Pig and Hive? Si c’est possible, comment pouvons-nous mentionner dans le script Hive Query ou Pig?

Exporter plusieurs sorties de requêtes dans la même session hive vers un script shell?

Existe-t-il un moyen d’exporter la sortie de plusieurs requêtes Hive dans la CLI Hive vers le script shell? Actuellement, j’ai un script shell dans lequel il y a plusieurs requêtes de hive que je lance: VAR1=`hive -e “select count(*) from table1;”` VAR2=`hive -e “select count(*) from table2;”` VAR3=`hive -e “select count(*) from table3;”` Cela exécutera […]

Script shell pour exécuter les requêtes HiveQL

Je suis nouveau dans le monde des scripts Unix Shell. Je voulais lancer une simple requête SQL à partir du script shell unix et sortir le résultat dans un fichier .txt, puis envoyer ce fichier .txt en pièce jointe dans un courrier électronique. Requête SQL et redirect la sortie vers un fichier txt: SELECT count(*) […]

Hive Variable Substitution ne fonctionne pas à partir de la commande hive -e

J’essaie d’utiliser la variable Hive. Si je me connecte à Hive et utilise: hive > set a=test_table; hive > describe ${hiveconf:a}; Mais Même commande si essayer de Shell, il donne: Erreur d’parsing 1: 1 ne peut pas reconnaître l’entrée près de … $> hive -e “set a=test_table; describe ${hiveconf:a};” Parse Error 1:1 cannot recognize input […]

Longueur maximale de l’instruction select dans Hive

J’essaye de faire un select count(distinct(col_name1 )), count(distinct(col_name2 )), count(distinct(col_name3 )), ………. count(distinct(col_name804)) from tab_name; La requête ne semble pas s’exécuter sur la hive. Il génère une erreur d’exception de mémoire insuffisante. Y a-t-il une limite au nombre maximum de colonnes que la hive peut gérer? Ou toute aide sur la raison de l’erreur? Merci […]

Installer l’ancienne version de la hive avec infusion

Quand je fais un brew install hive J’installe 1.1.1. Existe-t-il un moyen d’installer les anciennes versions de Hive comme 1.0.1 en utilisant brew ou install hive en utilisant brew à partir d’une URL.

Comment donner une requête hive dans un fichier sperate pour chaque requête?

J’ai un fichier .sql dans lequel il y a des centaines de requêtes de hive et je veux que leur sortie dans plusieurs fichiers, comme pour la 1ère requête, le fichier abc.txt est créé pour la 2ème requête. Le fichier xyz.txt est créé et ainsi de suite …. pour 100 requêtes 100 fichiers de sortie […]

hive time_stamp convertir en UTC avec time_offset en UTC

J’ai 2 colonnes: time_stamp et time_offset. Les deux sont du type de données STRING . Comment pouvons-nous convertir une valeur de colonne en UTC à l’aide de la deuxième colonne qui est en UTC? Est-ce leur solution de hive ou d’unix pour convertir la colonne time_stamp en UTC? hive> select time_stamp from table1 limit 2; […]

Trouver le numéro de port et le nom de domaine à connecter à la table de hive

Je suis nouveau sur Hive, MapReduce et Hadoop. J’utilise Putty pour me connecter à la table de la hive et accéder aux enregistrements dans les tables. Donc ce que j’ai fait, c’est – j’ai ouvert Putty et dans le nom d’hôte que j’ai tapé – vip.host.com , puis j’ai cliqué sur Open . Et puis […]

Date de passage du script shell à la requête

Voici mon script shell à partir duquel j’exécute ma requête Hive. En cela, je calcule la date d’hier et je passe cette date d’hier dans la clause where. Mais cette requête ne fonctionne pas pour moi. #!/bin/bash DATE_YEST=`TZ=GMT+48 date +%Y%m%d` echo $DATE_YEST hive -S -e ‘SELECT * FROM PDS_ATTRIBUTE_DATA_REALTIME WHERE dt=$DATE_YEST’ Je lance le script […]