Calculer Girl
  1. Calculer Girl
  3. BigQuery Load échoue sur un fichier CSV plus volumineux
Intereting Posts
erreur de complication en ligne de commande Problèmes avec l’éditeur lorsque je m’engage Comment apache exécute PHP pour les pages Comment dissortingbuer les modules du kernel en utilisant un RPM? Comment installer un paquet PEAR sur WAMP, Windows 7? QApplication: Pas de fichier ou répertoire avec Qt5 et qtsingleapplication sur Windows Taille du fichier exe vs mémoire disponible Valider les fichiers modifiés uniquement en utilisant subversion Quel est le moyen le plus rapide et le plus efficace de stocker et d’extraire des images lorsque des millions d’utilisateurs utilisent un serveur LAMP? choisir le serveur http pour python api Comment détecter ce processus de premier plan en attente de saisie dans UNIX? Bash: tuer tous les processus dans le sous-processus Installer svn: erreur après avoir redémarré apache Vignettes vidéo Python mais avec des bibliothèques facilement disponibles (pas de PyMedia!) Comment puis-je exécuter un exécutable à partir de la RAM en utilisant C ++?

BigQuery Load échoue sur un fichier CSV plus volumineux

J’ai un problème avec le chargement de fichiers plus volumineux sur Google BigQuery. Le problème est que lorsque je charge le fichier moins de 1000 lignes, il se charge sans erreur, mais lorsque je charge plus de 10000 lignes de fichier, je reçois une erreur de chargement. 

BigQuery error in load operation: Error processing job '......': Too many errors encountered.

Le travail consiste à exporter des données depuis Redshift et à les charger dans BigQuery. Voici comment je fais le travail (étapes): 

 1. Using "Unload" command, I am exporting Redshift table (having more than 160 columns) as a CSV file into S3 2. Transferring data to Google Cloud 3. Creating a table in BigQuery by specifying data source as Google Cloud bucket.

Note: J’ai utilisé presque toutes les options de la commande Redshift “Unload”, mais il semble que BigQuery ne comprenne pas le format de fichier pour les fichiers plus gros.

Quelqu’un peut-il suggérer ce qui pourrait être le problème ici?

La tâche à accomplir étant d’exporter de Redshift vers BigQuery, avez-vous essayé un outil pour automatiser ce processus?

https://github.com/iconara/bigshift

De leur README:

Le fichier CSV produit par UNLOAD de Redshift ne peut pas être chargé dans BigQuery, quelles que soient les options que vous spécifiez à chaque extrémité. Redshift peut citer tous les champs ou aucun, mais BigQuery ne permet pas de citer les champs non-chaîne. Le format des booléens et des horodatages n’est pas compatible, et ils s’attendent à ce que les guillemets dans les champs entre guillemets s’échappent différemment, pour ne citer que quelques points.

Cela signifie qu’une grande partie de ce que fait BigShift est de s’assurer que les données vidées de Redshift sont compatibles avec BigQuery. Pour ce faire, il lit le schéma de la table et traduit les différents types de données pendant le vidage des données. Les guillemets sont échappés, les horodatages mis en forme, etc.