Calculer Girl
  1. Calculer Girl
  3. Comment permettre à Apache Nutch de ramper pour toujours
Intereting Posts
Elixir: l’installation d’Elixir sur Ubuntu tue l’instance de firebase database Couch en cours d’exécution Test de performance de l’application Nginx + uWSGI + Flask avec ab Vérification de la progression du téléchargement de fichiers côté serveur? Comprendre les fourches en C Mettre à niveau APC pour qu’il fonctionne avec Symfony 2 sur Zend Server et OSX Picasso Library détecte si l’image mise à jour sur le serveur Comment gérez-vous les tâches planifiées pour vos sites Web exécutés sur IIS? Impression TERM, PATH & HOME Erreur! Frapper C ++ ListView masquer l’élément Apache, PHP, MySQL, PDO, Autorisation refusée, laravel Autoriser cPanel à gérer les parameters SetEnv Trouver ^ @ caractère dans unix? Il est possible de forcer le téléchargement avec .htaccess et une requête GET spécifique (style Dropbox)? Puis-je utiliser avahi pour publier un service sur des sous-réseaux? Rails: sum de contrôle des fichiers téléchargés

Comment permettre à Apache Nutch de ramper pour toujours

J’utilise apache nutch (2.2.1) pour l’exploration. Quels changements sont nécessaires si je veux ramper pour toujours. Guide-moi complètement car je ne suis pas familier avec Nutch trop mutch.

Si vous voulez explorer pour toujours, voici le script dont vous avez besoin: 

#!/bin/bash ./bin/nutch inject urls #urls is the seed data while [ 1 == 1 ] do ./bin/nutch generate -topN 10000 # 10000 is the number of URLs will be fetch in each crawling round, you can modify it ./bin/nutch fetch -all ./bin/nutch parse -all ./bin/nutch updatedb done

J’espère que cela t’aides

Le Quoc Do