#!usr/bin/bash
#tentative de créer le tableau à trois colonnes (une avec la langue, une avec les URLs, une avec les pages aspirées) tout en aspirant les pages
#fonctionne
mkdir pagesaspirees; # crée un répertoire pour les futures pages aspirees dans le repertoire courant
mkdir dump
echo "Pouvez-vous indiquer le dossier où se trouvent les fichiers d'URL? "; # demande à l'utilisateur d'indiquer où sont les fichiers d'URL's
read repertoireURL ; # permet d'enregistrer la variable repertoireURL
echo "Quel nom veux-tu donner à ton tableau ?"; #demande à l'utilisateur d'indiquer le nom que l'on va donner au fichier avec le tableau
read fichiertableau ; #crée la variable fichiertableau
for dossier in `ls $repertoireURL` # permet de regarder tous les dossiers contenus dans le répertoire de travail
# ( d'après notre choix de rangement, les dossiers correspondent à chaque sens de piste)
do
mkdir pagesaspirees/$dossier; #création de sous-dossiers pour chaque sens dans le répertoire pages aspirées
mkdir dump/$dossier
echo "Tableau">>$fichiertableau; # début du document html
echo "">>$fichiertableau; # on dessine le tableau html (de bordure 4 pixels et bleu)
echo "| Dans le domaine : $dossier |
">>$fichiertableau; #affiche quels sens on traite
for fichier in `ls $repertoireURL/$dossier` #permet de parcourir les fichiers anglais et francais des différents sens.
do
compteurtotal=1 #on met en place un compteur qui nous permettra de calculer le nombre de ligne du document afin de savoir combien on doit fusionner de ligne pour la première colonne
for ligne in `cat $repertoireURL/$dossier/$fichier`
do
let "compteurtotal +=1" #incrémente le compteur
done
nomfic=`basename $fichier .txt` # permet de créer une nouvelle variable qui ne contient pas l'extension du fichier texte
echo "| $nomfic |
">>$fichiertableau;
mkdir pagesaspirees/$dossier/$nomfic # crée un répertoire, pour chaque sens, où l'on stockera les pages aspirées
mkdir dump/$dossier/$nomfic
compteur=0 #on iniatilise le compteur à 0, c'est lui qui compte les URL
for ligne in `cat $repertoireURL/$dossier/$fichier` #parcours chaque ligne des document en .txt dans les dossiers en effectuant les opérations qui suivent
{
let "compteur += 1" #on incrémente le compteur
echo "| URL $compteur | ">>$fichiertableau #puis on affiche l'URL en la rendant cliquable dans la première colonne du tableau
wget -t 2 $ligne -O pagesaspirees/$dossier/$nomfic/URL_$compteur.html # aspire la page et la stocke sous le nom URL+chiffre_du_compteur
echo "Page $compteur | ">>$fichiertableau
lynx -dump pagesaspirees/$dossier/$nomfic/URL_$compteur.html > dump/$dossier/$nomfic/Dump_$compteur.txt
echo "Dump $compteur |
">>$fichiertableau; #affiche la page aspirée dans la deuxième colonne du tableau et la rend cliquable, puis ferme le tableau
}
done
echo "
">>$fichiertableau ; #fin du document html
done