Le système de "files" d' ERDDAP vous permet de parcourir un système de fichiers virtuel et de télécharger des fichiers de données sources.
Espérons qu'il s'agisse d'un système familier et simple que vous pouvez utiliser avec votre navigateur Web préféré ou, si vous préférez, à partir d'un programme en ligne de commande comme
curl .
ERDDAP a été conçu autour de l'idée que la plupart des ensembles de données sont énormes, donc la plupart des utilisateurs ont juste besoin ou veulent un sous-ensemble de l'ensemble de données qui les intéresse (par exemple, une zone géographique plus petite, une plage de temps plus petite ou pas toutes les variables de données) .
Mais nous comprenons que certains utilisateurs veulent en fait un ensemble de données entier, ou au moins le sous-ensemble qui se trouve dans un sous-ensemble des fichiers de données sources.
Si c'est vous, alors le système de "files" est peut-être pour vous.
L'un des avantages du système de "files" est que vous pouvez voir la taille de chaque fichier (en octets) et l'heure de la dernière modification (fuseau horaire Zulu ), il est donc facile de voir si un fichier a été modifié.
Table des matières
Pour utiliser le système de "files", il suffit de cliquer.
Sur n'importe quelle page Web "files", vous pouvez :
- Cliquez sur un en-tête (Nom, Dernière modification, Taille ou Description) pour trier les éléments selon cet attribut.
En cliquant à plusieurs reprises sur un en-tête, l'ordre de tri (croissant ou décroissant) change.
Notez que "Dernière modification" utilise le fuseau horaire Zulu .
- Cliquez sur un nom de répertoire pour accéder à ce répertoire.
- Cliquez sur un nom de fichier pour télécharger ce fichier.
Par défaut, une liste de répertoires est renvoyée sous forme de tableau HTML sur une page Web.
Un utilisateur peut demander qu'une liste de répertoires soit renvoyée dans un format de fichier différent en ajoutant l'une de ces extensions de fichier :
.csv, .htmlTable, .itx, .json, .jsonlCSV1, .jsonlCSV, .jsonlKVP, .mat, .nc, .nccsv, .tsv ou .xhtml .
Par exemple, au lieu de cette page Web :
https://coastwatch.pfeg.noaa.gov/erddap/files/jplMU RSS T41/
vous pouvez demander la liste des répertoires sous forme de fichier .csv :
https://coastwatch.pfeg.noaa.gov/erddap/files/jplMU RSS T41/.csv
Pour les ensembles de données disponibles via ERDDAP ou tabledap d'ERDDAP, les administrateurs ERDDAP peuvent configurer ERDDAP pour modifier les métadonnées d'un ensemble de données et les noms de variables à la volée afin que vous, l'utilisateur, puissiez voir une version améliorée des métadonnées de l'ensemble de données.
Mais dans "files", vous verrez les métadonnées d'origine et les noms de variables, alors ne soyez pas surpris s'ils sont différents ! Si vous n'êtes pas à l'aise avec les différentes métadonnées et noms de variables, vous préférerez peut-être utiliser le formulaire d'accès aux données de l'ensemble de données.
De même, lorsque vous demandez un sous-ensemble de données à l'un des formulaires d'accès aux données de l' ERDDAP, vous pouvez spécifier le type de fichier (par exemple, .nc, .csv, .json, .mat ) que vous souhaitez recevoir en réponse.
Naturellement, les fichiers de données sources disponibles via "files" ne sont disponibles que dans un seul type de fichier.
Si vous n'êtes pas satisfait du type de fichier du fichier source, vous préférerez peut-être utiliser les formulaires d'accès aux données de l'ensemble de données.
Certains jeux de données de cet ERDDAP ne sont pas disponibles via le système de "files" .
Les raisons courantes incluent :
- Les données de l'ensemble de données ne proviennent pas de fichiers (par exemple, elles proviennent d'une base de données ou de Cassandra, ou d'un serveur de données distant THREDDS, HYRAX ou GRADS).
- Les fichiers source immédiats sont des fichiers .nc ml qui spécifient comment modifier les fichiers de données réels à la volée.
- L'administrateur de l' ERDDAP a choisi de ne pas rendre disponibles les fichiers de données sources.
Si les fichiers source d'un ensemble de données que vous souhaitez ne sont pas disponibles, vous pouvez envoyer un e-mail à l'administrateur de cet ERDDAP,
dfo dot meds-sdmm dot mpo at dfo-mpo dot gc dot ca, pour demander qu'ils soient disponibles, mais il y a généralement une raison pour laquelle ils ne sont pas déjà disponibles.
Nous comprenons que certains utilisateurs pourraient préférer que ERDDAP propose des fichiers via FTP au lieu de HTTP comme le font "files" .
Désolé.
J'espère que vous pourrez faire ce que vous devez faire avec le système de "files" actuel.
ERDDAP n'offre pas de résultats stockés dans des fichiers compressés (par exemple, .zip ou .gzip ).
Au lieu de cela, ERDDAP recherche
le codage d'acceptation 
dans l'en-tête de requête HTTP GET envoyé par le client.
Si un type de compression pris en charge (gzip, x-gzip ou deflate ) est trouvé dans la liste d'encodages acceptés, ERDDAP inclut « content‑encoding » dans l'en-tête de réponse HTTP et compresse les données au fur et à mesure qu'il les transmet.
Il appartient au programme client de rechercher
content-encoding et de décompresser les données en conséquence.
La demande de compression est facultative, mais les réponses compressées sont souvent 3 à 10 fois plus rapides, ce qui représente un gain de temps considérable si vous téléchargez de nombreux fichiers volumineux.
(Notez qu'il n'y a aucun avantage à demander des fichiers .png compressés puisque le contenu des fichiers est déjà compressé.)
- Par défaut, les navigateurs et les clients OPeNDAP demandent toujours des données compressées et décompressent les données renvoyées.
- Avec curl, ajoutez --compressed à la ligne de commande pour dire à curl de demander une réponse compressée et la décompresser automatiquement.
- Avec d'autres logiciels clients, vous l'avez explicitement configuré.
Voici un
exemple Java .
Voici un
exemple Python (bien que vous deviez soit gérer les réponses deflate 'd, soit ne pas demander deflate).
Si vous souhaitez télécharger une série de fichiers depuis ERDDAP, vous n'avez pas besoin de demander l'URL ERDDAP de chaque fichier dans votre navigateur, en attendant le téléchargement de chaque fichier.
Façons d'utiliser curl :
- Si vous êtes à l'aise pour écrire des programmes informatiques (par exemple, avec C, Java, Python, Matlab, r), vous pouvez écrire un programme avec une boucle qui importe tous les fichiers de données souhaités.
- Si vous êtes à l'aise avec les programmes en ligne de commande (en exécutant simplement un programme, ou en utilisant des scripts bash ou tcsh sous Linux ou Mac OS X, ou des fichiers batch sous Windows), vous pouvez utiliser curl pour enregistrer les fichiers de résultats d' ERDDAP dans des fichiers sur votre disque dur, sans utiliser de navigateur ni écrire de programme informatique.
ERDDAP + curl est incroyablement puissant et vous permet d'utiliser ERDDAP de nombreuses nouvelles façons.
Pour installer curl :
- Sous Linux et Mac OS X, curl est probablement déjà installé en tant que /usr/bin/ curl .
- Sous Windows, ou si votre ordinateur n'a pas déjà curl, vous devez
télécharger curl
et installez-le.
Pour accéder à une ligne de commande dans Windows, cliquez sur l'icône Windows et tapez cmd dans le champ de recherche.
("Win32 - Générique, Win32, binaire (sans SSL)" a fonctionné pour moi sous Windows 7.)
S'il vous plaît soyez gentil avec les autres utilisateurs d' ERDDAP :
exécutez un seul script ou commande curl à la fois.
Les instructions d'utilisation de curl trouvent sur la
page man de curl et dans ce
tutoriel curl .
Mais voici un rapide tutoriel lié à l'utilisation de curl avec ERDDAP :
- Pour télécharger et enregistrer un fichier, utilisez
curl --compressed -g "erddapUrl" -o fileDir/fileName.ext
où --compressed dit à curl de demander une réponse compressée et de la décompresser automatiquement,
-g désactive la fonction de globalisation de curl,
erddapUrl est toute URL ERDDAP qui demande un fichier de données ou d'image, et
-o fileDir/fileName.ext spécifie le nom du fichier qui sera créé.
Par exemple,curl --compressed -g "https://coastwatch.pfeg.noaa.gov/erddap/files/cwwcNDBCMet/nrt/NDBC_41008_met.nc" -o ndbc/41008.nc
Dans curl, comme dans de nombreux autres programmes, la partie requête de erddapUrl doit être
codée en pourcentage :
tous les caractères dans les valeurs de paramètre (les parties après les signes '=' ) autres que A-Za-z0-9_-!.~'()* doivent être codés sous la forme %HH, où HH est la valeur hexadécimale à 2 chiffres du caractère, par exemple, un espace devient %20.
Les caractères au-dessus de #127 doivent être convertis en octets UTF-8, puis chaque octet UTF-8 doit être codé en pourcentage (demandez de l'aide à un programmeur).
Il existe des
sites Web qui encodent et décodent en pourcentage pour vous 
.
Si vous obtenez l'URL à partir du champ de texte d'adresse de votre navigateur, cela peut déjà être fait.
- Pour télécharger et enregistrer de nombreux fichiers en une seule étape, utilisez curl avec la fonctionnalité de globalisation activée :
curl --compressed "erddapUrl" -o fileDir/fileName#1.ext
Étant donné que la fonction de globalisation traite les caractères [, ], { et } comme spéciaux, vous devez également
encoder en pourcentage les dans l'erddapURL comme %5B, %5D, %7B, %7D, respectivement.
Heureusement, ceux-ci ne sont presque jamais dans les noms de "files" .
Ensuite, dans l'erddapUrl, remplacez un nombre complété par des zéros (par exemple 01) par une plage de valeurs (par exemple, [01-15]), ou remplacez une sous-chaîne (par exemple 41008) par une liste de valeurs (par exemple, {41008,41009,41010}).
Le #1 dans le nom de fichier de sortie entraîne l'insertion de la valeur actuelle de la plage ou de la liste dans le nom de fichier de sortie.
Par exemple,curl --compressed "https://coastwatch.pfeg.noaa.gov/erddap/files/cwwcNDBCMet/nrt/NDBC_{41008,41009,41010}_met.nc" -o ndbc/#1.nc
Pour les types de fichiers image et vidéo les plus courants, le système "files" affichera désormais un « ? » icône à gauche du nom de fichier.
Si vous passez la souris dessus, vous verrez une fenêtre contextuelle affichant l'image ou un lecteur audio ou vidéo.
De même, pour quelques types de fichiers audio (notamment .mp3, .ogg et .wav), vous verrez un contrôle audio qui vous permet d'écouter le fichier audio.
Ces fonctionnalités de prévisualisation ne fonctionneront que pour certains types de fichiers, dans certains navigateurs, dans certains systèmes d'exploitation.
Ils reposent sur les fonctionnalités du navigateur, ils sont donc largement hors de notre contrôle.
Alternativement, si vous cliquez sur le lien d'un fichier image, audio ou vidéo, une visionneuse ou un lecteur s'ouvrira dans une fenêtre séparée.
(Si votre navigateur vous demande ce que vous voulez faire avec le fichier, dites-lui de gérer le fichier multimédia lui-même (pas via un autre logiciel) et dites-lui de se souvenir de ce choix afin qu'il soit utilisé automatiquement à l'avenir.)
L'une des principales caractéristiques d' ERDDAP est qu'il vous permet de télécharger des sous-ensembles d'un ensemble de données (via le formulaire d'accès aux données de l'ensemble de données) dans le format de fichier de votre choix ou de créer des graphiques et des cartes personnalisables via la page Web Make A Graph de l'ensemble de données (pour ne pas pas besoin de télécharger des fichiers de données ou d'installer un logiciel graphique).
Ceux-ci vous permettent d'éviter d'avoir à travailler avec les fichiers de données source d'origine dans des formats de fichiers que vous ne connaissez pas et/ou avec lesquels vous ne voulez pas travailler.
Si vous choisissez plutôt de télécharger et de travailler avec les fichiers sources originaux proposés par le système de "files" de l' ERDDAP, vous devez déterminer comment vous souhaitez travailler avec les fichiers.
Heureusement, il existe de nombreux outils logiciels pour travailler avec les différents types de fichiers :
- Tous les types de fichiers
Pour tous les types de fichiers, vous pouvez rechercher l'extension de fichier sur des sites comme
FileInfo.com .
qui donnent une description de base du type de fichier et répertorient les logiciels pouvant être utilisés pour travailler avec les fichiers (afficher, lire, écrire, éditer, etc.).
Ou, vous pouvez utiliser votre moteur de recherche préféré pour rechercher ce que vous voulez.
- Fichiers audio (par exemple, .3gp, .aiff, .au, .flac, .mp3, .ogg, .pcm, .wav, .wma)
Le moyen le plus simple d'entendre la plupart des fichiers audio proposés par le système de "files" est d'utiliser le système ERDDAP pour
afficher les fichiers multimédias dans votre navigateur, car vous n'avez pas besoin de télécharger les fichiers ni d'installer de logiciel.
Voir la
liste Wikipedia des formats de fichiers audio .
Si vous souhaitez faire autre chose avec ces fichiers, il existe de nombreux programmes pour lire et éditer des fichiers audio, notamment :
- Windows Media Player est fourni avec Windows (regardez dans la liste de démarrage de Windows).
- Le lecteur audio iTunes d'Apple est fourni avec Mac OS X (regardez dans le dossier Applications) et est téléchargeable gratuitement pour Windows.
- Ardour et
Audacity sont des programmes open source pour enregistrer, éditer, mixer et masteriser l'audio sur Linux, Mac OSX et Windows.
- Voir la
comparaison Wikipedia des logiciels de lecteur audio .
- Voir la
comparaison Wikipedia des éditeurs audio numériques .
- Et beaucoup, beaucoup plus.
Utilisez votre moteur de recherche préféré pour rechercher ce que vous voulez.
- Fichiers HDF (.hdf )
HDF .hdf est un type courant de fichier de données binaires.
Il existe quelques packages logiciels qui peuvent fonctionner avec les fichiers .hdf, notamment :
- NASA's Panoply est un logiciel gratuit et couramment utilisé pour créer des graphiques et des cartes à partir de fichiers .hdf .
- La
bibliothèque HDF5 est la bibliothèque officielle du groupe HDF pour lire et écrire tous les fichiers .hdf .
- Certains programmes d'analyse comme
Matlab , et
langage R peut lire les fichiers .hdf via une bibliothèque complémentaire.
- De nombreux
outils pour les fichiers .nc fonctionneront également avec les fichiers .hdf .
- Fichiers image (par exemple, .gif, .jpeg, .png, .tiff, .webp)
Le moyen le plus simple d'afficher la plupart des fichiers image offerts par le système de "files" est d'utiliser le système ERDDAP pour
afficher les fichiers multimédias dans votre navigateur, car vous n'avez pas besoin de télécharger les fichiers ni d'installer de logiciel.
Voir la
liste Wikipedia des formats de fichiers image .
Si vous souhaitez faire autre chose avec les fichiers image, il existe de nombreux programmes de visualisation et d'édition d'images, notamment :
- Paint est fourni avec Windows (regardez dans la liste de démarrage de Windows sous Accessoires Windows).
- Une peinture différente est fournie avec Mac OS X (regardez dans le dossier Applications).
- Gimp , un programme open source pour tous les systèmes d'exploitation.
- IrfanView , un éditeur d'images gratuit pour Windows.
- Divers logiciels d'Adobe dont
Photoshop .
- Voir la
comparaison Wikipedia des éditeurs de graphiques raster .
- Et beaucoup, beaucoup plus.
Utilisez votre moteur de recherche préféré pour rechercher ce que vous voulez.
- Fichiers NetCDF (.nc )
NetCDF .nc est un type courant de fichier de données binaires.
Il existe deux sous-catégories de fichiers .nc :
les fichiers version 3 (toujours largement utilisés) et les fichiers version 4 (qui sont en fait
des fichiers .hdf avec quelques modifications).
Les fichiers des deux versions ont l'extension .nc et peuvent être lus par des programmes qui lisent les fichiers .nc .
Il existe un grand nombre de packages logiciels pouvant fonctionner avec les fichiers .nc, notamment :
- Les logiciels gratuits et couramment utilisés pour créer des graphiques et des cartes sont
NASA's Panoply et
Ncview (qui peut également être installé
via Conda ).
- NCO, un puissant outil de ligne de commande pour modifier en permanence les fichiers .nc .
- NetCDF -C et NetCDF -Java , les principales bibliothèques logicielles pour C, C++, Fortran ou Java pour lire et écrire des fichiers .nc .
- De nombreux programmes d'analyse comme
Ferret ,
Matlab , et
langage R peut lire des fichiers .nc (peut-être via une bibliothèque complémentaire), créer des graphiques et des cartes et travailler avec les données des fichiers .nc .
- De nombreux autres logiciels peuvent lire (et donc travailler avec) les fichiers .nc .
Voir
cette liste .
- Fichiers texte (par exemple, .csv, .tsv, .txt)
Fichiers texte sont différents des fichiers de traitement de texte, qui ont des commandes de formatage intégrées spéciales.
Si vous importez un fichier texte dans un traitement de texte et apportez des modifications au fichier, veillez à enregistrer à nouveau le fichier en tant que fichier texte ASCII.
Ou évitez ce problème en utilisant un éditeur de texte.
Si vous éditez des .tsv (valeurs séparées par des tabulations), veillez à conserver les onglets qui séparent les valeurs dans différentes "colonnes" sur chaque ligne.
Par défaut (même dans de nombreux éditeurs de texte), les tabulations apparaissent souvent sous forme d'espaces (ou de quelques espaces).
Assurez-vous donc d'utiliser la fonctionnalité de l'éditeur qui rend les onglets visibles (en tant que symbole spécial) afin de pouvoir conserver les onglets entre les valeurs.
Les
fichiers .xml sont techniquement des fichiers texte, mais il y a des avantages à utiliser des éditeurs XML séparés pour travailler avec eux.
Il existe des dizaines de programmes d'édition de texte pour chaque système d'exploitation, notamment :
- Le Bloc-notes est fourni avec Windows (regardez dans la liste de démarrage de Windows sous Accessoires Windows).
- TextEdit est fourni avec Mac OS X (regardez dans le dossier Applications).
- La plupart des variantes de Linux sont livrées avec quelques éditeurs de texte, dont l'un par défaut (que vous pouvez modifier).
Si vous utilisez Linux, vous avez probablement déjà un favori.
- Voir la
comparaison Wikipedia des éditeurs de texte .
- Et beaucoup, beaucoup plus.
Utilisez votre moteur de recherche préféré pour rechercher ce que vous voulez.
- Fichiers vidéo (par exemple, .avi, .flv, .mov, .mp4, .ogg, .ogv, .webm, .wmv)
Le moyen le plus simple de visualiser la plupart des fichiers vidéo proposés par le système de "files" est d'utiliser le système ERDDAP pour
visualiser les fichiers multimédias dans votre navigateur, car vous n'avez pas besoin de télécharger les fichiers ni d'installer de logiciel.
Voir la
liste Wikipedia des formats de fichiers vidéo .
Si vous souhaitez faire autre chose avec des fichiers vidéo, il existe de nombreux programmes de lecture et d'édition de vidéos, notamment :
- Windows Media Player est fourni avec Windows (regardez dans la liste de démarrage de Windows).
- Windows Video Editor est fourni avec Windows (regardez dans la liste de démarrage de Windows).
- QuickTime Player (une visionneuse) est fourni avec Mac OS X (regardez dans le dossier Applications).
- iMovie (un éditeur) est fourni avec Mac OS X (regardez dans le dossier Applications).
- Différentes distributions Linux sont livrées avec différents lecteurs vidéo.
Il existe de nombreux lecteurs et éditeurs vidéo open source et commerciaux disponibles pour Linux.
Utilisez votre moteur de recherche préféré pour rechercher ce que vous voulez.
- Voir la
comparaison Wikipedia des logiciels de lecteur vidéo .
- Voir la
comparaison Wikipedia des logiciels de montage vidéo .
- Et beaucoup, beaucoup plus.
Utilisez votre moteur de recherche préféré pour rechercher ce que vous voulez.
- Fichiers XML (par exemple, .xml)
fichiers XML sont des fichiers texte structurés.
Vous pouvez les visualiser dans votre navigateur ou dans un éditeur de texte, mais il existe également des logiciels spécialisés pour travailler avec des fichiers XML.
Voir cette
comparaison Wikipedia des éditeurs XML .
Contrairement aux requêtes pour la plupart des autres ressources dans ERDDAP, une requête pour un fichier du système "files" (autre que les fichiers .nc et .hdf ) peut inclure une requête "Range" dans l'en-tête qui spécifie une plage d'octets à renvoyé, au lieu du fichier entier.
Voir
Byte_serving .
Ceci est utilisé par certains logiciels clients (par exemple, les lecteurs audio et vidéo dans les navigateurs Web) pour demander des morceaux du fichier au lieu du fichier entier.
L'accès à un fichier distant via des plages d'octets est souvent lent et inefficace.
Parfois, cela vaut la peine de lire de petits échantillons de fichiers distants, notamment des fichiers audio et vidéo.
Mais plus vous avez besoin d'accéder au fichier, plus il est efficace de simplement télécharger le fichier, puis de travailler avec le fichier local.
Le système "files" d' ERDDAP refuse toutes les demandes de plage d'octets aux fichiers .nc et .hdf, alors n'essayez même pas d'utiliser Netcdf-java/c, ncview, Ferret ou d'autres outils logiciels pour vous connecter à .nc ou .hdf fichiers servis par le système "files" d' ERDDAP comme s'il s'agissait de fichiers locaux.
Ces demandes sont bloquées car cette approche est horriblement inefficace et cause souvent d'autres problèmes.
Au lieu:
- Utilisez le logiciel client (OPeN)DAP pour vous connecter aux services DAP d' ERDDAP pour l'ensemble de données (qui ont /griddap/ ou / tabledap / dans l'URL).
C'est à cela que sert DAP .
- Ou utilisez le formulaire d'accès aux données de l'ensemble de données pour demander un sous-ensemble de données.
- Ou, si vous avez besoin de l'intégralité du fichier ou d'un accès répété sur une longue période, utilisez curl, wget ou votre navigateur pour télécharger l'intégralité du fichier à partir du système "files", puis accédez aux données à partir de votre copie locale du fichier.
