WindsPT@U.PORTO

windscanner.eu & NEWA

User Tools

Site Tools

You are here: Winds @ FEUP » UPORTO DATA ARCHIVE (UDA)
uda:index

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision 		Previous revision
uda:index [2017/11/20 17:54]
Correia Lopes [10. Current status] 		uda:index [2020/06/03 10:39] (current)
Correia Lopes [UPORTO DATA ARCHIVE (UDA)]
Line 2: Line 2:
  
 Perdigão's datasets repository using the [[http://www.unidata.ucar.edu/software/thredds/current/tds/|THREDDS Data Server (TDS)]] Perdigão's datasets repository using the [[http://www.unidata.ucar.edu/software/thredds/current/tds/|THREDDS Data Server (TDS)]]
 +
 +  * **most recent info at the [[https://docs.google.com/document/d/1qBJk-eVFiO_A1f6n3IEd99q7GxZJtlKHM5LAOZU4-Do|docs.google.com/document]]**
 +  * [2020.05.23] TDS password removed
 +  * [2020.05.23] cron jobs removed and the mirroring process stopped {{closing_history.tgz|DTU account closing status}}
  
 ===== - Using the UDA ===== ===== - Using the UDA =====
Line 9: Line 13:
 WindsP App users may [[https://windsp.fe.up.pt/experiments/3/datasets/~2Fthredds~2Fcatalog_perdigao.xml|explore the UPORTO Data Archive (UDA)]] but, when they request access to data or meta-data that is in the Data Archive, they have to provide the TDS credentials (during the embargoed period of 12 months).  WindsP App users may [[https://windsp.fe.up.pt/experiments/3/datasets/~2Fthredds~2Fcatalog_perdigao.xml|explore the UPORTO Data Archive (UDA)]] but, when they request access to data or meta-data that is in the Data Archive, they have to provide the TDS credentials (during the embargoed period of 12 months). 
  
-{{uporto_data_archive_20171120_.pdf|}}+{{uporto_data_archive_20171120_.pdf|}} | {{ :uda:uporto_data_archive_2020-05-23.pdf |}}
  
  
Line 15: Line 19:
  
 ^ Export  ^ Size ^ Last 24 hours  ^ ^ Export  ^ Size ^ Last 24 hours  ^
-| DTU  | 1.8 TiB | 4.06844 GiB  | +| DLR  | 1.2 TiB | 2.32553 GiB  | 
-| UCAR  | 1.2 TiB | 0 GiB  | +| DTU  | 2.0 TiB | 0.000537872 GiB  |
-| DLR  | 1.2 TiB | 0 GiB  |+
 | INEGI  | 301 MiB | 0 GiB  | | INEGI  | 301 MiB | 0 GiB  |
 +| UCAR  | 1.6 TiB | 6.24173 GiB  |
 | WINDFORS  | 3.2 GiB | 0 GiB  | | WINDFORS  | 3.2 GiB | 0 GiB  |
  
-Summary on 19-11-2017 22:19. For more info see the [[http://winds.fe.up.pt/datalogs/?C=N;O=D|datalogs details]].+Summary on 20-03-2018 00:00.  
 +For more info see the [[http://winds.fe.up.pt/datalogs/?C=N;O=D|datalogs details]].
  
 <file> <file>
Line 43: Line 48:
 │   │   ... │   │   ...
 │   ├── netcdf_lidar │   ├── netcdf_lidar
 +│   │   ├── DLR85
 +│   │   ├── DLR86
 +│   │   ├── DLR89
 +│   │   └── readme.tx
 +│   │── raw_data
 │   │   ├── DLR85 │   │   ├── DLR85
 │   │   ├── DLR86 │   │   ├── DLR86
 │   │   └── DLR89 │   │   └── DLR89
-│   └── raw_data +│   └── sound 
-│       ├── DLR85 +│       ├── mic1 
-│       ├── DLR86 +│       ├── mic2 
-│       └── DLR89+│       ├── mic3 
 +│       ├── mic4 
 +│       ├── mic5 
 +│       └── microphone_position.txt
 ├── dtu ├── dtu
 │   ├── data │   ├── data
Line 56: Line 69:
 │   │   └── DTU_WindScanner │   │   └── DTU_WindScanner
 │   ├── docs │   ├── docs
 +│   ├── landscape
 │   ├── photos │   ├── photos
 │   └── plots │   └── plots
Line 65: Line 79:
 │   └── LidarAerialSurvey_RawData │   └── LidarAerialSurvey_RawData
 │       ├── Images │       ├── Images
-│       └── PointCloud+│       ├── PerdigaoTurbineTopView.pdf 
 +│       ├── PointCloud 
 +│       └── Portugal Laserscanning Report.pdf
 ├── ucar ├── ucar
 +│   ├── arl
 +│   │   ├── ARL_Scanning_Lidar_George_Site
 +│   │   ├── ARL_Scanning_Lidar_Lionstail_Site
 +│   │   └── ARL_Scintillometer
 +│   ├── colorado
 +│   │   └── CU_Lidar
 +│   ├── eol
 +│   │   └── WV-DIAL
 │   ├── isfs │   ├── isfs
 │   │   ├── hr_noqc_geo │   │   ├── hr_noqc_geo
 │   │   └── noqc_geo_notiltcor │   │   └── noqc_geo_notiltcor
-│   ├── iss +│   ├── ncas 
-│   │   ├── sodar-rass-site +│   │   └── NCAS_profiler 
-│   │   ├── upper-orange-grove-site +│   ├── notredame 
-│   │   └── west-profiler-site +│   │   ├── UND_Ceilometer 
-│   └── ncas+│   │   ├── UND_Radiosonde 
 +│   │   ├── UND_Scanning_Lidar_Lionshead_Site 
 +│   │   ├── UND_Scanning_Lidar_MI6_Site 
 +│   │   ├── UND_Scanning_Lidar_Orange_Site 
 +│   │   └── UND_SODAR_RASS 
 +│   └── oklahoma 
 +│       ├── CLAMPS_AERI 
 +│       ├── CLAMPS_MWR 
 +│       └── CLAMPS_Scanning_Lidar
 └── windfors └── windfors
     ├── 2017     ├── 2017
Line 82: Line 114:
     └── cross     └── cross
         └── 2017         └── 2017
 +        
 +441 directories, 8 files
 </file> </file>
  
Line 111: Line 145:
 <code bash crons> <code bash crons>
 # DTU data sync to UDA, At minute 31 past every 4th hour # DTU data sync to UDA, At minute 31 past every 4th hour
 +#31 */4 * * * /usr/bin/rsync -az --delete /newa/WP2/PERDIGAO/ dtu@windsptds.fe.up.pt::dtu > /dev/null 2>&1
 31 */4 * * * /usr/bin/rsync -az --exclude-from 'sync-exclude-list' /newa/WP2/PERDIGAO/ dtu@windsptds.fe.up.pt::dtu > /dev/null 2>&1 31 */4 * * * /usr/bin/rsync -az --exclude-from 'sync-exclude-list' /newa/WP2/PERDIGAO/ dtu@windsptds.fe.up.pt::dtu > /dev/null 2>&1
 </code> </code>
Line 120: Line 155:
 </code> </code>
  
-===== - Uploaded data by UCAR =====+===== - Upload UCAR data =====
  
 UCAR uses the UDA export ''ucar@windsptds.fe.up.pt::ucar'' to copy NCAR/EOL ISFS data. UCAR uses the UDA export ''ucar@windsptds.fe.up.pt::ucar'' to copy NCAR/EOL ISFS data.
Line 128: Line 163:
 DLR uses the UDA export ''dlr@windsptds.fe.up.pt::dlr'' to maintain the DLR data.  DLR uses the UDA export ''dlr@windsptds.fe.up.pt::dlr'' to maintain the DLR data. 
  
-===== - Uploaded data by INEGI =====+===== - Upload INEGI data =====
  
 INEGI uses the UDA export ''inegi@windsptds.fe.up.pt::inegi'' to maintain the ENERCON data and "Lidar Aerial Survey Data". INEGI uses the UDA export ''inegi@windsptds.fe.up.pt::inegi'' to maintain the ENERCON data and "Lidar Aerial Survey Data".
Line 135: Line 170:
  
 WindsForS uses the UDA export ''windfors@windsptds.fe.up.pt::windfors'' to maintain the WindForS data. WindsForS uses the UDA export ''windfors@windsptds.fe.up.pt::windfors'' to maintain the WindForS data.
 +
 +===== - Mirror UCAR ftp site =====
 +
 +Preliminary data at the ftp site (ARL, Notre dame, ...) uploaded with:
 +<code>
 +#! /bin/sh
 +dir=arl
 +source=ftp://ftp.eol.ucar.edu/pub/data/incoming/perdigao/uda/$dir
 +destination=/data/perdigao/ucar
 +nohup wget -m -nH --cut-dirs=5 -P $destination $source >| /dev/null 2>&1 &
 +</code>
 +
 +Afterwards it is verified by running in the ftp site:
 +<code>
 +#! /bin/sh
 +dir=arl
 +cd <ftp-root>/incoming/perdigao/uda
 +export RSYNC_PASSWORD=t****YLa****
 +archive=ucar@windsptds.fe.up.pt::ucar/$dir
 +rsync -avz --delete --dry-run $dir $archive
 +</code>
  
 ===== - Mirror UDA to DTU ===== ===== - Mirror UDA to DTU =====
Line 192: Line 248:
 </code> </code>
  
-The DTU NEWA directory /newa/WP2/PERDIGAO/archive/ contains an exact copy of UDA, except for the DTU data that are links to existing NEWA directories (in order to avoid using a duplication 1.8 TiB of storage).+The DTU NEWA directory /newa/WP2/PERDIGAO/archive/ contains an exact copy of UDA, except for the DTU data that are links to existing NEWA directories (in order to avoid using a duplication 2.0 TiB of storage).
  
 <file> <file>
Line 222: Line 278:
 ===== - Current status ===== ===== - Current status =====
  
-<note warning>The is a collaborative version of this table being updated at Google docs.</note>+<note warning>There is a collaborative version of this table being updated at Google docs.</note>
  
-^ Institution   ^ Data                                                    ^ Responsable                              ^ DTU  ^  UPORTO  ^  UCAR  ^ +{{ :uda:20171120_perdigao_archiving.pdf |snap at 22/12/2017}} |  
-| **ALR**       | Scintillometer Data                                     | R. Krishnamurthy                         |  ✘    |  ✘       |  ✔     | +{{ :uda:20180320_perdigao-archives.pdf |snap at 20/03/2018}} | {{ :uda:2020-05-23_perdigao-archives.pdf |snap at 23/05/2020}}
-|               | CO2/H2O Gas Analyzer Data                               | C. Hocut                                 |  ✘    |  ✘       |  ✘     | +
-|               | Tower Data                                              | C. Hocut                                 |  ✘    |  ✘       |  ✘     | +
-| **CU**        | High Frequency Seismometer Data                         | ?                                        |  ✘    |  ✘       |  ✘     | +
-|               | Cornell Tower Data                                      | R. Barthelmie                            |  ✘    |  ✘       |  ✘     | +
-|               | Cornell University Microbarometer Data                  | R. Barthelmie                            |  ✘    |  ✘       |  ✘     | +
-| **DLR**       | Acoustic Measurement Data                               | A. Schady                                |  ✔    |  ✔       |  ✘     | +
-|               | HATPRO Surface Meteorological Data                      | M. Hagen                                 |  ✔    |  ✔       |  ✘     | +
-| **DTU**       | Tower Data                                              | J. Mann                                  |  ✔    |  ✔       |  ✘     | +
-| **ENERCON**   | ENERCON Tower Data                                      | ?                                        |  ✔    |  ✔       |  ✘     | +
-|               | ENERCON Wind Turbine SCADA Data                         | ?                                        |  ✘    |  ✘       |  ✘     | +
-| **IPMA**      | Portugal Surface Meteorological Data                    | ?                                        |  ✘    |  ✘       |  ✘     | +
-|               | Portugal Lightning Detection Network (LDN) Data         | S. Correia and V. Prior                  |  ✘    |  ✘       |  ✔     | +
-| **INEGI**     | Lidar Aerial Survey Data                                | ?                                        |  ✔    |  ✔       |  ✘     | +
-| **UCAR/EOL**  | Preliminary 5 minute ISFS data, geographic coordinate   | ?                                        |  ✔    |  ✔       |  ✔     | +
-|               | Preliminary 5 minute ISFS data, instrument coordinates  | ?                                        |  ✔    |  ✔       |  ✔     | +
-|               | Preliminary High Rate ISFS data                         | ?                                        |  ✔    |  ✔       |  ✔     | +
-|               | GTS LDM Surface Hourly Observations                     | Global, GEMPAK                           |      |          |  ✔     | +
-|               | GTS LDM Surface Synoptic Observations                   | Global, GEMPAK                           |      |          |  ✔     | +
-|               | LDM Surface METAR Data                                  | METAR format                             |      |          |  ✔     | +
-|               | ISS Preliminary Surface Meteorology Data                | Sodar-RASS Site                          |      |          |  ✔     | +
-|               | ISS Preliminary Surface Meteorology Data                | Sounding Site at the upper orange grove  |      |          |  ✔     | +
-|               | ISS Preliminary Surface Meteorology Data                | West Profiler Site                       |      |          |  ✔     | +
-|               | Perdigao Field Catalog Surface Products                 |                                          |      |          |  ✔     | +
-| **NCAS**      |                                                         |                                          |  ✔    |  ✔       |  ✔     | +
-| **NOAA**      | MADIS GTS METAR Data                                    | NOAA/ESRL                                |  ✘    |  ✘       |  ✔     | +
-| **ND**        |                                                         |                                          |      |  ✘       |  ✘     | +
-| **OU**        | OU Tower Data                                           | P. Klein                                 |      |  ✘       |  ✘     | +
-|               | NSSL/OU CLAMPS Surface Meteorological Data              | P. Klein                                 |      |  ✘       |  ✘     |+
  
  
  --- //[[jlopes@fe.up.pt|Correia Lopes]] 2017/11/17 11:10//  --- //[[jlopes@fe.up.pt|Correia Lopes]] 2017/11/17 11:10//
  
uda/index.1511196840.txt.gz · Last modified: 2017/11/20 17:54 by Correia Lopes

Page Tools

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki