Changes between Initial Version and Version 1 of DataProviderMetaData


Ignore:
Timestamp:
12/22/17 10:49:23 (12 months ago)
Author:
ed
Comment:

Initial version of DataProviderMetaData

Legend:

Unmodified
Added
Removed
Modified
  • DataProviderMetaData

    v1 v1  
     1 
     2 
     3== Data Provider Meta-Data == 
     4 
     52017 Dec 22 
     6 
     7Five new tables have been added to the VSO database. These tables are used to store DB login information, names and argument lists of stored procedures used. 
     8 
     9 
     10  ||   ''Table''           ||        ''Column''          ||    ''Function''                                  ||    ''Comment''   || 
     11  ||=''' data_providers'''=||         PROVIDER           ||   Data provider  (eg. HAO)                       ||                  || 
     12  ||                       ||         SOURCE             ||   Source of data (eg. MLSO)                      ||                  || 
     13  ||                       ||         DATA_FEED_TYPE     ||   Type of feed (standalone or remote)            ||  ''Future Use''  || 
     14  ||                       ||         DETAIL_TREE_TYPE   ||   Key indicating type of detail page that is generated.  ||          || 
     15  ||                       ||                            ||   If populated, then an additional detail page is        ||          || 
     16  ||                       ||                            ||   available from the PROVIDER.                   ||                  || 
     17  ||                       ||         DP_METAKEY         ||   If DETAIL_TREE_TYPE is populated, then this    ||=Used to generate URL on-the-fly=||               
     18  ||                       ||                            ||   column contains the meta-key that is parsed    ||                  || 
     19  ||                       ||                            ||   and populated by the plugin named in           ||                  || 
     20  ||                       ||                            ||   column DP_PLUGINNAME.                          ||                  || 
     21  ||                       ||         DP_TYPE            ||   Type of code used by the Data Provider.        ||                  || 
     22  ||                       ||                            ||   "Python" means Data Provider is written in Python. ||=''Under Construction''=|| 
     23  ||                       ||                            ||   NULL means Data Provider is written in Perl.    ||                  || 
     24  ||                       ||         DP_SCRIPTNAME      ||   Python script name if DP_TYPE = "Python".       ||                  || 
     25  ||                       ||         DP_PLUGINNAME      ||   Name of Plugin script used to generate the      ||  eg. hao_instrument  || 
     26  ||                       ||                            ||   detail page using the meta-key in DP_METAKEY.   ||                      || 
     27  ||                       ||     DISCRETE_DATE_RANGE    ||   Boolean variable used to mark Data Providers    ||                      || 
     28  ||                       ||                            ||   whose data is spread out in discrete date ranges  ||=eg. Rocket flights such as EUNIS & VAULT=||  
     29  ||                       ||                            ||   which may likely be missed during query selection.||                   || 
     30  ||                       ||     DATA_PAGE_AVAILABLE    ||   Boolean variable marking Data Provider that has    ||                   || 
     31  ||                       ||                            ||   a separate URL providing a calendar showing data   ||                   || 
     32  ||                       ||                            ||   availability. Used together with DETAIL_TREE_TYPE, ||                   || 
     33  ||                       ||                            ||   DP_METAKEY & DP_PLUGINNAME to generate the URL.    ||                   || 
     34  ||                       ||          ACTIVE            ||   Boolean variable marking Data Provider as active (1) or not (0). ||=''Future use''=|| 
     35  ||                       ||      LAST_MOD_DATE         ||   Date the last modification to the row was done.      ||                 || 
     36  ||                       ||                            ||                                                        ||                 || 
     37  ||='''data_feed_credentials'''=||    PROVIDER          ||   Data Provider                                        ||                 || 
     38  ||                             ||    SOURCE            ||   Source of data                                       ||                 ||  
     39  ||                             ||    IGROUP            ||   Instrument Group Number                              ||=Used to group instruments into sets=|| 
     40  ||                             ||                      ||                                                        ||=such as mappings to different databases.=|| 
     41  ||                             ||    LOGIN             ||   Database User login name                             ||     ''Future Use''                       || 
     42  ||                             ||    PW                ||   Database User password                               ||                                          || 
     43  ||                             ||    HOST              ||   Hostname where database is located                   ||                                          || 
     44  ||                             ||    PORT              ||   Port number to which database is connected           ||    eg. 3306 for MySQL                    || 
     45  ||                             ||    MECHANISM         ||   Type of DB interface code used                       ||    ''Future Use''                        || 
     46  ||                             ||    DB_TYPE           ||   Type of Database (eg. MySQL, PostgreSQL)             ||                                          || 
     47  ||                             ||    DB_NAME           ||   Name of Database the instrument group is located in  ||                                          || 
     48  ||                             ||    SP_CNAME          ||   Name of stored procedure used to count available data||                                          || 
     49  ||                             ||    SP_QNAME          ||   Name of stored procedure used to query data          ||    main sp used to return data           || 
     50  ||                             ||                      ||                                                        ||                                          || 
     51  ||='''instrument_details'''=||       PROVIDER          ||   Data Provider                                        ||                                          ||                
     52  ||                             ||    SOURCE            ||   Source of data                                       ||                                          || 
     53  ||                             ||    INSTRUMENT        ||   Instrument (eg. K-Cor, mk4, chp)                     ||                                          || 
     54  ||                             ||    SWITCHOVER_DATE   ||   Date when instrument data location changed           ||                                          || 
     55  ||                             ||    HOST_BEFORE       ||   Hostname where database was located before switchover||                                          || 
     56  ||                             ||    HOST_AFTER        ||   Hostname where database is located after switchover  ||                                          || 
     57  ||                             ||    DB_BEFORE         ||   Database name before switchover                      ||                                          || 
     58  ||                             ||    DB_AFTER          ||   Database name after switchover                       ||                                          || 
     59  ||                             ||                      ||                                                        ||                                          || 
     60  ||='''sp_details'''=||               PROVIDER          ||   Data Provider                                        ||                                          || 
     61  ||                             ||    SOURCE            ||   Source of data                                       ||                                          || 
     62  ||                             ||    IGROUP            ||   Instrument group no.                                 ||                                          || 
     63  ||                             ||    DB_NAME           ||   Database name where stored procedures are located    ||                                          || 
     64  ||                             ||    SP_CNAME          ||   Name of stored procedure used to count available data||       eg. count_acos                     || 
     65  ||                             ||    SP_QNAME          ||   Name of stored procedure used to query data          ||       eg. query_acos                     || 
     66  ||                             ||    ARG_LIST          ||   Colon-delimited list of arguments used in stored procedures ||  query fields listed without prefix, fields not in query have ''nq'' as prefix  || 
     67  ||                             ||    SQL_LIST          ||   Colon-delimited list of SQL DB types in above ARG_LIST ||                                        || 
     68  ||                             ||                      ||                                                          ||                                        || 
     69  ||='''schema_mapping'''=||           PROVIDER          ||   Data Provider                                          ||                                        || 
     70  ||                             ||    SOURCE            ||   Source of data                                         ||                                        || 
     71  ||                             ||    INSTRUMENT        ||   Instrument (eg. chp)                                   ||=instrument whose DB schema has changed=|| 
     72  ||                             ||                      ||                                                          ||=and hence needs field mappings=|| 
     73  ||                             ||    DB_NAME           ||   Database name where field mappings are needed          ||                                        || 
     74  ||                             ||    MISSING_COLUMN    ||   Name of missing field in query as a column name        ||    ''Future Use''                      || 
     75  ||                             ||    ORIGINAL_COLUMN   ||   Original field name in old DB that needs mapping       ||                                        || 
     76  ||                             ||    MAPPED_COLUMN     ||   New field in new DB that ORIGINAL_COLUMN is mapped to  ||  ORIGINAL_COLUMN --> MAPPED_COLUMN     || 
     77  ||                             ||    ORIGINAL_LABEL    ||   Original label of instrument                           ||                                        || 
     78  ||                             ||    MAPPED_LABEL      ||   New label of instrument                                ||  ORIGINAL_LABEL --> MAPPED_LABEL       || 
     79  ||                             ||    PER_YEAR          ||   Boolean variable marking if DB_NAME uses a per-year    ||  eg. 0 for MLSO                        || 
     80  ||                             ||                      ||   schema or not                                          ||                                        || 
     81                                 
     82 
     83Further details can be found in the attached document. 
     84