IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changes between Version 15 and Version 16 of ippReleaseManagement


Ignore:
Timestamp:
Aug 9, 2013, 9:54:23 AM (13 years ago)
Author:
bills
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • ippReleaseManagement

    v15 v16  
    158158{{{
    159159mysql> describe ippRelease;
    160 +---------------+-------------+------+-----+---------+----------------+
    161 | Field         | Type        | Null | Key | Default | Extra          |
    162 +---------------+-------------+------+-----+---------+----------------+
    163 | rel_id        | int(8)      | NO   | PRI | NULL    | auto_increment |
    164 | surveyID      | int(8)      | YES  | MUL | NULL    |                |
    165 | releaseName   | varchar(64) | YES  | MUL | NULL    |                |
    166 | release_state | varchar(16) | YES  | MUL | NULL    |                |
    167 | dataRelease   | int(8)      | YES  |     | NULL    |                |
    168 | priority      | int(11)     | YES  |     | NULL    |                |
    169 +---------------+-------------+------+-----+---------+----------------+
    170 6 rows in set (0.00 sec)
     160+---------------+--------------+------+-----+---------+----------------+
     161| Field         | Type         | Null | Key | Default | Extra          |
     162+---------------+--------------+------+-----+---------+----------------+
     163| rel_id        | int(11)      | NO   | PRI | NULL    | auto_increment |
     164| surveyID      | int(11)      | YES  | MUL | NULL    |                |
     165| release_name  | varchar(64)  | YES  | MUL | NULL    |                |
     166| release_state | varchar(16)  | YES  | MUL | NULL    |                |
     167| dataRelease   | int(11)      | YES  |     | NULL    |                |
     168| priority      | int(11)      | YES  | MUL | NULL    |                |
     169| dvodb         | varchar(255) | YES  |     | NULL    |                |
     170| ubercal_file  | varchar(255) | YES  |     | NULL    |                |
     171+---------------+--------------+------+-----+---------+----------------+
     1728 rows in set (0.00 sec)
    171173}}}
    172174
    … …  
    182184 * dataRelease - If not negative, the dataRelease value in the PSPS tables corresponding to this ippRelease.
    183185 * priority - An integer value giving the priority of the various releases for the survey.
     186 * dvodb - name of dvo database used for calibration
     187 * ubercal_file - file name of fits table that provided the ubercal calibrations
    184188
    185189Here is an example of how this system might work for the 3pi survey. Assume that we have finished the
    … …  
    187191
    188192{{{
    189 mysql> select * from ippRelease where releaseName like '3PI%' order by priority desc;
    190 +--------+----------+-------------+---------------+-------------+----------+
    191 | rel_id | surveyID | releaseName | release_state | dataRelease | priority |
    192 +--------+----------+-------------+---------------+-------------+----------+
    193 |      5 |        0 | 3PI.GR1     | active        |           1 |        2 |
    194 |      1 |        0 | 3PI.nightly | active        |          -1 |        0 |
    195 |      2 |        0 | 3PI.GR0     | archive       |           0 |       -1 |
    196 |      6 |        0 | 3PI.GR2     | pending       |           2 |     NULL |
    197 +--------+----------+-------------+---------------+-------------+----------+
    198 4 rows in set (0.00 sec)
     193mysql> select * from ippRelease where release_name like '3PI%';
     194+--------+----------+--------------+---------------+-------------+----------+-------------------------+-------------------+
     195| rel_id | surveyID | release_name | release_state | dataRelease | priority | dvodb                   | ubercal_file      |
     196+--------+----------+--------------+---------------+-------------+----------+-------------------------+-------------------+
     197|      1 |        0 | 3PI.nightly  | active        |          -1 |       10 | NULL                    | NULL              |
     198|      2 |        0 | 3PI.PV1      | active        |           1 |       20 | LAP.ThreePi.20120706.v2 | ucalqw_noref.fits |
     199|     37 |        0 | 3PI.PV2      | active        |           2 |       30 | NULL                    | NULL              |
     200+--------+----------+--------------+---------------+-------------+----------+-------------------------+-------------------+
     2013 rows in set (0.00 sec)
    199202}}}
    200203
    … …  
    204207processing. Since these data are not being ingested into PSPS the dataRelease column is -1.
    205208
    206 3PI.GR1 refers to the current 3PI "grand reprocessing". This release is active. dataRelease == 1
    207 
    208 The 2011 grand reprocessing is named here 3PI.GR0 (LAP.ThreePi.20110809). The state for this
    209 release is archive. Data corresponding to that release is identified by dataRelease == 0.
    210 
    211 3PI.GR2 is the next grand reprocessing dataRelease == 2. The state of this release is pending.
     2093PI.PV1 refers to the 2012 3PI "grand reprocessing". This release is active. dataRelease == 1
     210
     211
     2123PI.PV2 is the next grand reprocessing dataRelease == 2. The state of this release is active.
    212213
    213214The priority column is used to select the release of the data that should returned by the IPP
    … …  
    216217will use queries ordered this way.
    217218
    218 Data will be returned from the highest priority release. In our example this is 3PI.GR1. If the
     219Data will be returned from the highest priority release. In our example this is 3PI.PV2. If the
    219220given exposure or skycell has not been (successfully) processed in the highest priority release
    220221data will be returned from a lower priority release.
    … …  
    243244{{{
    244245mysql> describe relExp;
    245 +------------+------------------+------+-----+---------+----------------+
    246 | Field      | Type             | Null | Key | Default | Extra          |
    247 +------------+------------------+------+-----+---------+----------------+
    248 | relexp_id  | bigint(20)       | NO   | PRI | NULL    | auto_increment |
    249 | rel_id     | int(8)           | YES  | MUL | NULL    |                |
    250 | exp_id     | bigint(20)       | YES  | MUL | NULL    |                |
    251 | chip_id    | bigint(20)       | YES  | MUL | NULL    |                |
    252 | cam_id     | bigint(20)       | YES  | MUL | NULL    |                |
    253 | state      | varchar(16)      | YES  | MUL | NULL    |                |
    254 | flags      | int(10) unsigned | YES  |     | NULL    |                |
    255 | zpt_obs    | float            | YES  |     | NULL    |                |
    256 | zpt_stdev  | float            | YES  |     | NULL    |                |
    257 | path_base  | varchar(255)     | YES  |     | NULL    |                |
    258 | registered | datetime         | YES  |     | NULL    |                |
    259 | time_stamp | datetime         | YES  |     | NULL    |                |
    260 +------------+------------------+------+-----+---------+----------------+
    261 12 rows in set (0.00 sec)
     246+--------------+------------------+------+-----+---------+----------------+
     247| Field        | Type             | Null | Key | Default | Extra          |
     248+--------------+------------------+------+-----+---------+----------------+
     249| relexp_id    | bigint(20)       | NO   | PRI | NULL    | auto_increment |
     250| rel_id       | int(11)          | YES  | MUL | NULL    |                |
     251| exp_id       | bigint(20)       | YES  | MUL | NULL    |                |
     252| chip_id      | bigint(20)       | YES  | MUL | NULL    |                |
     253| cam_id       | bigint(20)       | YES  | MUL | NULL    |                |
     254| group_id     | int(11)          | YES  | MUL | NULL    |                |
     255| state        | varchar(16)      | YES  | MUL | NULL    |                |
     256| flags        | int(10) unsigned | YES  |     | NULL    |                |
     257| zpt_obs      | float            | YES  |     | NULL    |                |
     258| zpt_stdev    | float            | YES  |     | NULL    |                |
     259| mcal         | float            | YES  |     | NULL    |                |
     260| ubercal_dist | int(11)          | YES  |     | 0       |                |
     261| path_base    | varchar(255)     | YES  |     | NULL    |                |
     262| fault        | smallint(6)      | NO   | MUL | NULL    |                |
     263| registered   | datetime         | YES  |     | NULL    |                |
     264| time_stamp   | datetime         | YES  |     | NULL    |                |
     265+--------------+------------------+------+-----+---------+----------------+
     26616 rows in set (0.00 sec)
    262267}}}
    263268
    … …  
    276281 * drop - This relExp is to be dropped for some reason.
    277282
    278 The full results and history of any calibration operations will be stored in files referenced by the relExp's path_base.
    279283
    280284== Released Stack ==
    … …  
    288292+-------------+------------------+------+-----+---------+----------------+
    289293| relstack_id | bigint(20)       | NO   | PRI | NULL    | auto_increment |
    290 | rel_id      | int(8)           | YES  | MUL | NULL    |                |
    291 | skycal_id   | bigint(20)       | YES  | MUL | NULL    |                |
     294| rel_id      | int(11)          | YES  | MUL | NULL    |                |
     295| stack_id    | bigint(20)       | YES  | MUL | NULL    |                |
     296| skycal_id   | bigint(20)       | YES  |     | NULL    |                |
    292297| skycell_id  | varchar(64)      | YES  |     | NULL    |                |
    293298| tess_id     | varchar(64)      | YES  | MUL | NULL    |                |
    294 | state       | varchar(16)      | YES  |     | NULL    |                |
     299| filter      | varchar(16)      | YES  |     | NULL    |                |
     300| state       | varchar(16)      | YES  | MUL | NULL    |                |
    295301| flags       | int(10) unsigned | YES  |     | NULL    |                |
    296 | stack_type  | varchar(16)      | YES  |     | NULL    |                |
     302| stack_type  | varchar(16)      | YES  | MUL | NULL    |                |
    297303| zpt_obs     | float            | YES  |     | NULL    |                |
    298304| zpt_stdev   | float            | YES  |     | NULL    |                |
    299 | fwhm_major  | float            | YES  |    | NULL    |                |
     305| mjd_obs     | int(10) unsigned | YES  | MUL | NULL    |                |
    300306| path_base   | varchar(255)     | YES  |     | NULL    |                |
     307| fault       | smallint(6)      | NO   | MUL | NULL    |                |
    301308| registered  | datetime         | YES  |     | NULL    |                |
    302309| time_stamp  | datetime         | YES  |     | NULL    |                |
    303310+-------------+------------------+------+-----+---------+----------------+
    304 14 rows in set (0.00 sec)
    305 
     31117 rows in set (0.00 sec)
    306312}}}
    307313
    … …  
    309315
    310316 * stack_type will have one of three values "deep", "reference", or "nightly"
    311  * fwhm_major will contain the measurement of the seeing as measured by psphotStack. This is currently not stored anywhere in the ipp database so it will be extracted from the cmf header by the process that creates the relStack entry.
    312317
    313318== Data Access ==
    … …  
    321326If a particular release name is not supplied an appropriate release will be chosen by the system using the priority system described above.
    322327
    323 ISSUES/TODO:
    324  * Allow pstamp selection based on fwhm_max (min??) as requested by several users.
    325  * We probalby need to add stack_id to relStack and allow skycal_id to be NULL. This would allow stacks to be made available prior to skycal running. Actually nightly stacks don't get staticsky or skycal processing.
    326  
     328