IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changeset 39983


Ignore:
Timestamp:
Feb 23, 2017, 9:06:34 PM (9 years ago)
Author:
mhuber
Message:

not save ppsub intermediate products in production with limited diskspace, retarget off nodes being decommissioned soon

Location:
trunk
Files:
2 edited

Legend:

Unmodified
Added
Removed
  • trunk/ippTasks/ipphosts.mhpcc.config

    r39944 r39983  
    1818##
    1919## PSNSC -- above is way out of date -- update 20170112 in anticipation of
    20 ## nodes <ipp054 being decomissioned in move to ITC -- will need another update once
     20## nodes <ipp,032,ipp054 being decomissioned in move to ITC -- will need another update once
    2121## move finished to include 105-117
    22 ## -- raw/ota -- keep to nodes with large % space (exclude ipp054-066)
     22## -- raw/ota -- keep to nodes with large % free space (exclude ipp054-066)
    2323## -- chip -- only on disk 1-2 days now -- cannot use the .1 partitions, so still use <ipp054 nodes (random when full/offline)
    2424## -- skycells -- warp+diff, can be large for uncompressed diffs for MOPS, over more nodes the better
    2525## -- distribution -- only warp images for SNIaF and diff catalogs
    26 ## nodes to avoid:
     26## nodes to avoid: (will be decommissioned soon)
    2727## -- auto-reboot cab set 008,012,013,014,016,018,037 -- avoid at least ipp013
    2828##
     
    3232ipphosts METADATA
    3333  camera STR skycell
    34   count S32  83
     34  count S32  70
    3535  sky00 STR  ipp067.0
    3636  sky01 STR  ipp068.0
     
    5656  sky21 STR  ipp088.0
    5757  sky22 STR  ipp089.0
    58   sky22 STR  ipp089.0
    59   sky23 STR  ipp090.0
    60   sky24 STR  ipp091.0
    61   sky25 STR  ipp092.0
    62   sky26 STR  ipp093.0
    63   sky27 STR  ipp094.0
    64   sky28 STR  ipp095.0
    65   sky29 STR  ipp096.0
    66   sky30 STR  ipp097.0
    67 
    68   sky31 STR  ipp100.0
    69   sky32 STR  ipp100.1
    70   sky33 STR  ipp101.0
    71   sky34 STR  ipp101.1
    72   sky35 STR  ipp102.0
    73   sky36 STR  ipp102.1
    74   sky37 STR  ipp103.0
    75   sky38 STR  ipp103.1
    76   sky39 STR  ipp104.0
    77   sky40 STR  ipp104.1
    78   sky41 STR  ipp100.0
    79   sky42 STR  ipp100.1
    80   sky43 STR  ipp101.0
    81   sky44 STR  ipp101.1
     58  sky22 STR  ipp090.0
     59  sky23 STR  ipp091.0
     60  sky24 STR  ipp092.0
     61  sky25 STR  ipp093.0
     62  sky26 STR  ipp094.0
     63  sky27 STR  ipp095.0
     64  sky28 STR  ipp096.0
     65  sky29 STR  ipp097.0
     66
     67  sky30 STR  ipp100.0
     68  sky31 STR  ipp100.1
     69  sky32 STR  ipp101.0
     70  sky33 STR  ipp101.1
     71  sky34 STR  ipp102.0
     72  sky35 STR  ipp102.1
     73  sky36 STR  ipp103.0
     74  sky37 STR  ipp103.1
     75  sky38 STR  ipp104.0
     76  sky39 STR  ipp104.1
     77  sky40 STR  ipp100.0
     78  sky41 STR  ipp100.1
     79  sky42 STR  ipp101.0
     80  sky43 STR  ipp101.1
     81  sky44 STR  ipp102.1
    8282  sky45 STR  ipp102.1
    83   sky46 STR  ipp102.1
    84   sky47 STR  ipp103.0
    85   sky48 STR  ipp103.1
    86   sky49 STR  ipp104.0
    87   sky50 STR  ipp104.1
    88 
    89   sky51 STR  ipp118.0
    90   sky52 STR  ipp118.1
    91   sky53 STR  ipp119.0
    92   sky54 STR  ipp119.1
    93   sky55 STR  ipp120.0
    94   sky56 STR  ipp120.1
    95   sky57 STR  ipp121.0
    96   sky58 STR  ipp121.1
    97   sky59 STR  ipp122.0
    98   sky60 STR  ipp122.1
    99   sky61 STR  ipp118.0
    100   sky62 STR  ipp118.1
    101   sky63 STR  ipp119.0
    102   sky64 STR  ipp119.1
    103   sky65 STR  ipp120.0
    104   sky66 STR  ipp120.1
    105   sky67 STR  ipp121.0
    106   sky68 STR  ipp121.1
    107   sky69 STR  ipp122.0
    108   sky70 STR  ipp122.1
    109 
    110   sky71 STR  ipp054.0
    111   sky72 STR  ipp055.0
    112   sky73 STR  ipp056.0
    113   sky74 STR  ipp057.0
    114   sky75 STR  ipp058.0
    115   sky76 STR  ipp059.0
    116   sky77 STR  ipp060.0
    117   sky78 STR  ipp061.0
    118   sky79 STR  ipp062.0
    119   sky80 STR  ipp063.0
    120   sky81 STR  ipp065.0
    121   sky82 STR  ipp066.0
     83  sky46 STR  ipp103.0
     84  sky47 STR  ipp103.1
     85  sky48 STR  ipp104.0
     86  sky49 STR  ipp104.1
     87
     88  sky50 STR  ipp118.0
     89  sky51 STR  ipp118.1
     90  sky52 STR  ipp119.0
     91  sky53 STR  ipp119.1
     92  sky54 STR  ipp120.0
     93  sky55 STR  ipp120.1
     94  sky56 STR  ipp121.0
     95  sky57 STR  ipp121.1
     96  sky58 STR  ipp122.0
     97  sky59 STR  ipp122.1
     98  sky60 STR  ipp118.0
     99  sky61 STR  ipp118.1
     100  sky62 STR  ipp119.0
     101  sky63 STR  ipp119.1
     102  sky64 STR  ipp120.0
     103  sky65 STR  ipp120.1
     104  sky66 STR  ipp121.0
     105  sky67 STR  ipp121.1
     106  sky68 STR  ipp122.0
     107  sky69 STR  ipp122.1
    122108END
    123109
    124 # These are ordered oddly to prevent excessive targetting shuffles.
    125 ## now focus on new storage nodes only 12/18/14
    126 ## -- chips transient and smaller so 67-97 --
    127 ## -- using lower 40TB nodes now since mostly full, XY basically only thing small enough -- 20160813 MEH
     110## focus nightly processing chips on nodes with less space since very temporary now
     111## -- also on single partition nodes since can only use those
    128112ipphosts METADATA
    129113  camera STR GPC1
    130   XY01  STR  ipp008
    131   XY02  STR  ipp009
    132   XY03  STR  ipp011
    133   XY04  STR  ipp012
    134   XY05  STR  ipp014
    135   XY06  STR  ipp015
    136   XY10  STR  ipp016
    137   XY11  STR  ipp017
    138   XY12  STR  ipp018
    139   XY13  STR  ipp023
    140   XY14  STR  ipp025
    141   XY15  STR  ipp026
    142   XY16  STR  ipp027
    143   XY17  STR  ipp028
    144   XY20  STR  ipp029
    145   XY21  STR  ipp031
    146   XY22  STR  ipp054
    147   XY23  STR  ipp055
    148   XY24  STR  ipp056
    149   XY25  STR  ipp057
    150   XY26  STR  ipp058
    151   XY27  STR  ipp059
    152   XY30  STR  ipp060
    153   XY31  STR  ipp061
    154   XY32  STR  ipp062
    155   XY33  STR  ipp063
    156   XY34  STR  ipp065
    157   XY35  STR  ipp066
    158 
    159   XY36  STR  ipp008
    160   XY37  STR  ipp009
    161   XY40  STR  ipp011
    162   XY41  STR  ipp012
    163   XY42  STR  ipp014
    164   XY43  STR  ipp015
    165   XY44  STR  ipp016
    166   XY45  STR  ipp017
    167   XY46  STR  ipp018
    168   XY47  STR  ipp023
    169   XY50  STR  ipp025
    170   XY51  STR  ipp026
    171   XY52  STR  ipp027
    172   XY53  STR  ipp028
    173   XY54  STR  ipp029
    174   XY55  STR  ipp031
    175   XY56  STR  ipp054
    176   XY57  STR  ipp055
    177   XY60  STR  ipp056
    178   XY61  STR  ipp057
    179   XY62  STR  ipp058
    180   XY63  STR  ipp059
    181   XY64  STR  ipp060
    182   XY65  STR  ipp061
    183   XY66  STR  ipp062
    184   XY67  STR  ipp063
    185   XY71  STR  ipp065
    186   XY72  STR  ipp066
    187 
    188   XY73  STR  ipp017
    189   XY74  STR  ipp017
    190   XY75  STR  ipp076
    191   XY76  STR  ipp076
     114  XY01  STR  ipp054
     115  XY02  STR  ipp055
     116  XY03  STR  ipp056
     117  XY04  STR  ipp057
     118  XY05  STR  ipp058
     119  XY06  STR  ipp059
     120  XY10  STR  ipp060
     121  XY11  STR  ipp061
     122  XY12  STR  ipp062
     123  XY13  STR  ipp063
     124  XY14  STR  ipp065
     125  XY15  STR  ipp066
     126
     127  XY16  STR  ipp054
     128  XY17  STR  ipp055
     129  XY20  STR  ipp056
     130  XY21  STR  ipp057
     131  XY22  STR  ipp058
     132  XY23  STR  ipp059
     133  XY24  STR  ipp060
     134  XY25  STR  ipp061
     135  XY26  STR  ipp062
     136  XY27  STR  ipp063
     137  XY30  STR  ipp065
     138  XY31  STR  ipp066
     139
     140  XY32  STR  ipp067
     141  XY33  STR  ipp068
     142  XY34  STR  ipp069
     143  XY35  STR  ipp070
     144  XY36  STR  ipp071
     145  XY37  STR  ipp072
     146  XY40  STR  ipp073
     147  XY41  STR  ipp074
     148  XY42  STR  ipp075
     149  XY43  STR  ipp076
     150  XY44  STR  ipp077
     151  XY45  STR  ipp078
     152  XY46  STR  ipp079
     153  XY47  STR  ipp080
     154  XY50  STR  ipp081
     155  XY51  STR  ipp082
     156  XY52  STR  ipp083
     157  XY53  STR  ipp084
     158  XY54  STR  ipp085
     159  XY55  STR  ipp086
     160  XY56  STR  ipp087
     161  XY57  STR  ipp088
     162  XY60  STR  ipp089
     163  XY61  STR  ipp090
     164  XY62  STR  ipp091
     165  XY63  STR  ipp092
     166  XY64  STR  ipp093
     167  XY65  STR  ipp094
     168  XY66  STR  ipp095
     169  XY67  STR  ipp096
     170  XY71  STR  ipp097
     171
     172  XY72  STR  ipp100
     173  XY73  STR  ipp101
     174  XY74  STR  ipp102
     175  XY75  STR  ipp103
     176  XY76  STR  ipp104
    192177END
    193178
    194 ## focus nightly processing ota on disks with more space 12/18/14
     179## focus nightly processing ota on disks with more space
     180## -- also primarily put on single parition nodes if possible
    195181## -- leave nodes with little space for temporary products
    196182ipphosts METADATA
     
    238224  ota51  STR  ipp103
    239225  ota52  STR  ipp104
     226
    240227  ota53  STR  ipp118
    241228  ota54  STR  ipp119
     
    260247
    261248## PSNSC minimal use except MOPS+QUB catalogs, SNIaF warps -- 20160405
    262 ### -- focus on using many nodes in case one lost MOPS have access to most
     249### -- focus on using many nodes in case one lost, MOPS still have access to most data
    263250ipphosts METADATA
    264251  camera STR distribution
    265   count  S32  26
    266   0      STR ipp009
    267   1      STR ipp010
    268   2      STR ipp011
    269   3      STR ipp024
    270   4      STR ipp025
    271   5      STR ipp026
    272   6      STR ipp027
    273   7      STR ipp028
    274   8      STR ipp030
    275   9      STR ipp031
    276  10      STR ipp054
    277  11      STR ipp055
    278  12      STR ipp056
    279  13      STR ipp057
    280  14      STR ipp058
    281  15      STR ipp059
    282  16      STR ipp060
    283  17      STR ipp061
    284  18      STR ipp062
    285  19      STR ipp063
    286  20      STR ipp065
    287  21      STR ipp066
    288  22      STR ipp054
    289  23      STR ipp055
    290  24      STR ipp056
    291  25      STR ipp057
     252  count  S32  43
     253  0      STR ipp054
     254  1      STR ipp055
     255  2      STR ipp056
     256  3      STR ipp057
     257  4      STR ipp058
     258  5      STR ipp059
     259  6      STR ipp060
     260  7      STR ipp061
     261  8      STR ipp062
     262  9      STR ipp063
     263 10      STR ipp065
     264 11      STR ipp066
     265
     266 12      STR ipp067
     267 13      STR ipp068
     268 14      STR ipp069
     269 15      STR ipp070
     270 16      STR ipp071
     271 17      STR ipp072
     272 18      STR ipp073
     273 19      STR ipp074
     274 20      STR ipp075
     275 21      STR ipp076
     276 22      STR ipp077
     277 23      STR ipp078
     278 24      STR ipp079
     279 25      STR ipp080
     280 26      STR ipp081
     281 27      STR ipp082
     282 28      STR ipp083
     283 29      STR ipp084
     284 30      STR ipp085
     285 31      STR ipp086
     286 32      STR ipp087
     287 33      STR ipp088
     288 34      STR ipp089
     289 35      STR ipp090
     290 36      STR ipp091
     291 37      STR ipp092
     292 38      STR ipp093
     293 39      STR ipp094
     294 40      STR ipp095
     295 41      STR ipp096
     296 42      STR ipp097
    292297END
    293298
     299## -- needs to be updated if start distributing chips again
    294300ipphosts METADATA
    295301  camera STR dist_chip
     
    372378END
    373379
     380
    374381ipphosts METADATA
    375382  camera STR dist_skycell
    376383  count S32  86
    377   sky00 STR  ipp009
    378   sky01 STR  ipp010
    379   sky02 STR  ipp011
    380   sky03 STR  ipp024
    381   sky04 STR  ipp025
    382   sky05 STR  ipp026
    383   sky06 STR  ipp027
    384   sky07 STR  ipp028
    385   sky08 STR  ipp030
    386   sky09 STR  ipp031
    387   sky10 STR  ipp054
    388   sky11 STR  ipp055
    389   sky12 STR  ipp056
    390   sky13 STR  ipp057
    391   sky14 STR  ipp058
    392   sky15 STR  ipp059
    393   sky16 STR  ipp060
    394   sky17 STR  ipp061
    395   sky18 STR  ipp062
    396   sky19 STR  ipp063
    397   sky20 STR  ipp065
    398   sky21 STR  ipp066
    399   sky22 STR  ipp067
    400   sky23 STR  ipp068
    401   sky24 STR  ipp069
    402   sky25 STR  ipp071
    403   sky26 STR  ipp072
    404   sky27 STR  ipp073
    405   sky28 STR  ipp074
    406   sky29 STR  ipp075
    407   sky30 STR  ipp076
    408   sky31 STR  ipp077
    409   sky32 STR  ipp078
    410   sky33 STR  ipp079
    411   sky34 STR  ipp080
    412   sky35 STR  ipp081
    413   sky36 STR  ipp082
    414   sky37 STR  ipp084
    415   sky38 STR  ipp094
    416   sky39 STR  ipp095
    417   sky40 STR  ipp097
    418   sky41 STR  ipp009
    419   sky42 STR  ipp010
    420   sky43 STR  ipp011
    421   sky44 STR  ipp024
    422   sky45 STR  ipp025
    423   sky46 STR  ipp026
    424   sky47 STR  ipp027
    425   sky48 STR  ipp028
    426   sky49 STR  ipp030
    427   sky50 STR  ipp031
    428   sky51 STR  ipp054
    429   sky52 STR  ipp055
    430   sky53 STR  ipp056
    431   sky54 STR  ipp057
    432   sky55 STR  ipp058
    433   sky56 STR  ipp059
    434   sky57 STR  ipp060
    435   sky58 STR  ipp061
    436   sky59 STR  ipp062
    437   sky60 STR  ipp063
    438   sky61 STR  ipp065
    439   sky62 STR  ipp066
    440   sky63 STR  ipp067
    441   sky64 STR  ipp068
    442   sky65 STR  ipp069
    443   sky66 STR  ipp071
    444   sky67 STR  ipp072
    445   sky68 STR  ipp073
    446   sky69 STR  ipp074
    447   sky70 STR  ipp075
    448   sky71 STR  ipp076
    449   sky72 STR  ipp077
    450   sky73 STR  ipp078
    451   sky74 STR  ipp079
    452   sky75 STR  ipp080
    453   sky76 STR  ipp081
    454   sky77 STR  ipp082
    455   sky78 STR  ipp084
    456   sky79 STR  ipp094
    457   sky80 STR  ipp095
    458   sky81 STR  ipp097
    459   sky82 STR  ipp100
    460   sky83 STR  ipp102
    461   sky84 STR  ipp103
    462   sky85 STR  ipp104
     384  sky00 STR  ipp054
     385  sky01 STR  ipp055
     386  sky02 STR  ipp056
     387  sky03 STR  ipp057
     388  sky04 STR  ipp058
     389  sky05 STR  ipp059
     390  sky06 STR  ipp060
     391  sky07 STR  ipp061
     392  sky08 STR  ipp062
     393  sky09 STR  ipp063
     394  sky10 STR  ipp065
     395  sky11 STR  ipp066
     396
     397  sky12 STR  ipp054
     398  sky13 STR  ipp055
     399  sky14 STR  ipp056
     400  sky15 STR  ipp057
     401  sky16 STR  ipp058
     402  sky17 STR  ipp059
     403  sky18 STR  ipp060
     404  sky19 STR  ipp061
     405  sky20 STR  ipp062
     406  sky21 STR  ipp063
     407  sky22 STR  ipp065
     408  sky23 STR  ipp066
     409
     410  sky24 STR  ipp067
     411  sky25 STR  ipp068
     412  sky26 STR  ipp069
     413  sky27 STR  ipp070
     414  sky28 STR  ipp071
     415  sky29 STR  ipp072
     416  sky30 STR  ipp073
     417  sky31 STR  ipp074
     418  sky32 STR  ipp075
     419  sky33 STR  ipp076
     420  sky34 STR  ipp077
     421  sky35 STR  ipp078
     422  sky36 STR  ipp079
     423  sky37 STR  ipp080
     424  sky38 STR  ipp081
     425  sky39 STR  ipp082
     426  sky40 STR  ipp083
     427  sky41 STR  ipp084
     428  sky42 STR  ipp085
     429  sky43 STR  ipp086
     430  sky44 STR  ipp087
     431  sky45 STR  ipp088
     432  sky46 STR  ipp089
     433  sky47 STR  ipp090
     434  sky48 STR  ipp091
     435  sky49 STR  ipp092
     436  sky50 STR  ipp093
     437  sky51 STR  ipp094
     438  sky52 STR  ipp095
     439  sky53 STR  ipp096
     440  sky54 STR  ipp097
     441
     442  sky55 STR  ipp067
     443  sky56 STR  ipp068
     444  sky57 STR  ipp069
     445  sky58 STR  ipp070
     446  sky59 STR  ipp071
     447  sky60 STR  ipp072
     448  sky61 STR  ipp073
     449  sky62 STR  ipp074
     450  sky63 STR  ipp075
     451  sky64 STR  ipp076
     452  sky65 STR  ipp077
     453  sky66 STR  ipp078
     454  sky67 STR  ipp079
     455  sky68 STR  ipp080
     456  sky69 STR  ipp081
     457  sky70 STR  ipp082
     458  sky71 STR  ipp083
     459  sky72 STR  ipp084
     460  sky73 STR  ipp085
     461  sky74 STR  ipp086
     462  sky75 STR  ipp087
     463  sky76 STR  ipp088
     464  sky77 STR  ipp089
     465  sky78 STR  ipp090
     466  sky79 STR  ipp091
     467  sky80 STR  ipp092
     468  sky81 STR  ipp093
     469  sky82 STR  ipp094
     470  sky83 STR  ipp095
     471  sky84 STR  ipp096
     472  sky85 STR  ipp097
    463473END
    464474
  • trunk/ippconfig/recipes/filerules-split.mdc

    r38392 r39983  
    322322PPSUB.INVERSE.SOURCES        OUTPUT {OUTPUT}.inv.cmf                  CMF             NONE       FPA        TRUE      NONE
    323323PPSUB.CONFIG                 OUTPUT {OUTPUT}.ppSub.mdc                TEXT            NONE       FPA        TRUE      NONE
    324 PPSUB.INPUT.CONV             OUTPUT {OUTPUT}.inConv.fits              IMAGE           COMP_IMG   FPA        TRUE      NONE
    325 PPSUB.INPUT.CONV.MASK        OUTPUT {OUTPUT}.inConv.mk.fits           MASK            COMP_MASK  FPA        TRUE      NONE
    326 PPSUB.INPUT.CONV.VARIANCE    OUTPUT {OUTPUT}.inConv.wt.fits           VARIANCE        COMP_WT    FPA        TRUE      NONE
    327 PPSUB.REF.CONV               OUTPUT {OUTPUT}.refConv.fits             IMAGE           COMP_IMG   FPA        TRUE      NONE
    328 PPSUB.REF.CONV.MASK          OUTPUT {OUTPUT}.refConv.mk.fits          MASK            COMP_MASK  FPA        TRUE      NONE
    329 PPSUB.REF.CONV.VARIANCE      OUTPUT {OUTPUT}.refConv.wt.fits          VARIANCE        COMP_WT    FPA        TRUE      NONE
     324PPSUB.INPUT.CONV             OUTPUT {OUTPUT}.inConv.fits              IMAGE           COMP_IMG   FPA        FALSE      NONE
     325PPSUB.INPUT.CONV.MASK        OUTPUT {OUTPUT}.inConv.mk.fits           MASK            COMP_MASK  FPA        FALSE      NONE
     326PPSUB.INPUT.CONV.VARIANCE    OUTPUT {OUTPUT}.inConv.wt.fits           VARIANCE        COMP_WT    FPA        FALSE      NONE
     327PPSUB.REF.CONV               OUTPUT {OUTPUT}.refConv.fits             IMAGE           COMP_IMG   FPA        FALSE      NONE
     328PPSUB.REF.CONV.MASK          OUTPUT {OUTPUT}.refConv.mk.fits          MASK            COMP_MASK  FPA        FALSE      NONE
     329PPSUB.REF.CONV.VARIANCE      OUTPUT {OUTPUT}.refConv.wt.fits          VARIANCE        COMP_WT    FPA        FALSE      NONE
    330330                                                                                                     
    331331PPSUB.FORCED1.SOURCES        OUTPUT {OUTPUT}.frc1.cmf                 CMF             NONE       FPA        TRUE      NONE
Note: See TracChangeset for help on using the changeset viewer.