IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Ignore:
Timestamp:
Jul 28, 2014, 6:20:27 AM (12 years ago)
Author:
eugene
Message:

dropping options for stilts dvo import methods; fixing a number of previously ignored errors (eg, dropping non-existent tables); allowing queue questions to strip leading and trailing spaces (so we can read from an input file); echo back the response so input from a file is clearer; re-write big sql blocks with new sql utility code; updating names in MeanObject, ObjectThin to be more consistent; add a new test code program; update detection fields to match new schema; drop the code for the old now-unused tables (detecitonCalib, SkinnyObject, etc)

Location:
branches/eam_branches/ipp-20140717/ippToPsps
Files:
2 edited

Legend:

Unmodified
Added
Removed
  • branches/eam_branches/ipp-20140717/ippToPsps

  • branches/eam_branches/ipp-20140717/ippToPsps/test/fulltest.sh

    r35456 r37129  
    171171endif
    172172
    173 #  `name`
    174 #  `datastore_product`
    175 #  `datastore_type`
    176 #  `datastore_publish`
    177 #  `dvo_label`
    178 #  `dvo_location`
    179 #  `min_ra`
    180 #  `max_ra`
    181 #  `min_dec`
    182 #  `max_dec`
    183 #  `box_size`
    184 #  `base_path`
    185 #  `data_release`
    186 #  `delete_local`
    187 #  `delete_datastore`
    188 #  `delete_dxlayer`
    189 #  `epoch`
    190 #  `survey`
    191 #  `psps_survey`
    192 #  `queue_P2`
    193 #  `queue_ST`
    194 #  `queue_OB`
    195 #  `active`
    196 #  `parallel`
    197 
    198173# this is poor : we need to queue something in order to generate an init batch
    199174# this is because a skychunk carries the info about the datastore used to publish
     
    203178  echo " ---- make skychunk for IN batches ----"
    204179
    205   ippjython queue.py -test edit <<EOF
    206 initbatch
    207 test_ds
    208 IPP_PSPS
    209 0
    210 none
    211 none
    212 0
    213 0
    214 0
    215 0
    216 2
    217 none
    218 0
    219 0
    220 1
    221 1
    222 2012-12-10 00:00:00.0
    223 3PI
    224 3PI
    225 0
    226 0
    227 0
    228 1
    229 0
    230 y
    231 y
    232 EOF
     180  echo "initbatch              " >  initbatch.dat # skychunk name
     181  echo "test_ds                " >> initbatch.dat # datastore_product
     182  echo "IPP_PSPS               " >> initbatch.dat # datastore_type
     183  echo "0                      " >> initbatch.dat # datastore_publish
     184  echo "none                   " >> initbatch.dat # dvo_label
     185  echo "none                   " >> initbatch.dat # dvo_location
     186  echo "0                      " >> initbatch.dat # min_ra
     187  echo "0                      " >> initbatch.dat # max_ra
     188  echo "0                      " >> initbatch.dat # min_dec
     189  echo "0                      " >> initbatch.dat # max_dec
     190  echo "2                      " >> initbatch.dat # box_size
     191  echo "none                   " >> initbatch.dat # base_path
     192  echo "0                      " >> initbatch.dat # data_release
     193  echo "0                      " >> initbatch.dat # delete_local
     194  echo "1                      " >> initbatch.dat # delete_datastore
     195  echo "1                      " >> initbatch.dat # delete_dxlayer
     196  echo "2012-12-10 00:00:00.0  " >> initbatch.dat # epoch
     197  echo "3PI                    " >> initbatch.dat # survey
     198  echo "3PI                    " >> initbatch.dat # psps_survey
     199  echo "0                      " >> initbatch.dat # queue_P2
     200  echo "0                      " >> initbatch.dat # queue_ST
     201  echo "0                      " >> initbatch.dat # queue_OB
     202  echo "0                      " >> initbatch.dat # queue_DF
     203  echo "0                      " >> initbatch.dat # queue_DO
     204  echo "0                      " >> initbatch.dat # queue_FW
     205  echo "0                      " >> initbatch.dat # queue_FO
     206  echo "1                      " >> initbatch.dat # active
     207  echo "0                      " >> initbatch.dat # parallel
     208  echo "use_new                " >> initbatch.dat # P2_smf_version
     209  echo "any                    " >> initbatch.dat # ST_cmf_version
     210  echo "2000-01-01 00:00:00.0  " >> initbatch.dat # trange_start
     211  echo "2020-01-01 00:00:00.0  " >> initbatch.dat # trange_end
     212  cat initbatch.dat | ippjython queue.py -test edit
    233213
    234214  echo ""
     
    244224  echo " ---- queue P2 batches ----"
    245225
    246   ippjython queue.py -test edit <<EOF
    247 $queuename
    248 test_ds
    249 IPP_PSPS
    250 0
    251 catdir.cam
    252 $OUTDIR/catdir.cam
    253 9
    254 11
    255 19
    256 21
    257 2
    258 $OUTDIR
    259 0
    260 0
    261 1
    262 1
    263 2012-12-10 00:00:00.0
    264 3PI
    265 3PI
    266 1
    267 0
    268 0
    269 1
    270 0
    271 y
    272 y
    273 EOF
     226  echo "$queuename            " >  cambatch.dat # skychunk name
     227  echo "test_ds               " >> cambatch.dat # datastore_product
     228  echo "IPP_PSPS              " >> cambatch.dat # datastore_type
     229  echo "0                     " >> cambatch.dat # datastore_publish
     230  echo "catdir.cam            " >> cambatch.dat # dvo_label
     231  echo "$OUTDIR/catdir.cam    " >> cambatch.dat # dvo_location
     232  echo "9                     " >> cambatch.dat # min_ra
     233  echo "11                    " >> cambatch.dat # max_ra
     234  echo "19                    " >> cambatch.dat # min_dec
     235  echo "21                    " >> cambatch.dat # max_dec
     236  echo "2                     " >> cambatch.dat # box_size
     237  echo "$OUTDIR               " >> cambatch.dat # base_path
     238  echo "0                     " >> cambatch.dat # data_release
     239  echo "0                     " >> cambatch.dat # delete_local
     240  echo "1                     " >> cambatch.dat # delete_datastore
     241  echo "1                     " >> cambatch.dat # delete_dxlayer
     242  echo "2012-12-10 00:00:00.0 " >> cambatch.dat # epoch
     243  echo "3PI                   " >> cambatch.dat # survey
     244  echo "3PI                   " >> cambatch.dat # psps_survey
     245  echo "1                     " >> cambatch.dat # queue_P2
     246  echo "0                     " >> cambatch.dat # queue_ST
     247  echo "0                     " >> cambatch.dat # queue_OB
     248  echo "0                     " >> cambatch.dat # queue_DF
     249  echo "0                     " >> cambatch.dat # queue_DO
     250  echo "0                     " >> cambatch.dat # queue_FW
     251  echo "0                     " >> cambatch.dat # queue_FO
     252  echo "1                     " >> cambatch.dat # active
     253  echo "0                     " >> cambatch.dat # parallel
     254  echo "use_new               " >> cambatch.dat # P2_smf_version
     255  echo "any                   " >> cambatch.dat # ST_cmf_version
     256  echo "2000-01-01 00:00:00.0 " >> cambatch.dat # trange_start
     257  echo "2020-01-01 00:00:00.0 " >> cambatch.dat # trange_end
     258  cat cambatch.dat | ippjython queue.py -test edit
    274259endif
    275260
     
    290275    set stackqueuename = $queuename\_stk
    291276  endif
    292   ippjython queue.py -test edit <<EOF
    293 $stackqueuename
    294 test_ds
    295 IPP_PSPS
    296 0
    297 catdir.stk
    298 $OUTDIR/catdir.stk
    299 9
    300 11
    301 19
    302 21
    303 2
    304 $OUTDIR
    305 0
    306 0
    307 1
    308 1
    309 2012-12-10 00:00:00.0
    310 3PI
    311 3PI
    312 0
    313 1
    314 0
    315 1
    316 0
    317 y
    318 y
    319 EOF
     277  echo "$stackqueuename       " >  stackbatch.dat # skychunk name
     278  echo "test_ds               " >> stackbatch.dat # datastore_product
     279  echo "IPP_PSPS              " >> stackbatch.dat # datastore_type
     280  echo "0                     " >> stackbatch.dat # datastore_publish
     281  echo "catdir.stk            " >> stackbatch.dat # dvo_label
     282  echo "$OUTDIR/catdir.stk    " >> stackbatch.dat # dvo_location
     283  echo "9                     " >> stackbatch.dat # min_ra
     284  echo "11                    " >> stackbatch.dat # max_ra
     285  echo "19                    " >> stackbatch.dat # min_dec
     286  echo "21                    " >> stackbatch.dat # max_dec
     287  echo "2                     " >> stackbatch.dat # box_size
     288  echo "$OUTDIR               " >> stackbatch.dat # base_path
     289  echo "0                     " >> stackbatch.dat # data_release
     290  echo "0                     " >> stackbatch.dat # delete_local
     291  echo "1                     " >> stackbatch.dat # delete_datastore
     292  echo "1                     " >> stackbatch.dat # delete_dxlayer
     293  echo "2012-12-10 00:00:00.0 " >> stackbatch.dat # epoch
     294  echo "3PI                   " >> stackbatch.dat # survey
     295  echo "3PI                   " >> stackbatch.dat # psps_survey
     296  echo "0                     " >> stackbatch.dat # queue_P2
     297  echo "1                     " >> stackbatch.dat # queue_ST
     298  echo "0                     " >> stackbatch.dat # queue_OB
     299  echo "0                     " >> stackbatch.dat # queue_DF
     300  echo "0                     " >> stackbatch.dat # queue_DO
     301  echo "0                     " >> stackbatch.dat # queue_FW
     302  echo "0                     " >> stackbatch.dat # queue_FO
     303  echo "1                     " >> stackbatch.dat # active
     304  echo "0                     " >> stackbatch.dat # parallel
     305  echo "use_new               " >> stackbatch.dat # P2_smf_version
     306  echo "any                   " >> stackbatch.dat # ST_cmf_version
     307  echo "2000-01-01 00:00:00.0 " >> stackbatch.dat # trange_start
     308  echo "2020-01-01 00:00:00.0 " >> stackbatch.dat # trange_end
     309  cat stackbatch.dat | ippjython queue.py -test edit
    320310endif
    321311
     
    339329    set objectqueuename = $queuename\_obj
    340330  endif
    341   ippjython queue.py -test edit <<EOF
    342 $objectqueuename
    343 test_ds
    344 IPP_PSPS
    345 0
    346 catdir.stk
    347 $OUTDIR/catdir.stk
    348 9
    349 11
    350 19
    351 21
    352 2
    353 $OUTDIR
    354 0
    355 0
    356 1
    357 1
    358 2012-12-10 00:00:00.0
    359 3PI
    360 3PI
    361 0
    362 0
    363 1
    364 1
    365 0
    366 y
    367 y
    368 EOF
     331  echo "$objectqueuename      " >  objectbatch.dat # skychunk name
     332  echo "test_ds               " >> objectbatch.dat # datastore_product
     333  echo "IPP_PSPS              " >> objectbatch.dat # datastore_type
     334  echo "0                     " >> objectbatch.dat # datastore_publish
     335  echo "catdir.cam            " >> objectbatch.dat # dvo_label
     336  echo "$OUTDIR/catdir.cam    " >> objectbatch.dat # dvo_location
     337  echo "9                     " >> objectbatch.dat # min_ra
     338  echo "11                    " >> objectbatch.dat # max_ra
     339  echo "19                    " >> objectbatch.dat # min_dec
     340  echo "21                    " >> objectbatch.dat # max_dec
     341  echo "2                     " >> objectbatch.dat # box_size
     342  echo "$OUTDIR               " >> objectbatch.dat # base_path
     343  echo "0                     " >> objectbatch.dat # data_release
     344  echo "0                     " >> objectbatch.dat # delete_local
     345  echo "1                     " >> objectbatch.dat # delete_datastore
     346  echo "1                     " >> objectbatch.dat # delete_dxlayer
     347  echo "2012-12-10 00:00:00.0 " >> objectbatch.dat # epoch
     348  echo "3PI                   " >> objectbatch.dat # survey
     349  echo "3PI                   " >> objectbatch.dat # psps_survey
     350  echo "0                     " >> objectbatch.dat # queue_P2
     351  echo "0                     " >> objectbatch.dat # queue_ST
     352  echo "1                     " >> objectbatch.dat # queue_OB
     353  echo "0                     " >> objectbatch.dat # queue_DF
     354  echo "0                     " >> objectbatch.dat # queue_DO
     355  echo "0                     " >> objectbatch.dat # queue_FW
     356  echo "0                     " >> objectbatch.dat # queue_FO
     357  echo "1                     " >> objectbatch.dat # active
     358  echo "0                     " >> objectbatch.dat # parallel
     359  echo "use_new               " >> objectbatch.dat # P2_smf_version
     360  echo "any                   " >> objectbatch.dat # ST_cmf_version
     361  echo "2000-01-01 00:00:00.0 " >> objectbatch.dat # trange_start
     362  echo "2020-01-01 00:00:00.0 " >> objectbatch.dat # trange_end
     363  cat objectbatch.dat | ippjython queue.py -test edit once
    369364endif
    370365
Note: See TracChangeset for help on using the changeset viewer.