IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changeset 37163


Ignore:
Timestamp:
Jul 31, 2014, 2:35:47 PM (12 years ago)
Author:
eugene
Message:

updating sas test code

Location:
branches/eam_branches/ipp-20140717/ippToPsps/test
Files:
3 edited

Legend:

Unmodified
Added
Removed

  • branches/eam_branches/ipp-20140717/ippToPsps/test/fulltest.sh

    r37157 r37163  
    11#!/bin/csh -f
    22
    3 chmod +x *.dvo *.sh
     3chmod +x mkgpc1data.dvo mkgpc1.sh
    44
    55# a bit crude : get the datadir path by interpollation of the PATH element for psconfig
    … …  
    1414# before running this test, you must have a mysql user:
    1515# mkgpc1.sh user localhost eam eam
     16
    1617set mkgpc1       = 1
    1718set initdb       = 1
    … …  
    157158  mysql -h localhost -u dvo -pdvo -e "create database ipptopsps_test"
    158159  mysql -h localhost -u dvo -pdvo ipptopsps_test < $IPPTOPSPS_DATA/ippToPspsDbSchema.sql
    159 
    160160endif
    161161

  • branches/eam_branches/ipp-20140717/ippToPsps/test/mksasdata.dvo

    r35097 r37163  
    44
    55if (not($?VERBOSE)) set VERBOSE = 0
     6if (not($?PARALLEL)) set PARALLEL = 0
    67
    7 $OUTDIR = sas12
     8$OUTDIR = sasdata
    89
    910macro mkfull
    1011  init.db
    11   mkcatdir
     12  # mkcatdir.cam
     13  mkcatdir.stk
    1214end
    1315
    … …  
    1820  $dbpass = dvo
    1921
    20   # exposure center
    21   $RA = 333.8
    22   $DEC = 1.6
    23 
    24   # stack center
    25   # XXX the selected stack centers come from the input exposures, so I should use a gpc1 db with stacks associated with real exposures
    26   $RA = 331.6
    27   $DEC = -6.0
     22  # are these used to find the exposures in any way?
     23  $RA = 333.5
     24  $DEC = -5.0
    2825
    2926  break -auto off
    … …  
    4037
    4138# create a populated catdir with a set of cmf files, save the filenames in list for use by insert.exp
    42 macro mkcatdir
     39macro mkcatdir.cam
    4340  if ($0 != 1)
    4441    echo "mkcatdir"
    … …  
    4946
    5047  local catdir
    51   $catdirbase = catdir.sas12
     48  $catdirbase = catdir.sas.cam
    5249  $catdir = $OUTDIR/$catdirbase
    5350  exec rm -rf $catdir
    5451
    55   $expfile = sas12.test.psps/o5745g0620o.356996.cm.473458
     52  $expfile = sasdata/o5745g0620o.356996.cm.473458
    5653  exec addstar -D CAMERA gpc1 -D CATDIR $catdir $expfile.smf
    5754
    5855  # are these used to find the exposures in any way?
    59   $RA = 333.8
    60   $DEC = 1.6
     56  $RA = 333.5
     57  $DEC = -5.0
    6158
    6259  # a single exposure
    … …  
    7168  dbinsert addRun (stage, state, stage_id, minidvodb_name) values ("cam", "full", $expID, "$catdirbase")
    7269
    73   # a single stack
    74   $stkfile = sas12.test.psps/RINGS.V3.skycell.1225.070.stk.1032983.skycal.40531
    75   exec addstar -D CAMERA gpc1 -D CATDIR $catdir $stkfile.cmf
    76 
    77   $stkID = 1
    78   dbinsert stackRun (stack_id, skycell_id, filter, software_ver) values ($stkID, "skycell.0000.000", "g.00000", "testsoft")
    79   dbinsert stackInputSkyfile (stack_id, warp_id) values ($stkID, $expID)
    80   dbinsert stackSumSkyfile (stack_id) values ($stkID)
    81   dbinsert skycalRun (skycal_id, stack_id) values ($stkID, $stkID)
    82   dbinsert skycalResult (skycal_id, path_base) values ($stkID, "$stkfile")
    83   dbinsert addRun (stage, state, stage_id, minidvodb_name) values ("skycal", "full", $stkID, "$catdirbase")
    84 
    8570  # catdirs for the exposures
    8671  dbinsert minidvodbRun (minidvodb_name, minidvodb_id, state) values ("$catdirbase", 1, "merged")
    … …  
    8974  dbinsert mergedvodbRun (minidvodb_id, merge_id, state, mergedvodb) values (1, 1, "full", "$catdirbase")
    9075  dbinsert mergedvodbProcessed (merge_id, fault) values (1, 0)
     76end
     77
     78# create a populated catdir with a set of cmf files, save the filenames in list for use by insert.exp
     79macro mkcatdir.stk
     80  if ($0 != 1)
     81    echo "mkcatdir"
     82    break
     83  end
     84
     85  mkdir $OUTDIR
     86
     87  local catdir
     88  $catdirbase = catdir.sas.stk
     89  $catdir = $OUTDIR/$catdirbase
     90  exec rm -rf $catdir
     91
     92  # are these used to find the exposures in any way?
     93  $RA = 333.5
     94  $DEC = -5.0
     95
     96  $TIMEFORMAT = mjd
     97  $TIMEREF = 2001/01/01,00:00:00
     98  ctimes -abs 2010/01/01,00:00:00 -var mjd
     99
     100  # a single stack
     101  $stkfile = sasdata/RINGS.V3.skycell.1225.070.stk.3366216.skycal.1589960
     102  exec addstar -D CAMERA gpc1 -D CATDIR $catdir $stkfile.cmf
     103
     104  # echo relphot -D CATDIR $catdir -region {$RA-5} {$RA+5} {$DEC-5} {$DEC+5} -images g,r,i,z,y -update
     105  # exec relphot -D CATDIR $catdir -region {$RA-5} {$RA+5} {$DEC-5} {$DEC+5} -images g,r,i,z,y -update
     106
     107  break -auto off
     108  $tmpline = `echo $stkfile.cmf | fields IMAGEID`
     109  list words -split $tmpline
     110  $stkID = $words:1
     111  break -auto on
     112
     113  $expID = 1
     114  dbinsert stackRun (stack_id, skycell_id, filter, software_ver) values ($stkID, "skycell.0000.000", "g.00000", "testsoft")
     115  dbinsert stackInputSkyfile (stack_id, warp_id) values ($stkID, $expID)
     116  dbinsert stackSumSkyfile (stack_id, mjd_obs) values ($stkID, $mjd)
     117  dbinsert skycalRun (sky_id, skycal_id, stack_id) values ($stkID, $stkID, $stkID)
     118  dbinsert skycalResult (skycal_id, path_base) values ($stkID, "$stkfile")
     119  dbinsert addRun (stage, state, stage_id, minidvodb_name) values ("skycal", "full", $stkID, "$catdirbase")
    91120
    92121  # catdirs for the stack

  • branches/eam_branches/ipp-20140717/ippToPsps/test/sastest.sh

    r35179 r37163  
    11#!/bin/csh -f
    22
    3 set stackqueuename = 0
    4 if ($#argv > 0) then
    5   set stackqueuename = $1
    6   echo "stackqueue: $stackqueuename"
    7 endif
     3chmod +x mksasdata.dvo mkgpc1.sh
    84
    95# a bit crude : get the datadir path by interpolation of the PATH element for psconfig
    … …  
    1915# mkgpc1.sh user localhost eam eam
    2016
    21 set mkgpc1      = 1
    22 set initdb      = 1
    23 set mkdummy     = 1
    24 set initscratch = 1
    25 set initbatch   = 1
    26 set camqueue    = 1
    27 set cambatch    = 1
    28 set stackqueue  = 0
    29 set stackbatch  = 0
    30 
    31 set OUTDIR = "sas12"
     17set mkgpc1       = 1
     18set initdb       = 1
     19set mkdummy      = 1
     20set initscratch  = 1
     21set initbatch    = 1
     22set camqueue     = 1
     23set cambatch     = 1
     24set stackqueue   = 1
     25set stackbatch   = 1
     26set objectqueue  = 1
     27set objectbatch  = 1
     28
     29set targ = ($argv)
     30set args = ""
     31
     32while ($#targ)
     33 switch ("$targ[1]")
     34  case -h
     35  case -help
     36    echo "USAGE: fulltest.sh [-XX] [+XX]"
     37    echo " -XX : turn off features"
     38    echo " +XX : turn on features"
     39    echo "  features: all, mkgpc1, initdb, initscratch, initbatch, camera, stack, object"
     40    exit 2
     41  case -all
     42    set mkgpc1       = 0
     43    set initdb       = 0
     44    set initscratch  = 0
     45    set initbatch    = 0
     46    set camqueue     = 0
     47    set cambatch     = 0
     48    set stackqueue   = 0
     49    set stackbatch   = 0
     50    set objectqueue  = 0
     51    set objectbatch  = 0
     52    breaksw;
     53  case -mkgpc1
     54    set mkgpc1 = 0
     55    breaksw;
     56  case -initdb
     57    set initdb = 0
     58    breaksw;
     59  case -initscratch
     60    set initscratch = 0
     61    breaksw;
     62  case -initbatch
     63    set initbatch = 0
     64    breaksw;
     65  case -camera
     66    set camqueue = 0
     67    set cambatch = 0
     68    breaksw;
     69  case -stack
     70    set stackqueue = 0
     71    set stackbatch = 0
     72    breaksw;
     73  case -object
     74    set objectqueue = 0
     75    set objectbatch = 0
     76    breaksw;
     77  default:
     78    set args=($args $targ[1]);
     79    breaksw;
     80  endsw
     81  shift targ
     82end
     83
     84set targ = ($args)
     85set args = ""
     86
     87while ($#targ)
     88 switch ("$targ[1]")
     89  case +all
     90    set mkgpc1       = 1
     91    set initdb       = 1
     92    set initscratch  = 1
     93    set initbatch    = 1
     94    set camqueue     = 1
     95    set cambatch     = 1
     96    set stackqueue   = 1
     97    set stackbatch   = 1
     98    set objectqueue  = 1
     99    set objectbatch  = 1
     100    breaksw;
     101  case +mkgpc1
     102    set mkgpc1 = 1
     103    breaksw;
     104  case +initdb
     105    set initdb = 1
     106    breaksw;
     107  case +initscratch
     108    set initscratch = 1
     109    breaksw;
     110  case +initbatch
     111    set initbatch = 1
     112    breaksw;
     113  case "+camera"
     114    set camqueue = 1
     115    set cambatch = 1
     116    breaksw;
     117  case +stack
     118    set stackqueue = 1
     119    set stackbatch = 1
     120    breaksw;
     121  case +object
     122    set objectqueue = 1
     123    set objectbatch = 1
     124    breaksw;
     125  default:
     126    set args=($args $targ[1]);
     127    breaksw;
     128  endsw
     129  shift targ
     130end
     131
     132if ($args[1] != "") then
     133    echo "USAGE: sastest.sh [-XX] [+XX]"
     134    echo " -XX : turn off features"
     135    echo " +XX : turn on features"
     136    echo "  features: all, mkgpc1, initdb, initscratch, initbatch, camera, stack, object"
     137    exit 2
     138endif
     139
     140set stackqueuename = 0
     141set objectqueuename = 0
     142
     143set OUTDIR = "sasdata"
    32144set queuename = "test"
    33145
    34146if ($mkgpc1) then
     147  echo ""
     148  echo " ---- mksasdata.dvo : creating the dvo & gpc1 database entries ----"
    35149  mksasdata.dvo
    36150endif
    … …  
    38152# create the ipptopsps database
    39153if ($initdb) then
     154  echo ""
     155  echo " ---- init ipptopsps_test ----"
    40156
    41157  # does the database already exist?
    … …  
    43159  mysql -h localhost -u dvo -pdvo -e "create database ipptopsps_test"
    44160  mysql -h localhost -u dvo -pdvo ipptopsps_test < $IPPTOPSPS_DATA/ippToPspsDbSchema.sql
    45 
    46161endif
    47162
    … …  
    53168  mysql -h localhost -u dvo -pdvo -e "create database ipptopsps_scratch"
    54169  ippjython setupScratchDb.py -test
     170  if ($status) exit
     171endif
     172
     173# this is poor : we need to queue something in order to generate an init batch
     174# this is because a skychunk carries the info about the datastore used to publish
     175# the batch
     176if ($initbatch) then
     177  echo ""
     178  echo " ---- make skychunk for IN batches ----"
     179
     180  echo "initbatch              " >  initbatch.dat # skychunk name
     181  echo "test_ds                " >> initbatch.dat # datastore_product
     182  echo "IPP_PSPS               " >> initbatch.dat # datastore_type
     183  echo "0                      " >> initbatch.dat # datastore_publish
     184  echo "none                   " >> initbatch.dat # dvo_label
     185  echo "none                   " >> initbatch.dat # dvo_location
     186  echo "0                      " >> initbatch.dat # min_ra
     187  echo "0                      " >> initbatch.dat # max_ra
     188  echo "0                      " >> initbatch.dat # min_dec
     189  echo "0                      " >> initbatch.dat # max_dec
     190  echo "2                      " >> initbatch.dat # box_size
     191  echo "none                   " >> initbatch.dat # base_path
     192  echo "0                      " >> initbatch.dat # data_release
     193  echo "0                      " >> initbatch.dat # delete_local
     194  echo "1                      " >> initbatch.dat # delete_datastore
     195  echo "1                      " >> initbatch.dat # delete_dxlayer
     196  echo "2012-12-10 00:00:00.0  " >> initbatch.dat # epoch
     197  echo "3PI                    " >> initbatch.dat # survey
     198  echo "3PI                    " >> initbatch.dat # psps_survey
     199  echo "0                      " >> initbatch.dat # queue_P2
     200  echo "0                      " >> initbatch.dat # queue_ST
     201  echo "0                      " >> initbatch.dat # queue_OB
     202  echo "0                      " >> initbatch.dat # queue_DF
     203  echo "0                      " >> initbatch.dat # queue_DO
     204  echo "0                      " >> initbatch.dat # queue_FW
     205  echo "0                      " >> initbatch.dat # queue_FO
     206  echo "1                      " >> initbatch.dat # active
     207  echo "0                      " >> initbatch.dat # parallel
     208  echo "use_new                " >> initbatch.dat # P2_smf_version
     209  echo "any                    " >> initbatch.dat # ST_cmf_version
     210  echo "2000-01-01 00:00:00.0  " >> initbatch.dat # trange_start
     211  echo "2020-01-01 00:00:00.0  " >> initbatch.dat # trange_end
     212  cat initbatch.dat | ippjython queue.py -test edit
     213  if ($status) exit
     214
     215  echo ""
     216  echo " ---- create init batch ----"
     217
     218  rm -rf $OUTDIR/IN
     219  ippjython loader.py -test initbatch init
     220  if ($status) exit
    55221endif
    56222
    57223# this code is sensitive to a previously existing database?
    58224if ($camqueue) then
    59   ippjython queue.py -test edit <<EOF
    60 $queuename
    61 test_ds
    62 IPP_PSPS
    63 0
    64 catdir.sas12
    65 $OUTDIR/catdir.sas12
    66 330
    67 340
    68 -8
    69 2
    70 1
    71 $OUTDIR
    72 0
    73 0
    74 1
    75 1
    76 2012-12-10 00:00:00.0
    77 3PI
    78 3PI
    79 1
    80 1
    81 1
    82 1
    83 0
    84 1
    85 y
    86 y
    87 EOF
    88 endif
    89 
    90 if ($initbatch) then
    91   ippjython loader.py -test $queuename init
    92 endif
    93 
    94 if ($cambatch) then
    95   ippjython loader.py -test $queuename once
     225  echo ""
     226  echo " ---- queue P2 batches ----"
     227
     228  echo "$queuename            " >  cambatch.dat # skychunk name
     229  echo "test_ds               " >> cambatch.dat # datastore_product
     230  echo "IPP_PSPS              " >> cambatch.dat # datastore_type
     231  echo "0                     " >> cambatch.dat # datastore_publish
     232  echo "catdir.sas.cam        " >> cambatch.dat # dvo_label
     233  echo "$OUTDIR/catdir.sas.cam" >> cambatch.dat # dvo_location
     234  echo "330                   " >> cambatch.dat # min_ra
     235  echo "340                   " >> cambatch.dat # max_ra
     236  echo "-8                    " >> cambatch.dat # min_dec
     237  echo "2                     " >> cambatch.dat # max_dec
     238  echo "1                     " >> cambatch.dat # box_size
     239  echo "$OUTDIR               " >> cambatch.dat # base_path
     240  echo "0                     " >> cambatch.dat # data_release
     241  echo "0                     " >> cambatch.dat # delete_local
     242  echo "1                     " >> cambatch.dat # delete_datastore
     243  echo "1                     " >> cambatch.dat # delete_dxlayer
     244  echo "2012-12-10 00:00:00.0 " >> cambatch.dat # epoch
     245  echo "3PI                   " >> cambatch.dat # survey
     246  echo "3PI                   " >> cambatch.dat # psps_survey
     247  echo "1                     " >> cambatch.dat # queue_P2
     248  echo "0                     " >> cambatch.dat # queue_ST
     249  echo "0                     " >> cambatch.dat # queue_OB
     250  echo "0                     " >> cambatch.dat # queue_DF
     251  echo "0                     " >> cambatch.dat # queue_DO
     252  echo "0                     " >> cambatch.dat # queue_FW
     253  echo "0                     " >> cambatch.dat # queue_FO
     254  echo "1                     " >> cambatch.dat # active
     255  echo "0                     " >> cambatch.dat # parallel
     256  echo "use_new               " >> cambatch.dat # P2_smf_version
     257  echo "any                   " >> cambatch.dat # ST_cmf_version
     258  echo "2000-01-01 00:00:00.0 " >> cambatch.dat # trange_start
     259  echo "2020-01-01 00:00:00.0 " >> cambatch.dat # trange_end
     260  cat cambatch.dat | ippjython queue.py -test edit
     261  if ($status) exit
    96262endif
    97263
    98264# this code is sensitive to a previously existing database?
    99265if ($stackqueue) then
     266  echo ""
     267  echo " ---- queue ST batches ----"
     268
    100269  if ($stackqueuename == 0) then
    101270    set stackqueuename = $queuename\_stk
    102271  endif
    103   ippjython queue.py -test edit <<EOF
    104 $stackqueuename
    105 test_ds
    106 IPP_PSPS
    107 0
    108 catdir.sas12
    109 $OUTDIR/catdir.sas12
    110 330
    111 340
    112 -8
    113 2
    114 1
    115 $OUTDIR
    116 0
    117 0
    118 1
    119 1
    120 2012-12-10 00:00:00.0
    121 3PI
    122 3PI
    123 0
    124 1
    125 0
    126 1
    127 0
    128 1
    129 y
    130 y
    131 EOF
     272  echo "$stackqueuename       " >  stackbatch.dat # skychunk name
     273  echo "test_ds               " >> stackbatch.dat # datastore_product
     274  echo "IPP_PSPS              " >> stackbatch.dat # datastore_type
     275  echo "0                     " >> stackbatch.dat # datastore_publish
     276  echo "catdir.sas.stk        " >> stackbatch.dat # dvo_label
     277  echo "$OUTDIR/catdir.sas.stk" >> stackbatch.dat # dvo_location
     278  echo "332                   " >> stackbatch.dat # min_ra
     279  echo "335                   " >> stackbatch.dat # max_ra
     280  echo "-6                    " >> stackbatch.dat # min_dec
     281  echo "-4                    " >> stackbatch.dat # max_dec
     282  echo "1                     " >> stackbatch.dat # box_size
     283  echo "$OUTDIR               " >> stackbatch.dat # base_path
     284  echo "0                     " >> stackbatch.dat # data_release
     285  echo "0                     " >> stackbatch.dat # delete_local
     286  echo "1                     " >> stackbatch.dat # delete_datastore
     287  echo "1                     " >> stackbatch.dat # delete_dxlayer
     288  echo "2012-12-10 00:00:00.0 " >> stackbatch.dat # epoch
     289  echo "3PI                   " >> stackbatch.dat # survey
     290  echo "3PI                   " >> stackbatch.dat # psps_survey
     291  echo "0                     " >> stackbatch.dat # queue_P2
     292  echo "1                     " >> stackbatch.dat # queue_ST
     293  echo "0                     " >> stackbatch.dat # queue_OB
     294  echo "0                     " >> stackbatch.dat # queue_DF
     295  echo "0                     " >> stackbatch.dat # queue_DO
     296  echo "0                     " >> stackbatch.dat # queue_FW
     297  echo "0                     " >> stackbatch.dat # queue_FO
     298  echo "1                     " >> stackbatch.dat # active
     299  echo "0                     " >> stackbatch.dat # parallel
     300  echo "use_new               " >> stackbatch.dat # P2_smf_version
     301  echo "any                   " >> stackbatch.dat # ST_cmf_version
     302  echo "2000-01-01 00:00:00.0 " >> stackbatch.dat # trange_start
     303  echo "2020-01-01 00:00:00.0 " >> stackbatch.dat # trange_end
     304  cat stackbatch.dat | ippjython queue.py -test edit
     305  if ($status) exit
    132306endif
    133307
    134308if ($stackbatch) then
     309  echo ""
     310  echo " ---- load ST batches ----"
     311
    135312  if ($stackqueuename == 0) then
    136313    set stackqueuename = $queuename\_stk
    137314  endif
     315  rm -rf $OUTDIR/ST
    138316  ippjython loader.py -test $stackqueuename once
    139 endif
    140 
     317  if ($status) exit
     318endif
Note: See TracChangeset for help on using the changeset viewer.