IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Ignore:
Timestamp:
May 18, 2010, 5:06:01 PM (16 years ago)
Author:
watersc1
Message:

Almost working version of the mask-stats/software revision code.

Almost.

Location:
branches/czw_branch/20100427
Files:
10 edited
1 copied

Legend:

Unmodified
Added
Removed

  • branches/czw_branch/20100427

  • branches/czw_branch/20100427/ippTasks/camera.pro

    r27472 r28017  
    154154    book getword camPendingExp $pageName cam_id -var CAM_ID
    155155    book getword camPendingExp $pageName workdir -var WORKDIR_TEMPLATE
     156    book getword camPendingExp $pageName path_base -var PATH_BASE
    156157    book getword camPendingExp $pageName dvodb  -var DVODB
    157158    book getword camPendingExp $pageName dbname -var DBNAME
    … …  
    173174    # neb:///ipp004-vol0/gpc1/20080130
    174175
    175     ## generate outroot specific to this exposure (& chip)
    176     sprintf outroot "%s/%s/%s.cm.%s" $WORKDIR $EXP_TAG $EXP_TAG $CAM_ID
     176    if ("$PATH_BASE" == "NULL")
     177        ## generate outroot specific to this exposure (& chip)
     178        sprintf outroot "%s/%s/%s.cm.%s" $WORKDIR $EXP_TAG $EXP_TAG $CAM_ID
     179    else
     180        $outroot = $PATH_BASE
     181    end
    177182
    178183    stdout $LOGDIR/camera.exp.log

  • branches/czw_branch/20100427/ippTasks/chip.pro

    r27472 r28017  
    153153    book getword chipPendingImfile $pageName reduction -var REDUCTION
    154154    book getword chipPendingImfile $pageName state -var RUN_STATE
     155    book getword chipPendingImfile $pageName path_base -var PATH_BASE
    155156
    156157    if ($RAW_MAGICKED > 0)
    … …  
    174175    # neb:///ipp004-vol0/gpc1/20080130
    175176
    176     ## generate outroot specific to this exposure (& chip)
    177     sprintf outroot "%s/%s/%s.ch.%s" $WORKDIR $EXP_TAG $EXP_TAG $CHIP_ID
     177    if ("$PATH_BASE" == "NULL")
     178        ## generate outroot specific to this exposure (& chip)
     179        sprintf outroot "%s/%s/%s.ch.%s" $WORKDIR $EXP_TAG $EXP_TAG $CHIP_ID
     180    else
     181        $outroot = $PATH_BASE
     182    end
    178183
    179184    stdout $LOGDIR/chip.imfile.log

  • branches/czw_branch/20100427/ippTasks/destreak.pro

    r27716 r28017  
    3737    echo magicDSToRevert
    3838    book listbook magicDSToRevert
     39    echo magicDSToCleanup
     40    book listbook magicDSToCleanup
    3941end
    4042
    … …  
    212214    book getword magicToDS $pageName recoveryroot -var RECROOT
    213215    book getword magicToDS $pageName re_place -var REPLACE
     216    book getword magicToDS $pageName magicked -var MAGICKED
    214217    book getword magicToDS $pageName dbname -var DBNAME
    215218
    … …  
    226229    # TODO: do not add recoveryroot or replace if they are null or zero
    227230
    228     $run = magic_destreak.pl --magic_ds_id $MAGIC_DS_ID --camera $CAMERA --exp_id $EXP_ID --streaks $STREAKS --inv_streaks $INV_STREAKS --stage $STAGE --stage_id $STAGE_ID --component $COMPONENT --uri $URI --path_base $PATH_BASE --cam_path_base $CAM_PATH_BASE --cam_reduction $CAM_REDUCTION --outroot $OUTROOT --logfile $logfile --recoveryroot $RECROOT --replace $REPLACE
     231    $run = magic_destreak.pl --magic_ds_id $MAGIC_DS_ID --camera $CAMERA --exp_id $EXP_ID --streaks $STREAKS --inv_streaks $INV_STREAKS --stage $STAGE --stage_id $STAGE_ID --component $COMPONENT --uri $URI --path_base $PATH_BASE --cam_path_base $CAM_PATH_BASE --cam_reduction $CAM_REDUCTION --outroot $OUTROOT --logfile $logfile --recoveryroot $RECROOT --replace $REPLACE --magicked $MAGICKED
    229232
    230233    add_standard_args run
    … …  
    412415    book getword magicDSToRevert $pageName re_place -var REPLACE
    413416    book getword magicDSToRevert $pageName bothways -var BOTHWAYS
     417    book getword magicDSToRevert $pageName magicked -var MAGICKED
    414418    book getword magicDSToRevert $pageName dbname -var DBNAME
    415419
    … …  
    424428    end
    425429
    426     $run = magic_destreak_revert.pl --magic_ds_id $MAGIC_DS_ID --camera $CAMERA --stage $STAGE --stage_id $STAGE_ID --component $COMPONENT --path_base $PATH_BASE --cam_path_base $CAM_PATH_BASE --cam_reduction $CAM_REDUCTION --outroot $OUTROOT --logfile $logfile --replace $REPLACE --bothways $BOTHWAYS
     430    $run = magic_destreak_revert.pl --magic_ds_id $MAGIC_DS_ID --camera $CAMERA --stage $STAGE --stage_id $STAGE_ID --component $COMPONENT --path_base $PATH_BASE --cam_path_base $CAM_PATH_BASE --cam_reduction $CAM_REDUCTION --outroot $OUTROOT --logfile $logfile --replace $REPLACE --bothways $BOTHWAYS --magicked $MAGICKED
    427431
    428432    add_standard_args run

  • branches/czw_branch/20100427/ippTasks/diff.pro

    r27472 r28017  
    184184    book getword diffSkyfile $pageName reduction -var REDUCTION
    185185    book getword diffSkyfile $pageName diff_mode -var DIFF_MODE
     186    book getword diffSkyfile $pageName path_base -var PATH_BASE
    186187
    187188    # set the host and workdir based on the skycell hash
    … …  
    207208
    208209    basename $TESS_DIR -var TESS_ID
    209     sprintf outroot "%s/%s/%s/%s.%s.%sdif.%s" $WORKDIR $TESS_ID $SKYCELL_ID $TESS_ID $SKYCELL_ID $DIFF_TAG $DIFF_ID
     210
     211    if ("$PATH_BASE" == "NULL")
     212        sprintf outroot "%s/%s/%s/%s.%s.%sdif.%s" $WORKDIR $TESS_ID $SKYCELL_ID $TESS_ID $SKYCELL_ID $DIFF_TAG $DIFF_ID
     213    else
     214        $outroot = $PATH_BASE
     215    end
    210216
    211217    stdout $LOGDIR/diff.skycell.log

  • branches/czw_branch/20100427/ippTasks/nightly_stacks.pro

    r27711 r28017  
    164164
    165165  task.exec
     166    stdout $LOGDIR/ns.initday.log
     167    stderr $LOGDIR/ns.initday.log
    166168    $today = `date +%Y-%m-%d`
    167169    book newpage nsData $today
    168170    book setword nsData $today nsState NEW
    169171
    170     command echo $today
    171 #   command automate_stacks.pl --clean_old --date $today
     172#    command echo $today
     173   command automate_stacks.pl --clean_old --date $today
    172174  end
    173175

  • branches/czw_branch/20100427/ippTasks/pstamp.pro

    r27751 r28017  
    1414$pstampRev_DB = 0
    1515$pstampDep_DB = 0
     16$pstampCleanup_DB = 0
    1617
    1718# set PS_DBSERVER if postage stamp database host is not the same as the value for DBSERVER in site.config
    … …  
    3031    book init pstampFinish
    3132    book init pstampDependent
     33    book init pstampCleanup
    3234end
    3335
    … …  
    5860        active true
    5961    end
    60     task pstamp.job.revert
    61         active true
    62     end
    6362    task pstamp.dependent.load
    6463        active true
    … …  
    9493    end
    9594    task pstamp.dependent.load
    96         active true
     95        active false
     96    end
     97    task pstamp.dependent.run
     98        active false
    9799    end
    98100end
    … …  
    105107macro pstamp.revert.off
    106108    task pstamp.job.revert
     109        active false
     110    end
     111end
     112macro pstamp.cleanup.on
     113    task pstamp.cleanup.load
     114        active true
     115    end
     116    task pstamp.cleanup.run
     117        active true
     118    end
     119end
     120macro pstamp.cleanup.off
     121    task pstamp.cleanup.run
     122        active false
     123    end
     124    task pstamp.cleanup.run
    107125        active false
    108126    end
    … …  
    157175
    158176    task.exec
    159         stdout $LOGSUBDIR/pstamp.request.load.log
     177        stdout NULL
    160178        stderr $LOGSUBDIR/pstamp.request.load.log
    161179        $run = pstamptool -pendingreq
    … …  
    202220
    203221    task.exec
    204         stdout $LOGSUBDIR/pstamp.request.run.log
     222        stdout NULL
    205223        stderr $LOGSUBDIR/pstamp.request.run.log
    206224        book npages pstampRequest -var N
    … …  
    215233        book getword pstampRequest $pageName uri -var URI
    216234        book getword pstampRequest $pageName ds_outProduct -var PRODUCT
     235        book getword pstampRequest $pageName outdir -var OUTDIR
    217236        book getword pstampRequest $pageName label -var LABEL
    218237
    219238        host anyhost
    220239
    221         $run = pstamp_parser_run.pl --req_id $REQ_ID --uri $URI --product $PRODUCT --label $LABEL --redirect-output
     240        $run = pstamp_parser_run.pl --req_id $REQ_ID --uri $URI --product $PRODUCT --outdir $OUTDIR --label $LABEL --redirect-output
    222241
    223242        add_standard_args run
    … …  
    260279
    261280    task.exec
    262         stdout $LOGSUBDIR/pstamp.finish.load.log
     281        stdout NULL
    263282        stderr $LOGSUBDIR/pstamp.finish.load.log
    264283        $run = pstamptool  -completedreq
    … …  
    305324
    306325    task.exec
    307         stdout $LOGSUBDIR/request.finish.run.log
     326        stdout NULL
    308327        stderr $LOGSUBDIR/request.finish.run.log
    309328        book npages pstampFinish -var N
    … …  
    320339        book getword pstampFinish $pageName name -var REQ_NAME
    321340        book getword pstampFinish $pageName outProduct -var PRODUCT
    322 
    323         $run = request_finish.pl --req_id $REQ_ID --req_type $REQ_TYPE --req_file $URI --req_name $REQ_NAME --product $PRODUCT --redirect-output
     341        book getword pstampFinish $pageName outdir -var OUTDIR
     342
     343        $run = request_finish.pl --req_id $REQ_ID --req_type $REQ_TYPE --req_file $URI --req_name $REQ_NAME --product $PRODUCT --outdir $OUTDIR --redirect-output
    324344
    325345        add_standard_args run
    … …  
    362382
    363383    task.exec
    364         stdout $LOGSUBDIR/pstamp.job.load.log
     384        stdout NULL
    365385        stderr $LOGSUBDIR/pstamp.job.load.log
    366386        $run = pstamptool -pendingjob
    … …  
    410430
    411431    task.exec
    412         stdout $LOGSUBDIR/pstamp.job.run.log
     432        stdout NULL
    413433        stderr $LOGSUBDIR/pstamp.job.run.log
    414434        book npages pstampJob -var N
    … …  
    488508
    489509    task.exec
    490         stdout $LOGSUBDIR/pstamp.job.revert.log
     510        stdout NULL
    491511        stderr $LOGSUBDIR/pstamp.job.revert.log
    492512        $run = pstamptool -revertjob -all
    … …  
    524544
    525545    periods     -poll $LOADPOLL
    526     # XXX: create a macro for this
    527     periods     -exec 30
     546    # XXX: create a macro for this time
     547    periods     -exec 10
    528548#    periods     -exec $LOADEXEC
    529     periods     -timeout 30
     549    periods     -timeout 300
    530550    npending    1
    531551
    532552    task.exec
    533         stdout $LOGSUBDIR/pstamp.dependent.load.log
     553        stdout NULL
    534554        stderr $LOGSUBDIR/pstamp.dependent.load.log
    535555        $run = pstamptool -pendingdependent
    … …  
    579599
    580600    task.exec
    581 #        stdout $LOGSUBDIR/pstamp.dependent.run.log
    582 #        stderr $LOGSUBDIR/pstamp.dependent.run.log
    583601        book npages pstampDependent -var N
    584602        if ($N == 0)
    … …  
    590608        book getpage pstampDependent 0 -var pageName -key pantaskState INIT
    591609        if ("$pageName" == "NULL") break
    592 
    593         #echo pageName: $pageName
    594610
    595611        book setword pstampDependent $pageName pantaskState RUN
    … …  
    601617        book getword pstampDependent $pageName imagedb    -var IMAGEDB
    602618        book getword pstampDependent $pageName rlabel     -var RLABEL
    603 #        book getword pstampDependent $pageName output_base -var OUTPUT_BASE
     619        book getword pstampDependent $pageName outdir     -var OUTDIR
    604620        book getword pstampDependent $pageName need_magic -var NEED_MAGIC
    605621        book getword pstampDependent $pageName dbname     -var DBNAME
    … …  
    617633        end
    618634
    619         # XXX: use OUTPUT_BASE for this
    620         $LOGFILE = /data/ipp053.0/home/bills/pstamp/logs/pstampdep.$DEP_ID.log
    621 #        echo logfile is $LOGFILE
    622 #        stdout $LOGFILE
    623 #        stderr $LOGFILE
     635        $MYLOGFILE = $OUTDIR/checkdep.$DEP_ID.log
     636        stdout $MYLOGFILE
     637        stderr $MYLOGFILE
    624638
    625639        $run = pstamp_checkdependent.pl --dep_id $DEP_ID --stage_id $STAGE_ID --stage $STAGE --component $COMPONENT --imagedb $IMAGEDB --rlabel $RLABEL $NEED_MAGIC
     640
    626641        add_standard_args run
    627642
    … …  
    664679end
    665680
     681task pstamp.cleanup.load
     682    host        local
     683
     684    periods     -poll $LOADPOLL
     685    periods     -exec $LOADEXEC
     686    periods     -timeout 300
     687    npending    1
     688
     689    task.exec
     690        stdout NULL
     691        stderr $LOGSUBDIR/pstamp.cleanup.load.log
     692        $run = pstamptool -pendingcleanup
     693        if ($DB:n == 0)
     694            option DEFAULT
     695        else
     696            option $DB:$pstampCleanup_DB
     697            $run = $run $PS_DBSERVER -dbname $DB:$pstampCleanup_DB
     698            $pstampCleanup_DB ++
     699            if ($pstampCleanup_DB >= $DB:n) set pstampCleanup_DB = 0
     700        end
     701        add_poll_args run
     702        add_poll_labels run
     703        command $run
     704    end
     705
     706    task.exit $EXIT_SUCCESS
     707        ipptool2book stdout pstampCleanup -key req_id -uniq -setword dbname $options:0 -setword pantaskState INIT
     708        if ($VERBOSE > 2)
     709            echo starting request
     710            book listbook pstampCleanup
     711        end
     712
     713        process_cleanup pstampCleanup
     714    end
     715
     716    task.exit   default
     717        showcommand failure
     718    end
     719
     720    task.exit   crash
     721        showcommand crash
     722    end
     723
     724    task.exit   timeout
     725        showcommand timeout
     726    end
     727end
     728
     729task pstamp.cleanup.run
     730    periods     -poll $RUNPOLL
     731    periods     -exec $RUNEXEC
     732    periods     -timeout 300
     733    # since everything is on one file system keep npending low to avoid
     734    # overloading nfs
     735
     736    npending    10
     737
     738    task.exec
     739        book npages pstampCleanup -var N
     740        if ($N == 0)
     741            periods -exec $RUNEXEC
     742            break
     743        end
     744        periods -exec 0.05
     745       
     746        book getpage pstampCleanup 0 -var pageName -key pantaskState INIT
     747        if ("$pageName" == "NULL") break
     748
     749        book setword pstampCleanup $pageName pantaskState RUN
     750        book getword pstampCleanup $pageName req_id -var REQ_ID
     751        book getword pstampCleanup $pageName dbname -var DBNAME
     752        book getword pstampCleanup $pageName name -var NAME
     753        book getword pstampCleanup $pageName outdir -var OUTDIR
     754        book getword pstampCleanup $pageName uri -var URI
     755        book getword pstampCleanup $pageName reqType -var REQTYPE
     756        book getword pstampCleanup $pageName outProduct -var PRODUCT
     757
     758        # XXX: have the script set this up this
     759        $MYLOGFILE=/data/ippdb02.0/pstamp/work/logs/cleanup.$REQ_ID
     760        stdout $MYLOGFILE
     761        stderr $MYLOGFILE
     762
     763        host anyhost
     764
     765        $run = pstamp_cleanup.pl --req_id $REQ_ID --uri $URI --product $PRODUCT --name $NAME --outdir $OUTDIR --reqType $REQTYPE
     766
     767        add_standard_args run
     768        options $pageName
     769
     770        if ($VERBOSE > 1)
     771            echo command $run
     772        end
     773        command $run
     774    end
     775
     776
     777    task.exit $EXIT_SUCCESS
     778        process_exit pstampCleanup $options:0 $JOB_STATUS
     779    end
     780
     781    task.exit default
     782        showcommand failure
     783        process_exit pstampCleanup $options:0 $JOB_STATUS
     784    end
     785
     786    task.exit crash
     787        showcommand crash
     788        book setword pstampCleanup $options:0 pantaskState CRASH
     789    end
     790
     791    task.exit timeout
     792        showcommand timeout
     793        book setword pstampCleanup $options:0 pantaskState TIMEOUT
     794    end
     795end
     796

  • branches/czw_branch/20100427/ippTasks/stack.pro

    r27472 r28017  
    116116    end
    117117    add_poll_args run
    118     # add_poll_labels run
     118    add_poll_labels run
    119119    command $run
    120120  end
    … …  
    172172    book getword stackSumSkyfile $pageName skycell_id -var SKYCELL_ID
    173173    book getword stackSumSkyfile $pageName workdir -var WORKDIR_TEMPLATE
     174    book getword stackSumSkyfile $pageName path_base -var PATH_BASE
    174175    book getword stackSumSkyfile $pageName reduction -var REDUCTION
    175176    book getword stackSumSkyfile $pageName dbname -var DBNAME
    … …  
    185186
    186187    basename $TESS_DIR -var TESS_ID
    187     sprintf outroot "%s/%s/%s/%s.%s.stk.%s" $WORKDIR $TESS_ID $SKYCELL_ID $TESS_ID $SKYCELL_ID $STACK_ID
     188    if ("$PATH_BASE" == "NULL")
     189        sprintf outroot "%s/%s/%s/%s.%s.stk.%s" $WORKDIR $TESS_ID $SKYCELL_ID $TESS_ID $SKYCELL_ID $STACK_ID
     190    else
     191        $outroot = $PATH_BASE
     192    end
    188193
    189194    stdout $LOGDIR/stack.skycell.log

  • branches/czw_branch/20100427/ippTasks/summit.copy.pro

    r26698 r28017  
    107107    periods      -timeout   20
    108108    npending     1
    109     # trange       16:00 23:59
    110     # trange       00:00 04:00
     109
     110    # only active in the day (06:00 to 19:00 HST, times are UT):
     111    trange        -reset
     112    # trange        16:00 23:59
     113    # trange        00:00 05:00
    111114
    112115    task.exec
    … …  
    153156# and inserting these into a db table on the local cluster (pzDownloadExp)
    154157task pzgetexp
     158  host         local
     159
    155160  periods      -exec     30
    156161  periods      -poll     1
    157162  periods      -timeout  700
    158   # trage       16:00 23:59
    159   # trage       00:00 04:00
    160163  npending      1
    161   host         local
     164
     165  # only active in the day (06:00 to 19:00 HST, times are UT):
     166  trange        -reset
     167  # trange        16:00 23:59
     168  # trange        00:00 05:00
    162169
    163170  task.exec
    … …  
    213220    periods      -poll     1
    214221    periods      -timeout  20
    215     # trange       16:00 23:59
    216     # trange       00:00 04:00
    217222    npending     1
     223
     224    # only active in the day (06:00 to 19:00 HST, times are UT):
     225    trange        -reset
     226    # trange        16:00 23:59
     227    # trange        00:00 05:00
    218228
    219229    task.exec
    … …  
    224234        # save the DB name for the exit tasks
    225235        option $DB:$pztoolPendingExp_DB
    226         command pztool -pendingexp -limit 5 -dbname $DB:$pztoolPendingExp_DB
     236        command pztool -pendingexp -limit 10 -dbname $DB:$pztoolPendingExp_DB
    227237        $pztoolPendingExp_DB ++
    228238        if ($pztoolPendingExp_DB >= $DB:n) set pztoolPendingExp_DB = 0
    … …  
    261271# database table of imfiles
    262272task pzgetimfile
     273    host        local
     274
    263275    periods      -exec     0.05
    264276    periods      -poll     0.025
    265277    periods      -timeout  700
    266     # trage       16:00 23:59
    267     # trage       00:00 04:00
    268     host        local
    269278    npending    10
     279
     280    # only active in the day (06:00 to 19:00 HST, times are UT):
     281    trange        -reset
     282    # trange        16:00 23:59
     283    # trange        00:00 05:00
    270284
    271285    task.exec
    … …  
    336350    host         local
    337351
    338     periods      -exec     30
     352    periods      -exec     10
    339353    periods      -poll      1
    340354    periods      -timeout  120
    341     # trage       16:00 23:59
    342     # trage       00:00 04:00
    343355    npending     1
     356
     357    # only active in the day (06:00 to 19:00 HST, times are UT):
     358    trange        -reset
     359    # trange        16:00 23:59
     360    # trange        00:00 05:00
    344361
    345362    # select entries from the current DB; cycle to the next DB, if it exists
    … …  
    352369        # save the DB name for the exit tasks
    353370        option $DB:$pztoolPendingImfile_DB
    354         command pztool -pendingimfile -limit 60 -dbname $DB:$pztoolPendingImfile_DB
     371        command pztool -pendingimfile -limit 240 -dbname $DB:$pztoolPendingImfile_DB
    355372        $pztoolPendingImfile_DB ++
    356373        if ($pztoolPendingImfile_DB >= $DB:n) set pztoolPendingImfile_DB = 0
    … …  
    384401    periods      -poll     0.05
    385402    periods      -timeout  1150
     403
     404    # only active in the day (06:00 to 19:00 HST, times are UT):
    386405    trange        -reset
    387     # only active in the night (18:00 to 06:00 HST, times are UT):
    388     # trange      04:00 16:00
    389     # only active in the day (06:00 to 18:00 HST, times are UT):
    390406    # trange        16:00 23:59
    391     # trange        00:00 04:00
     407    # trange        00:00 05:00
    392408
    393409    task.exec
    … …  
    548564    periods      -poll      1
    549565    periods      -timeout  120
    550     # trage       16:00 23:59
    551     # trage       00:00 04:00
    552566    npending     1
    553567
    … …  
    592606    periods      -poll     0.05
    593607    periods      -timeout  650
    594     # trage       16:00 23:59
    595     # trage       00:00 04:00
    596608
    597609    task.exec

  • branches/czw_branch/20100427/ippTasks/warp.pro

    r27620 r28017  
    314314    book getword warpPendingSkyCell $pageName camera -var CAMERA
    315315    book getword warpPendingSkyCell $pageName workdir -var WORKDIR_TEMPLATE
     316    book getword warpPendingSkyCell $pageName path-base -var PATH_BASE
    316317    book getword warpPendingSkyCell $pageName dbname -var DBNAME
    317318    # XXX change tess_id to tess_dir when schema is changed
    … …  
    331332    set.workdir.by.skycell $SKYCELL_ID $WORKDIR_TEMPLATE $default_host WORKDIR
    332333
    333     ## generate outroot specific to this exposure
    334     sprintf outroot "%s/%s/%s.wrp.%s.%s" $WORKDIR $EXP_TAG $EXP_TAG $WARP_ID $SKYCELL_ID
     334    if ("$PATH_BASE" == "NULL")
     335        ## generate outroot specific to this exposure
     336        sprintf outroot "%s/%s/%s.wrp.%s.%s" $WORKDIR $EXP_TAG $EXP_TAG $WARP_ID $SKYCELL_ID
     337    else
     338        $outroot = $PATH_BASE
     339    end
    335340
    336341    stdout $LOGDIR/warp.skycell.log
Note: See TracChangeset for help on using the changeset viewer.