IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Ignore:
Timestamp:
Oct 21, 2010, 2:45:13 PM (16 years ago)
Author:
eugene
Message:

merge changes from trunk

Location:
branches/eam_branches/ipp-20100823/ippTasks
Files:
9 edited
2 copied

Legend:

Unmodified
Added
Removed

  • branches/eam_branches/ipp-20100823/ippTasks/Makefile.am

    r28632 r29515  
    1818        magic.pro \
    1919        destreak.pro \
     20        destreak.cleanup.pro \
    2021        diff.pro \
    2122        stack.pro \

  • branches/eam_branches/ipp-20100823/ippTasks/destreak.pro

    r29124 r29515  
    1010book init magicToDS
    1111book init magicDSToRevert
    12 book init magicDSToCleanup
    1312
    1413### indexes into Database lists
    … …  
    3029$magicDSRevertStage = 0
    3130
     31macro destreak.show.stages
     32    echo $DS_STAGE:n stages enabled for destreak processing
     33    for i 0 $DS_STAGE:n
     34        echo $i $DS_STAGE:$i
     35    end
     36    echo current magicDSStage = $magicDSStage
     37    echo current magicDSRevertStage = $magicDSRevertStage
     38end
     39
    3240### Check status of tasks
    3341macro destreak.status
    34     # since echo and listbook output go to different files these do not come in order
    35     echo magicToDS
    3642    book listbook magicToDS
    37     echo magicDSToRevert
    3843    book listbook magicDSToRevert
    39     echo magicDSToCleanup
    40     book listbook magicDSToCleanup
    4144end
    4245
    … …  
    4548    book init magicToDS
    4649    book init magicDSToRevert
    47     book init magicDSToCleanup
    4850end
    4951
    … …  
    7375end
    7476
    75 macro destreak.cleanup.on
    76     task destreak.cleanup.load
    77         active true
    78     end
    79     task destreak.cleanup.run
    80         active true
    81     end
    82 end
    83 
    8477### Turn tasks off
    8578macro destreak.off
    … …  
    10699    end
    107100end
    108 macro destreak.cleanup.off
    109     task destreak.cleanup.load
    110         active false
    111     end
    112     task destreak.cleanup.run
    113         active false
    114     end
    115 end
    116 
    117101
    118102task           destreak.load
    … …  
    203187    book getword magicToDS $pageName camera -var CAMERA
    204188    book getword magicToDS $pageName streaks_uri -var STREAKS
     189    book getword magicToDS $pageName streaks_path_base -var STREAKS_PATH_BASE
    205190    book getword magicToDS $pageName inv_streaks_uri -var INV_STREAKS
     191    book getword magicToDS $pageName inv_streaks_path_base -var INV_STREAKS_PATH_BASE
    206192    book getword magicToDS $pageName stage -var STAGE
    207193    book getword magicToDS $pageName stage_id -var STAGE_ID
    … …  
    229215    # TODO: do not add recoveryroot or replace if they are null or zero
    230216
    231     $run = magic_destreak.pl --magic_ds_id $MAGIC_DS_ID --camera $CAMERA --exp_id $EXP_ID --streaks $STREAKS --inv_streaks $INV_STREAKS --stage $STAGE --stage_id $STAGE_ID --component $COMPONENT --uri $URI --path_base $PATH_BASE --cam_path_base $CAM_PATH_BASE --cam_reduction $CAM_REDUCTION --outroot $OUTROOT --logfile $logfile --recoveryroot $RECROOT --replace $REPLACE --magicked $MAGICKED
     217    $run = magic_destreak.pl --magic_ds_id $MAGIC_DS_ID --camera $CAMERA --exp_id $EXP_ID --streaks_path_base $STREAKS_PATH_BASE --inv_streaks_path_base $INV_STREAKS_PATH_BASE --streaks $STREAKS --inv_streaks $INV_STREAKS --stage $STAGE --stage_id $STAGE_ID --component $COMPONENT --uri $URI --path_base $PATH_BASE --cam_path_base $CAM_PATH_BASE --cam_reduction $CAM_REDUCTION --outroot $OUTROOT --logfile $logfile --recoveryroot $RECROOT --replace $REPLACE --magicked $MAGICKED
    232218
    233219    add_standard_args run
    … …  
    274260
    275261  periods      -poll $LOADPOLL
    276   #periods      -exec $LOADEXEC
    277262  periods      -exec 30
    278   periods      -timeout 60
     263  periods      -timeout 300
    279264  npending     1
    280265
    … …  
    293278    add_poll_args run
    294279    add_poll_labels run
     280    # since this command can be expensive, reduce the limit
     281    $run = $run -limit 24
    295282    command $run
    296283  end
    … …  
    317304task           destreak.revert.load
    318305  host         local
    319 
    320   periods      -poll $LOADPOLL
    321   periods      -exec $LOADEXEC
    322   periods      -timeout 20
     306  periods      -poll 60.0
     307  periods      -exec 120.
     308  periods      -timeout 120
    323309  npending     1
    324310  active       false
    … …  
    518504end
    519505
    520 task           destreak.cleanup.load
    521   host         local
    522 
    523   periods      -poll $LOADPOLL
    524   periods      -exec $LOADEXEC
    525   periods      -timeout 20
    526   npending     1
    527   active       false
    528 
    529   stdout NULL
    530   stderr $LOGSUBDIR/destreak.cleanup.load.log
    531 
    532   task.exec
    533     $run = magicdstool -tocleanup
    534     if ($DB:n == 0)
    535       option DEFAULT
    536     else
    537 
    538       # save the DB name for the exit tasks
    539       option $DB:$magicDSToCleanup_DB
    540       $run = $run -dbname $DB:$magicDSToCleanup_DB
    541 
    542       # only bump database number after we have gone through all of the stages
    543       $magicDSToCleanup_DB ++
    544       if ($magicDSToCleanup_DB >= $DB:n) set magicDSToCleanup_DB = 0
    545     end
    546     add_poll_args run
    547     add_poll_labels run
    548     command $run
    549   end
    550 
    551   # success
    552   task.exit    0
    553     # convert 'stdout' to book format
    554     ipptool2book stdout magicDSToCleanup -key magic_ds_id -uniq -setword dbname $options:0 -setword pantaskState INIT
    555     if ($VERBOSE > 2)
    556       book listbook magicDSToCleanup
    557     end
    558 
    559     # delete existing entries in the appropriate pantaskStates
    560     process_cleanup magicDSToCleanup
    561   end
    562 
    563   # locked list
    564   task.exit    default
    565     showcommand failure
    566   end
    567 
    568   task.exit    crash
    569     showcommand crash
    570   end
    571 
    572   # operation times out?
    573   task.exit    timeout
    574     showcommand timeout
    575   end
    576 end
    577 
    578 task           destreak.cleanup.run
    579   periods      -poll $RUNPOLL
    580   periods      -exec $RUNEXEC
    581   periods      -timeout 60
    582   active       false
    583 
    584   task.exec
    585     stdout $LOGSUBDIR/destreak.cleanup.run.log
    586     stderr $LOGSUBDIR/destreak.cleanup.run.log
    587 
    588     # if we are unable to run the 'exec', use a long retry time
    589     periods -exec $RUNEXEC
    590 
    591     book npages magicDSToCleanup -var N
    592     if ($N == 0) break
    593     if ($NETWORK == 0) break
    594    
    595     # look for new images (pantaskState == INIT)
    596     book getpage magicDSToCleanup 0 -var pageName -key pantaskState INIT
    597     if ("$pageName" == "NULL") break
    598 
    599     book setword magicDSToCleanup $pageName pantaskState RUN
    600     book getword magicDSToCleanup $pageName magic_ds_id -var MAGIC_DS_ID
    601     book getword magicDSToCleanup $pageName camera -var CAMERA
    602     book getword magicDSToCleanup $pageName stage -var STAGE
    603     book getword magicDSToCleanup $pageName outroot -var OUTROOT
    604     book getword magicDSToCleanup $pageName dbname -var DBNAME
    605 
    606     sprintf logfile "%s/mds.%s.cleanup.log" $OUTROOT $MAGIC_DS_ID
    607 
    608     host anyhost
    609 
    610     $run = magic_destreak_cleanup.pl --magic_ds_id $MAGIC_DS_ID --stage $STAGE --camera $CAMERA --logfile $logfile
    611 
    612     add_standard_args run
    613 
    614     # save the pageName for future reference below
    615     options $pageName
    616 
    617     # create the command line
    618     if ($VERBOSE > 1)
    619       echo command $run
    620     end
    621     # if we are ready to run, drop the retry timeout low so we fill up the queue
    622     periods -exec 0.05
    623     command $run
    624   end
    625 
    626   # default exit status
    627   task.exit    0
    628     process_exit magicDSToCleanup $options:0 $JOB_STATUS
    629    end
    630 
    631   # locked list
    632   task.exit    default
    633     showcommand failure
    634     process_exit magicDSToCleanup $options:0 $JOB_STATUS
    635   end
    636 
    637   task.exit    crash
    638     showcommand crash
    639     book setword magicDSToCleanup $options:0 pantaskState CRASH
    640   end
    641 
    642   # operation timed out?
    643   task.exit    timeout
    644     showcommand timeout
    645     book setword magicDSToCleanup $options:0 pantaskState TIMEOUT
    646   end
    647 end
    648 

  • branches/eam_branches/ipp-20100823/ippTasks/dist.pro

    r29124 r29515  
    176176  host         local
    177177
    178   periods      -poll $LOADPOLL
     178  periods      -poll 20
    179179  periods      -exec $LOADEXEC
    180   periods      -timeout 30
     180  periods      -timeout 300
    181181  npending     1
    182182
    … …  
    338338
    339339  periods      -poll $LOADPOLL
    340   periods      -exec $LOADEXEC
    341   periods      -timeout 30
     340  periods      -exec 30
     341  periods      -timeout 3000
    342342  npending     1
    343343
    … …  
    479479    end
    480480    add_poll_labels run
    481     echo $run
    482481    command $run
    483482  end

  • branches/eam_branches/ipp-20100823/ippTasks/magic.pro

    r27620 r29515  
    288288    book getword magicToProcess $pageName camera -var CAMERA
    289289    book getword magicToProcess $pageName workdir -var WORKDIR_TEMPLATE
     290    book getword magicToProcess $pageName raw_workdir -var RAW_TEMPLATE
     291    book getword magicToProcess $pageName exp_name -var EXP_NAME
    290292    book getword magicToProcess $pageName dbname -var DBNAME
    291293
    … …  
    308310    sprintf baseroot "%s/%s/%s.mgc.%s" $WORKDIR $EXP_ID $EXP_ID $MAGIC_ID
    309311
     312    if ("$NODE" == "root")
     313        # This is the root node, put the streaks file into the rawExps workdir
     314        # which is presumably in nebulous and thus will be replicatable
     315        set.workdir.by.camera $CAMERA FPA $RAW_TEMPLATE $default_host RAW_WORKDIR
     316        sprintf final_outroot "%s/%s.%s/%s.%s.mgc.%s" $RAW_WORKDIR $EXP_NAME $EXP_ID $EXP_NAME $EXP_ID $MAGIC_ID
     317
     318        $EXTRA_ARGS = --final-outroot $final_outroot
     319    else
     320        $EXTRA_ARGS = ""
     321    end
     322
    310323    $logfile = $baseroot.$NODE.log
    311324    if ("$logfile" == "")
    … …  
    319332    mkdir $outpath
    320333
    321     $run = magic_process.pl --magic_id $MAGIC_ID --camera $CAMERA --node $NODE --baseroot $baseroot --logfile $logfile
     334    $run = magic_process.pl --magic_id $MAGIC_ID --camera $CAMERA --node $NODE --baseroot $baseroot --logfile $logfile $EXTRA_ARGS
    322335    add_standard_args run
    323336

  • branches/eam_branches/ipp-20100823/ippTasks/nightly_stacks.pro

    r28982 r29515  
    436436
    437437    book getword nsData $options:0 nsNmacros -var ns_Nmacros
    438     for i 0 $ns_Nmacros
    439         sprintf macroName "ns%dMacro" $i
    440         book getword nsData $options:0 $macroName -var macroCmd
    441         $macroCmd
     438    if ("$ns_Nmacros" != "NULL")
     439        for i 0 $ns_Nmacros
     440            sprintf macroName "ns%dMacro" $i
     441            book getword nsData $options:0 $macroName -var macroCmd
     442            $macroCmd
     443        end
    442444    end
    443445
    … …  
    498500
    499501    book getword nsData $options:0 nsNmacros -var ns_Nmacros
    500     for i 0 $ns_Nmacros
    501         sprintf macroName "ns%dMacro" $i
    502         book getword nsData $options:0 $macroName -var macroCmd
    503         $macroCmd
     502    if ("$ns_Nmacros" != "NULL")
     503        for i 0 $ns_Nmacros
     504            sprintf macroName "ns%dMacro" $i
     505            book getword nsData $options:0 $macroName -var macroCmd
     506            $macroCmd
     507        end
    504508    end
    505509
    … …  
    560564
    561565    book getword nsData $options:0 nsNmacros -var ns_Nmacros
    562     for i 0 $ns_Nmacros
    563         sprintf macroName "ns%dMacro" $i
    564         book getword nsData $options:0 $macroName -var macroCmd
    565         $macroCmd
     566    if ("$ns_Nmacros" != "NULL")
     567        for i 0 $ns_Nmacros
     568            sprintf macroName "ns%dMacro" $i
     569            book getword nsData $options:0 $macroName -var macroCmd
     570            $macroCmd
     571        end
    566572    end
    567573
    … …  
    623629
    624630    book getword nsData $options:0 nsNmacros -var ns_Nmacros
    625     for i 0 $ns_Nmacros
    626         sprintf macroName "ns%dMacro" $i
    627         book getword nsData $options:0 $macroName -var macroCmd
    628         $macroCmd
     631    if ("$ns_Nmacros" != "NULL")
     632        for i 0 $ns_Nmacros
     633            sprintf macroName "ns%dMacro" $i
     634            book getword nsData $options:0 $macroName -var macroCmd
     635            $macroCmd
     636        end
    629637    end
    630638
    … …  
    684692
    685693    book getword nsData $options:0 nsNmacros -var ns_Nmacros
    686     for i 0 $ns_Nmacros
    687         sprintf macroName "ns%dMacro" $i
    688         book getword nsData $options:0 $macroName -var macroCmd
    689         $macroCmd
     694    if ("$ns_Nmacros" != "NULL")
     695        for i 0 $ns_Nmacros
     696            sprintf macroName "ns%dMacro" $i
     697            book getword nsData $options:0 $macroName -var macroCmd
     698            $macroCmd
     699        end
    690700    end
    691701
    … …  
    747757
    748758    book getword nsData $options:0 nsNmacros -var ns_Nmacros
    749     for i 0 $ns_Nmacros
    750         sprintf macroName "ns%dMacro" $i
    751         book getword nsData $options:0 $macroName -var macroCmd
    752         $macroCmd
     759    if ("$ns_Nmacros" != "NULL")
     760        for i 0 $ns_Nmacros
     761            sprintf macroName "ns%dMacro" $i
     762            book getword nsData $options:0 $macroName -var macroCmd
     763            $macroCmd
     764        end
    753765    end
    754766
    … …  
    870882
    871883    book getword nsData $options:0 nsNmacros -var ns_Nmacros
    872     for i 0 $ns_Nmacros
    873         sprintf macroName "ns%dMacro" $i
    874         book getword nsData $options:0 $macroName -var macroCmd
    875         $macroCmd
     884    if ("$ns_Nmacros" != "NULL")
     885        for i 0 $ns_Nmacros
     886            sprintf macroName "ns%dMacro" $i
     887            book getword nsData $options:0 $macroName -var macroCmd
     888            $macroCmd
     889        end
    876890    end
    877891

  • branches/eam_branches/ipp-20100823/ippTasks/pstamp.pro

    r28779 r29515  
    1414$pstampRev_DB = 0
    1515$pstampDep_DB = 0
     16$pstampRevDep_DB = 0
    1617$pstampCleanup_DB = 0
     18$pstampStopFaulted_DB = 0
    1719
    1820# set PS_DBSERVER if postage stamp database host is not the same as the value for DBSERVER in site.config
    … …  
    8991        active false
    9092    end
    91     task pstamp.job.revert
    92         active false
    93     end
    9493    task pstamp.dependent.load
    9594        active false
    … …  
    104103        active true
    105104    end
     105    task pstamp.dependent.revert
     106        active true
     107    end
     108    task pstamp.stopfaulted
     109        active true
     110    end
    106111end
    107112macro pstamp.revert.off
    108113    task pstamp.job.revert
     114        active false
     115    end
     116    task pstamp.dependent.revert
     117        active false
     118    end
     119    task pstamp.stopfaulted
    109120        active false
    110121    end
    … …  
    513524        stdout NULL
    514525        stderr $LOGSUBDIR/pstamp.job.revert.log
    515         $run = pstamptool -revertjob -all
     526        $run = pstamptool -revertjob
    516527        if ($DB:n == 0)
    517528            option DEFAULT
    … …  
    798809end
    799810
     811task pstamp.dependent.revert
     812    host        local
     813
     814    periods     -poll $LOADPOLL
     815    periods     -exec 900
     816    periods     -timeout 300
     817    npending    1
     818
     819    task.exec
     820        stdout NULL
     821        stderr $LOGSUBDIR/pstamp.dependent.revert.log
     822        $run = pstamptool -revertdependent
     823        if ($DB:n == 0)
     824            option DEFAULT
     825        else
     826            $run = $run $PS_DBSERVER -dbname $DB:$pstampRevDep_DB
     827            $pstampRevDep_DB ++
     828            if ($pstampRevDep_DB >= $DB:n) set pstampRevDep_DB = 0
     829        end
     830        add_poll_args run
     831        add_poll_labels run
     832        command $run
     833    end
     834
     835    task.exit $EXIT_SUCCESS
     836        # nothing to do
     837    end
     838
     839    task.exit   default
     840        showcommand failure
     841    end
     842
     843    task.exit   crash
     844        showcommand crash
     845    end
     846
     847    task.exit   timeout
     848        showcommand timeout
     849    end
     850end
     851
     852task pstamp.stopfaulted
     853    host        local
     854
     855    periods     -poll $LOADPOLL
     856    periods     -exec 30
     857    periods     -timeout 300
     858    npending    1
     859
     860    task.exec
     861        stderr $LOGSUBDIR/pstamp.stopfaulted.log
     862        stderr $LOGSUBDIR/pstamp.stopfaulted.log
     863        $run = pstampstopfaulted
     864        if ($DB:n == 0)
     865            option DEFAULT
     866        else
     867            $run = $run $PS_DBSERVER -dbname $DB:$pstampStopFaulted_DB
     868            $pstampStopFaulted_DB ++
     869            if ($pstampStopFaulted_DB >= $DB:n) set pstampStopFaulted_DB = 0
     870        end
     871        add_poll_args run
     872        add_poll_labels run
     873        command $run
     874    end
     875
     876    task.exit $EXIT_SUCCESS
     877        # nothing to do
     878    end
     879
     880    task.exit   default
     881        showcommand failure
     882    end
     883
     884    task.exit   crash
     885        showcommand crash
     886    end
     887
     888    task.exit   timeout
     889        showcommand timeout
     890    end
     891end

  • branches/eam_branches/ipp-20100823/ippTasks/publish.pro

    r27074 r29515  
    7575
    7676  task.exec
     77    if ($LABEL:n == 0) break
     78    #otherwise everything will be queued when there is no label.
    7779    $run = pubtool -definerun
    7880    if ($DB:n == 0)

  • branches/eam_branches/ipp-20100823/ippTasks/replicate.pro

    r24847 r29515  
    173173    book getword replicatePending $pageName volume_name -var VOLUME_NAME
    174174    book getword replicatePending $pageName volume_host -var VOLUME_HOST
     175    book getword replicatePending $pageName command     -var COMMAND
    175176
    176177    set.host.for.replicate $VOLUME_HOST
    … …  
    180181
    181182    # these operations do not require a database to be specified
    182     $run = neb-replicate --copies $NEED_COPIES $KEY
     183    $run = $COMMAND $KEY
    183184
    184185    # save the pageName for future reference below

  • branches/eam_branches/ipp-20100823/ippTasks/science.cleanup.pro

    r24595 r29515  
    113113  task.exec
    114114    book npages chipPendingCleanup -var N
    115     if ($N == 0) break
     115    if ($N == 0)
     116        periods -exec $RUNEXEC
     117        break
     118    end
    116119    if ($NETWORK == 0) break
    117120   
    … …  
    143146      echo command $run
    144147    end
     148    periods -exec 0.05
    145149    command $run
    146150  end
    … …  
    569573  task.exec
    570574    book npages warpPendingCleanup -var N
    571     if ($N == 0) break
     575    if ($N == 0)
     576        periods -exec $RUNEXEC
     577        break
     578    end
    572579    if ($NETWORK == 0) break
    573580   
    … …  
    599606      echo command $run
    600607    end
     608    periods -exec 0.05
    601609    command $run
    602610  end
    … …  
    721729  task.exec
    722730    book npages diffCleanup -var N
    723     if ($N == 0) break
     731    if ($N == 0)
     732        periods -exec $RUNEXEC
     733        break
     734    end
    724735    if ($NETWORK == 0) break
    725736   
    … …  
    751762      echo command $run
    752763    end
     764    periods -exec 0.05
    753765    command $run
    754766  end
Note: See TracChangeset for help on using the changeset viewer.