IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changeset 38060


Ignore:
Timestamp:
Mar 29, 2015, 6:14:23 AM (11 years ago)
Author:
eugene
Message:

merge changes from trunk

Location:
branches/eam_branches/ipp-20150112
Files:
8 edited

Legend:

Unmodified
Added
Removed

  • branches/eam_branches/ipp-20150112

  • branches/eam_branches/ipp-20150112/ippconfig

  • branches/eam_branches/ipp-20150112/ippconfig/gpc1/ppStack.config

    r37836 r38060  
    279279
    280280
    281 STACK_CNP_PV3_IQ_1DG  METADATA       ## revised -- based on STACK_THREEPI/STACK_MD_DEEP_1DG -- not complete
    282     OUTPUT.NOCOMP           BOOL  FALSE
    283     OUTPUT.LOGFLUX          BOOL  TRUE
     281STACK_CNP_PV3_IQ_1DG  METADATA       ## revised -- based on STACK_THREEPI/STACK_MD_DEEP_1DG
     282    OUTPUT.NOCOMP           BOOL  TRUE
     283    OUTPUT.LOGFLUX          BOOL  FALSE
    284284    STACK.TYPE              STR   DEEP_STACK
    285285    PSF.INPUT.CLIP.SIMPLE   BOOL  True
    … …  
    290290    MATCH.REJ        F32    4.0
    291291    SAFE                 BOOL   F
    292     PSF.TARGET.AS.MAX.EPSILON F32 0.1
    293     ## also unclear what rej mods needed
    294     ##
     292    PSF.TARGET.AS.MAX        BOOL  TRUE   # Set the target PSF FWHM as the maximum of accepted input FWHM values.
     293    PSF.TARGET.AS.MAX.EPSILON F32 0.1     # set the target PSF FWHM larger than the maximum input. Target = eps + max(input)
     294    THRESHOLD.MASK  F32     0.1          # Threshold for mask deconvolution (0..1)
     295    COMBINE.ITER    F32     0.5          # Number of rejection iterations per input
     296    COMBINE.REJ     F32     3.0          # Rejection threshold in combination (sigma)
     297    COMBINE.SYS     F32     0.1          # Relative systematic error in combination
     298    COMBINE.DISCARD F32     0.2          # Discard fraction for Olympic weighted mean
     299    IMAGE.REJ       F32     0.1          # Rejected pixel fraction threshold for rejecting entire image
     300    NMINPIX         S32     3            # Minimum input per pixel     
    295301    MASK.VAL        STR     SUSPECT,MASK.VALUE,CONV.BAD,GHOST # Mask value of input bad pixels
    296302    MASK.BLANKBORDER S32    20              # Mask blank border in final stack output
    … …  
    298304END
    299305
    300 STACK_CNP_PV3_REF_1DG  METADATA  ## revised CNP PV3 REF stack -- not complete
    301     OUTPUT.NOCOMP            BOOL  TRUE   # unclear if this necessary for CNP REF
     306STACK_CNP_PV3_REF_1DG  METADATA  ## revised CNP PV3 REF stack --
     307    OUTPUT.NOCOMP            BOOL  TRUE   # pointed field -- no compression, no logflux
    302308    OUTPUT.LOGFLUX           BOOL  FALSE  #
    303309    OUTPUT.REPLICATE         BOOL  TRUE
    … …  
    305311    PSF.INPUT.CLIP.SIMPLE    BOOL  True
    306312    PSF.INPUT.MAX            F32   10.0   # CNP large FWHM, center/edge vary 1-2 pix?
    307     PSF.INPUT.CLIP.NSIGMA    F32   1.0    # sample typically on rising side of distribution (set smaller?)
     313    PSF.INPUT.CLIP.NSIGMA    F32   0.0    # sample typically on rising side of distribution
    308314    PSF.INPUT.THRESH         F32   NAN
    309315    PSF.INPUT.ASYMMETRY      F32   NAN
    … …  
    312318    PSF.TARGET.AS.MAX        BOOL  TRUE   # Set the target PSF FWHM as the maximum of accepted input FWHM values.
    313319    PSF.TARGET.AS.MAX.EPSILON F32 0.1     # set the target PSF FWHM larger than the maximum input. Target = eps + max(input)
    314     ## extra rej -- turn default for initial test run
    315     #THRESHOLD.MASK  F32     0.1          # Threshold for mask deconvolution (0..1)
    316     #COMBINE.ITER    F32     0.5          # Number of rejection iterations per input
    317     #COMBINE.REJ     F32     3.0          # Rejection threshold in combination (sigma)
    318     #COMBINE.SYS     F32     0.1          # Relative systematic error in combination
    319     #COMBINE.DISCARD F32     0.2          # Discard fraction for Olympic weighted mean
    320     #IMAGE.REJ       F32     0.1          # Rejected pixel fraction threshold for rejecting entire image
    321     #NMINPIX         S32     4            # Minimum input per pixel
    322     #MASK.VAL        STR     SUSPECT,MASK.VALUE,CONV.BAD,GHOST # Mask value of input bad pixels
    323     ##
     320    THRESHOLD.MASK  F32     0.1          # Threshold for mask deconvolution (0..1)
     321    COMBINE.ITER    F32     0.5          # Number of rejection iterations per input
     322    COMBINE.REJ     F32     3.0          # Rejection threshold in combination (sigma)
     323    COMBINE.SYS     F32     0.1          # Relative systematic error in combination
     324    COMBINE.DISCARD F32     0.2          # Discard fraction for Olympic weighted mean
     325    IMAGE.REJ       F32     0.1          # Rejected pixel fraction threshold for rejecting entire image
     326    NMINPIX         S32     3            # Minimum input per pixel
     327    MASK.VAL        STR     SUSPECT,MASK.VALUE,CONV.BAD,GHOST # Mask value of input bad pixels
    324328    MASK.BLANKBORDER S32    20           # Mask blank border in final stack output
    325329    BSCALEOFFSET    BOOL    FALSE        # MUST be FALSE for PV3
    326330END
    327331
    328 STACK_CNP_PV3_DEEP_1DG  METADATA   ## -- not complete
     332STACK_CNP_PV3_DEEP_1DG  METADATA   ## --
    329333    OUTPUT.NOCOMP           BOOL  TRUE
    330334    OUTPUT.LOGFLUX          BOOL  FALSE

  • branches/eam_branches/ipp-20150112/ippconfig/gpc1/psastro.config

    r37836 r38060  
    267267
    268268REFSTAR_MASK_CROSSTALK_MAG_SLOPE F32   3.44
    269 REFSTAR_MASK_CROSSTALK_MAG_MAX   F32 -14.47
     269REFSTAR_MASK_CROSSTALK_MAG_MAX   F32 -13.47
    270270CROSSTALK_MAX_MAG                F32  20.0
    271271CROSSTALK_MASK                   BOOL TRUE
    … …  
    398398END
    399399
     400MD_ASTRO METADATA
     401   ZERO.POINT.BY.EXPOSURE      BOOL  TRUE
     402   ZERO.POINT.USE.MEAN         BOOL  TRUE
     403   DVO.GETSTAR.MAX.RHO         F32   6000.0  # was globally changed to 10k, seems >6k more than 1600 NREF
     404   PSASTRO.GRID.NREF.MAX       S32   1600    # max stars for grid search from ref catalog
     405   PSASTRO.GRID.NRAW.MAX       S32   800     # max stars for grid search from raw/image 
     406   DVO.GETSTAR.MIN.MAG         F32   12.0    # leave similar to default, MD in marginal weather and can lose 1-3 mags
     407   DVO.GETSTAR.MIN.MAG.INST    F32   -25.0
     408   PSASTRO.CATDIR              STR   PS1.REF.20140713
     409   ## refcat may be okay astrom but not faint phot -- so need to be able to further limit by ZP
     410   ## -- concern w/ new refcat >20 extra sources w/ larger merr over-dominating scatter in ZP
     411   ## -- CLAMP will limit both astrom and zp --
     412   REFSTAR_CLAMP_MAG_MAX       F32   22.0
     413   REFSTAR.ZP.MIN.MAG          F32   12.0
     414   REFSTAR.ZP.MAX.MAG          F32   19.0
     415   ## for ZP need extra limit by filter to avoid poorer photometry scatter on faint end
     416   ## -- cannot restrict on bright end due to possible marginal nights
     417   ## -- set for merr<0.02-0.03 in refcat, ~similar for each MD field
     418#   PHOTCODE.DATA MULTI UPDATE
     419   PHOTCODE.DATA MULTI   
     420   PHOTCODE.DATA METADATA
     421     FILTER   STR g
     422     PHOTCODE STR g
     423     REFSTAR.ZP.MAX.MAG    F32  19.0
     424   END
     425   PHOTCODE.DATA METADATA
     426     FILTER   STR r
     427     PHOTCODE STR r
     428     REFSTAR.ZP.MAX.MAG    F32  19.0
     429   END
     430   PHOTCODE.DATA METADATA
     431     FILTER   STR i
     432     PHOTCODE STR i
     433     REFSTAR.ZP.MAX.MAG    F32  18.5
     434   END
     435   PHOTCODE.DATA METADATA
     436     FILTER   STR z
     437     PHOTCODE STR z
     438     REFSTAR.ZP.MAX.MAG    F32  18.5
     439   END
     440   PHOTCODE.DATA METADATA
     441     FILTER   STR y
     442     PHOTCODE STR y
     443     REFSTAR.ZP.MAX.MAG    F32  17.5
     444   END
     445END
     446
     447
    400448CNP_ASTRO_PV3 METADATA
    401449   PSASTRO.MAX.ALLOWED.FWHM    F32   25  # larger number typical >12, so include 2x larger
    … …  
    631679END
    632680
     681## MD version
     682## revised setup for DEEP/MDS stacks with range of inputs, should work for N~2(edges)--500 inputs with large MIN/MAX.INST.MAG.RAW
     683STATICSKY_MD_DEEPCAL   METADATA
     684   #PSASTRO.CATDIR                  STR   PS1.REF.20120524  # reset here to ensure same catalog is used when reprocessing set uniformly
     685   #PSASTRO.CATDIR                  STR   PS1.REF.20140605  # ensure same catalog is used when reprocessing MD set uniformly (BAD catalog)
     686   PSASTRO.CATDIR                  STR   PS1.REF.20140713
     687   REFSTAR_MASK                    BOOL  FALSE
     688   PSASTRO.SAVE.REFMATCH           BOOL  FALSE
     689   PSASTRO.FIX.CHIPS               BOOL  FALSE
     690   PSASTRO.USE.MODEL               BOOL  FALSE
     691   PSASTRO.MOSAIC.MODE             BOOL  FALSE
     692   ZERO.POINT.USE.MEAN             BOOL  TRUE
     693   PSASTRO.FIELD.PADDING           F32   0.01   # skycells are well defined, don't need large padding. 1% of 6400 is 64 pixels
     694   PSASTRO.MAX.NRAW                S32   1500   # include more than MAX.NREF to account for extras like false-positives
     695   PSASTRO.MAX.NREF                S32   1000   # if edge skycell ~10% then try ~50 to match. increase to help odd bulk offsets
     696   PSASTRO.MIN.INST.MAG.RAW        F32   -25.0  #
     697   PSASTRO.MAX.INST.MAG.RAW        F32   -5.0
     698   PSASTRO.GRID.SEARCH             BOOL  FALSE  # skycell/stack and astrom well known, when used could cause problems and not help
     699   #PSASTRO.GRID.NRAW.MAX           S32   2000
     700   #PSASTRO.GRID.NREF.MAX           S32   2000
     701   #PSASTRO.GRID.MIN.INST.MAG.RAW   F32   -21.0
     702   #PSASTRO.GRID.MAX.INST.MAG.RAW   F32   -14.0
     703   DVO.GETSTAR.MAX.RHO             F32   6000.0  # N/sqdeg, slightly larger than MAX.NREF
     704   DVO.GETSTAR.MIN.MAG.INST        F32   -25.0   # set absurd range to cover large range of exptime, then clamp...
     705   DVO.GETSTAR.MIN.MAG             F32   16.5    # only used if keyword problem so also using CLAMP_MAG_MIN
     706   REFSTAR_CLAMP_MAG_MIN           F32   16.5    # saturation in MD ~14 even in y-band, so toss out brighter in the list. seeing offset in brighter stars
     707   DVO.GETSTAR.FIXED.ZEROPT        F32   0.0     # not really needed, exptime overly dominates
     708 
     709   ## for skycell/stack astrom well known, radius shouldn't need to be as large as 90 pixel default. in deeper stacks can be problems
     710   PSASTRO.MATCH.RADIUS.N0         F32   5
     711   PSASTRO.MATCH.RADIUS.N1         F32   3
     712   PSASTRO.MATCH.RADIUS.N2         F32   1
     713   PSASTRO.MATCH.RADIUS.N3         F32   0.5
     714   PSASTRO.MATCH.FIT.NITER         S32   4
     715   PSASTRO.MAX.ERROR               F32   0.2  # in arcsec units, still liberal limit for well known astrometry for skycells
     716   PSASTRO.MIN.NSTAR               S32   10   # edges may not have many and require special treatment
     717
     718   KH.CORRECT.APPLY              BOOL     FALSE
     719END
     720
     721
    633722## if defined for MD, needs to have MD name in group so shouldn't be modified except for MD work
    634723## -- was ad hoc limit for NREF~150, rho~6000 due to issues fainter than 19 mag in all filters and brighter than 17.0 mag (except y ~16.5) in MD

  • branches/eam_branches/ipp-20150112/ippconfig/recipes/nightly_science.config

    r36841 r38060  
    8787END
    8888TARGETS METADATA
     89  NAME         STR SNIa
     90  DISTRIBUTION STR SNIa.test
     91  TESS         STR RINGS.V3
     92  OBSMODE      STR SNIa
     93  STACKABLE   BOOL FALSE
     94  DIFFABLE    BOOL FALSE
     95  OFFNIGHT_DIFFS BOOL FALSE
     96  ## change days till cleanup
     97  DIST      S16 300
     98#  CHIP           S16  7
     99  WARP      S16 300
     100  DIFF      S16 300
     101END
     102TARGETS METADATA
    89103  NAME      STR  MD01
    90104  DISTRIBUTION STR MD01
    … …  
    95109  MIN_STACK U16 8
    96110  DIFFABLE  BOOL FALSE
     111  REDUCTION STR MD_DEFAULT
    97112  DIST      S16  30
    98113END
    … …  
    106121  MIN_STACK U16 8
    107122  DIFFABLE  BOOL FALSE
     123  REDUCTION STR MD_DEFAULT
    108124  DIST      S16 30
    109125END
    … …  
    117133  MIN_STACK U16 8
    118134  DIFFABLE  BOOL FALSE
     135  REDUCTION STR MD_DEFAULT
    119136  DIST      S16 30
    120137END
    … …  
    128145  MIN_STACK U16 8
    129146  DIFFABLE  BOOL FALSE
     147  REDUCTION STR MD_DEFAULT
    130148  DIST      S16 30
    131149END
    … …  
    139157  MIN_STACK U16 8
    140158  DIFFABLE  BOOL FALSE
    141   DIST      S16 30
     159  REDUCTION STR MD_DEFAULT
     160  DIST      S16 30
     161  ## change days till cleanup
     162  #CHIP S16 60
     163  WARP S16 60
     164  DIFF S16 60
    142165END
    143166TARGETS METADATA
    … …  
    150173  MIN_STACK U16 8
    151174  DIFFABLE  BOOL FALSE
    152   DIST      S16 30
     175  REDUCTION STR MD_DEFAULT
     176  DIST      S16 30
     177  ## change days till cleanup
     178  #CHIP S16 60
     179  WARP S16 60
     180  DIFF S16 60
    153181END
    154182TARGETS METADATA
    … …  
    161189  MIN_STACK U16 8
    162190  DIFFABLE  BOOL FALSE
    163   DIST      S16 30
     191  REDUCTION STR MD_DEFAULT
     192  DIST      S16 30
     193  ## change days till cleanup
     194  #CHIP S16 60
     195  WARP S16 60
     196  DIFF S16 60
    164197END
    165198TARGETS METADATA
    … …  
    172205  MIN_STACK U16 8
    173206  DIFFABLE  BOOL FALSE
    174   DIST      S16 30
     207  REDUCTION STR MD_DEFAULT
     208  DIST      S16 30
     209  ## change days till cleanup
     210  #CHIP S16 60
     211  WARP S16 60
     212  DIFF S16 60
    175213END
    176214TARGETS METADATA
    … …  
    183221  MIN_STACK U16 8
    184222  DIFFABLE  BOOL FALSE
     223  REDUCTION STR MD_DEFAULT
    185224  DIST      S16 30
    186225END
    … …  
    194233  MIN_STACK U16 8
    195234  DIFFABLE  BOOL FALSE
     235  REDUCTION STR MD_DEFAULT
    196236  DIST      S16 30
    197237END

  • branches/eam_branches/ipp-20150112/ippconfig/recipes/ppSub.config

    r37836 r38060  
    182182END
    183183
     184# WSdiff for PV3 to do inverse phot
     185WARPSTACK_PV3       METADATA
     186        DUAL            BOOL    FALSE   # Dual convolution?
     187        INVERSE         BOOL    TRUE   # Generate inverse subtraction?
     188        PHOTOMETRY      BOOL    TRUE    # Perform photometry?
     189        CONVOLVE.TARGET STR     SINGLE2 # convolution direction
     190END
     191
    184192WARPSTACK_1DG   METADATA
    185193        KERNEL.TYPE     STR     SIMPLE

  • branches/eam_branches/ipp-20150112/ippconfig/recipes/psastro.config

    r37836 r38060  
    187187MASKSTAT.ADVISORY   U32 0x080
    188188
     189TRANSFORM.GALAXY.SHAPE.ERRORS  BOOL F
     190
    189191# maximum allowed fwhm_major (moved from */camera.config)
    190192PSASTRO.MAX.ALLOWED.FWHM    F32     0
    … …  
    281283END
    282284
     285MD_ASTRO METADATA
     286END
     287
    283288CNP_ASTRO_PV3 METADATA
    284289END
    … …  
    314319STATICSKY_MD_PV3_DEEPCAL   METADATA
    315320END
     321

  • branches/eam_branches/ipp-20150112/ippconfig/recipes/reductionClasses.mdc

    r37836 r38060  
    200200END
    201201
    202 
     202# MD basic/nightly science analysis
     203MD_DEFAULT              METADATA
     204        CHIP_PPIMAGE      STR     CHIP
     205        CHIP_PSPHOT       STR     CHIP
     206        WARP_PSWARP       STR     WARP
     207        ## this should be updated when ready w/ revised _1DG version
     208        STACK_PPSTACK     STR     STACK_NIGHTLY
     209        STACK_PPSUB       STR     STACK
     210        STACK_PSPHOT      STR     STACK
     211        DIFF_PPSUB        STR     DIFF
     212        DIFF_PSPHOT       STR     DIFF
     213        JPEG_BIN1         STR     PPIMAGE_J1
     214        JPEG_BIN2         STR     PPIMAGE_J2
     215        FAKEPHOT          STR     FAKEPHOT
     216        ADDSTAR           STR     ADDSTAR
     217        PSASTRO           STR     MD_ASTRO
     218        STACKPHOT_PSPHOT  STR     STACKPHOT
     219        STACKPHOT_PPSUB   STR     STACKPHOT
     220        STACKPHOT_PPSTACK STR     STACKPHOT
     221        STACKPHOT_SINGLE_PSPHOT  STR     STACKPHOT_SINGLE
     222        BACKGROUND_PPBACKGROUND STR     BACKGROUND
     223        BACKGROUND_PSWARP       STR     BACKGROUND
     224        PSVIDEOPHOT             STR     PSVIDEOPHOT
     225        STATICSKY_CALIBRATION   STR     STATICSKY_CAL
     226        FULLFORCE_PSPHOT  STR   FULLFORCE_WARP
     227END
    203228
    204229# basic science analysis
    … …  
    569594        JPEG_BIN1       STR     PPIMAGE_J1
    570595        JPEG_BIN2       STR     PPIMAGE_J2
     596END
     597
     598# specific for PV3 WSdiff processing to do inverse phot
     599WARPSTACK_PV3       METADATA
     600        DIFF_PPSUB      STR     WARPSTACK_PV3
     601        DIFF_PSPHOT     STR     DIFF
     602        JPEG_BIN1       STR     PPIMAGE_J1
     603        JPEG_BIN2       STR     PPIMAGE_J2
    571604END
    572605
    … …  
    14361469        BACKGROUND_PSWARP       STR     BACKGROUND
    14371470        PSVIDEOPHOT             STR     PSVIDEOPHOT
    1438         STATICSKY_CALIBRATION   STR     STATICSKY_MD_DEEPCAL_PV3
     1471        STATICSKY_CALIBRATION   STR     STATICSKY_MD_PV3_DEEPCAL
    14391472END
    14401473
Note: See TracChangeset for help on using the changeset viewer.