IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changeset 42373


Ignore:
Timestamp:
Feb 4, 2023, 12:16:25 PM (3 years ago)
Author:
eugene
Message:

merge changes from trunk: new nonlinearity, detections under bad CTE masks, single-time darks

Location:
branches/eam_branches/ipp-20220316/ippconfig
Files:
17 edited
4 copied

Legend:

Unmodified
Added
Removed

  • branches/eam_branches/ipp-20220316/ippconfig

  • branches/eam_branches/ipp-20220316/ippconfig/README

    r11611 r42373  
    1717  - Set the DBUSER and DBPASSWORD to your mysql username and password
    1818
     19Copy recipes/nightly_science.config.template to recipes/nightly_science.config in ipprc
     20PATH. 
     21

  • branches/eam_branches/ipp-20220316/ippconfig/gpc1/Makefile.am

    r41750 r42373  
    1616        format_20100228.config \
    1717        format_20100723.config \
     18        format_20220827.config \
    1819        format_mef.config \
    1920        format_relphot.config \

  • branches/eam_branches/ipp-20220316/ippconfig/gpc1/ppImage.config

    r41829 r42373  
    518518END
    519519
     520
     521CHIP_TIMEDARK METADATA
     522   BASE.FITS          BOOL    FALSE           # Save base detrended image?
     523   BASE.MASK.FITS     BOOL    FALSE           # Save base detrended image?
     524   BASE.VARIANCE.FITS BOOL    FALSE           # Save base detrended image?
     525   CHIP.FITS          BOOL    TRUE            # Save chip-mosaic-ed image?
     526   CHIP.MASK.FITS     BOOL    TRUE            # Save chip-mosaic-ed image?
     527   CHIP.VARIANCE.FITS BOOL    TRUE            # Save chip-mosaic-ed image?
     528   OVERSCAN           BOOL    TRUE            # Overscan subtraction
     529   NONLIN             BOOL    TRUE            # Non-linearity correction; not implemented
     530   BIAS               BOOL    FALSE           # Bias subtraction
     531   DARK               BOOL    TRUE            # Dark subtraction
     532   NOISEMAP           BOOL    TRUE
     533   REMNANCE           BOOL    FALSE           # Remnance masking
     534   SHUTTER            BOOL    FALSE           # Shutter correction
     535   FLAT               BOOL    TRUE            # Flat-field normalisation
     536   MASK               BOOL    TRUE            # Mask bad pixels
     537   MASK.BUILD         BOOL    TRUE        # Build internal mask?
     538   MASK.BURNTOOL      BOOL    TRUE            # Mask potential burntool trails
     539   PATTERN.ROW        BOOL    TRUE            # Row pattern correction
     540   PATTERN.CELL       BOOL    FALSE       # Cell pattern correction
     541   PATTERN.CONTINUITY BOOL    TRUE            # Cell pattern correction using edge continuity
     542   FRINGE             BOOL    TRUE            # Fringe subtraction
     543   BIN1.FITS          BOOL    TRUE            # Save 1st binned chip image?
     544   BIN2.FITS          BOOL    TRUE            # Save 2nd binned chip image?
     545   PHOTOM             BOOL    TRUE            # Source identification and photometry
     546   ASTROM.CHIP        BOOL    FALSE           # Astrometry per chip?
     547   ASTROM.MOSAIC      BOOL    FALSE           # Astrometry for mosaic?
     548   BACKGROUND         BOOL    TRUE            # Subtract background?
     549   CROSSTALK.MEASURE  BOOL    FALSE           # Subtract model background?
     550
     551   DETREND.CONSTRAINTS  METADATA
     552     DARK METADATA
     553       DETTYPE STR TIMEDARK
     554       EXPTIME STR FPA.EXPOSURE
     555     END
     556     MASK METADATA
     557       DETTYPE STR TIMEMASK
     558       EXPTIME STR FPA.EXPOSURE
     559     END   
     560     VIDEOMASK METADATA
     561       DETTYPE STR VIDEOMASKTEST
     562     END
     563     FLAT METADATA
     564       FILTER  STR FPA.FILTERID
     565     END
     566     FLATCORR METADATA
     567       FILTER   STR FPA.FILTERID
     568     END
     569     FRINGE METADATA
     570       FILTER   STR FPA.FILTERID
     571     END
     572  END
     573END
     574
    520575CHIP_NOISEMAP METADATA
    521576  BASE.FITS          BOOL    FALSE           # Save base detrended image?

  • branches/eam_branches/ipp-20220316/ippconfig/gpc1/psastro.config

    r42109 r42373  
    149149PHOTCODE.DATA METADATA
    150150  FILTER   STR g
    151   ZEROPT   F32 24.563
     151  ZEROPT   F32 25.013
    152152  PHOTCODE STR g
    153153  GHOST_MAX_MAG                   F32 -16.5
    … …  
    156156PHOTCODE.DATA METADATA
    157157  FILTER   STR r
    158   ZEROPT   F32 24.750
     158  ZEROPT   F32 24.840
    159159  PHOTCODE STR r
    160160  GHOST_MAX_MAG                   F32 -20.0
    … …  
    163163PHOTCODE.DATA METADATA
    164164  FILTER   STR i
    165   ZEROPT   F32 24.611
     165  ZEROPT   F32 24.711
    166166  PHOTCODE STR i
    167167  GHOST_MAX_MAG                   F32 -22.0
    … …  
    170170PHOTCODE.DATA METADATA
    171171  FILTER   STR z
    172   ZEROPT   F32 24.250
     172  ZEROPT   F32 24.300
    173173  PHOTCODE STR z
    174174  GHOST_MAX_MAG                   F32 -22.0
    … …  
    177177PHOTCODE.DATA METADATA
    178178  FILTER   STR y
    179   ZEROPT   F32 23.320
     179  ZEROPT   F32 23.570
    180180  PHOTCODE STR y
    181181  GHOST_MAX_MAG                   F32 -21.5
    … …  
    184184PHOTCODE.DATA METADATA
    185185  FILTER   STR w
    186   ZEROPT   F32 26.3
     186  ZEROPT   F32 26.000
    187187  PHOTCODE STR r
    188188  GHOST_MAX_MAG                   F32 -20.4

  • branches/eam_branches/ipp-20220316/ippconfig/gpc2/Makefile.am

    r41750 r42373  
    88        format_mef.config \
    99        format_20180131.config \
     10        format_20220616.config \
    1011        ghost.model.mdc \
     12        crosstalk_rules.mdc \
    1113        ppImage.config \
    1214        ppMerge.config \

  • branches/eam_branches/ipp-20220316/ippconfig/gpc2/camera.config

    r41750 r42373  
    55        MEF             STR     gpc2/format_mef.config
    66        # RELPHOT       STR     gpc2/format_relphot.config
     7        FORMAT_20220616 STR     gpc2/format_20220616.config
    78        FORMAT_20180131 STR     gpc2/format_20180131.config
    89        FORMAT_DEFAULT  STR     gpc2/format_default.config

  • branches/eam_branches/ipp-20220316/ippconfig/gpc2/ppImage.config

    r42217 r42373  
    413413     MASK METADATA
    414414       DETTYPE STR MASKTEST
     415     END   
     416     VIDEOMASK METADATA
     417       DETTYPE STR VIDEOMASKTEST
     418     END
     419     FLAT METADATA
     420       FILTER  STR FPA.FILTERID
     421     END
     422     FLATCORR METADATA
     423       FILTER   STR FPA.FILTERID
     424     END
     425     FRINGE METADATA
     426       FILTER   STR FPA.FILTERID
     427     END
     428  END
     429END
     430
     431
     432CHIP_TIMEDARK METADATA
     433   BASE.FITS          BOOL    FALSE           # Save base detrended image?
     434   BASE.MASK.FITS     BOOL    FALSE           # Save base detrended image?
     435   BASE.VARIANCE.FITS BOOL    FALSE           # Save base detrended image?
     436   CHIP.FITS          BOOL    TRUE            # Save chip-mosaic-ed image?
     437   CHIP.MASK.FITS     BOOL    TRUE            # Save chip-mosaic-ed image?
     438   CHIP.VARIANCE.FITS BOOL    TRUE            # Save chip-mosaic-ed image?
     439   OVERSCAN           BOOL    TRUE            # Overscan subtraction
     440   NONLIN             BOOL    FALSE           # Non-linearity correction; not implemented
     441   BIAS               BOOL    FALSE           # Bias subtraction
     442   DARK               BOOL    TRUE            # Dark subtraction
     443   NOISEMAP       BOOL    FALSE
     444   REMNANCE           BOOL    FALSE           # Remnance masking
     445   SHUTTER            BOOL    FALSE           # Shutter correction
     446   FLAT               BOOL    TRUE            # Flat-field normalisation
     447   MASK               BOOL    TRUE            # Mask bad pixels
     448   MASK.BUILD       BOOL    TRUE        # Build internal mask?
     449   MASK.BURNTOOL      BOOL   FALSE            # Mask potential burntool trails
     450   PATTERN.ROW        BOOL   FALSE            # Row pattern correction
     451   PATTERN.CELL      BOOL    FALSE        # Cell pattern correction
     452   PATTERN.CONTINUITY BOOL   FALSE            # Cell pattern correction using edge continuity
     453   FRINGE             BOOL   FALSE            # Fringe subtraction
     454   BIN1.FITS          BOOL    TRUE            # Save 1st binned chip image?
     455   BIN2.FITS          BOOL    TRUE            # Save 2nd binned chip image?
     456   PHOTOM             BOOL    TRUE            # Source identification and photometry
     457   ASTROM.CHIP        BOOL    FALSE           # Astrometry per chip?
     458   ASTROM.MOSAIC      BOOL    FALSE           # Astrometry for mosaic?
     459   BACKGROUND         BOOL    TRUE            # Subtract background?
     460   CROSSTALK.MEASURE  BOOL    FALSE           # Subtract model background?
     461
     462   DETREND.CONSTRAINTS  METADATA
     463     DARK METADATA
     464       DETTYPE STR TIMEDARK
     465       EXPTIME STR FPA.EXPOSURE
     466     END
     467     MASK METADATA
     468       DETTYPE STR TIMEMASK
     469       EXPTIME STR FPA.EXPOSURE
    415470     END   
    416471     VIDEOMASK METADATA

  • branches/eam_branches/ipp-20220316/ippconfig/gpc2/psastro.config

    r42109 r42373  
    143143PHOTCODE.DATA METADATA
    144144  FILTER   STR g
    145   ZEROPT   F32 24.563
     145  ZEROPT   F32 25.013
    146146  PHOTCODE STR g
    147147  GHOST_MAX_MAG                   F32 -16.5
    … …  
    150150PHOTCODE.DATA METADATA
    151151  FILTER   STR r
    152   ZEROPT   F32 24.750
     152  ZEROPT   F32 24.840
    153153  PHOTCODE STR r
    154154  GHOST_MAX_MAG                   F32 -20.0
    … …  
    157157PHOTCODE.DATA METADATA
    158158  FILTER   STR i
    159   ZEROPT   F32 24.611
     159  ZEROPT   F32 24.711
    160160  PHOTCODE STR i
    161161  GHOST_MAX_MAG                   F32 -23.5
    … …  
    164164PHOTCODE.DATA METADATA
    165165  FILTER   STR z
    166   ZEROPT   F32 24.250
     166  ZEROPT   F32 24.300
    167167  PHOTCODE STR z
    168168  GHOST_MAX_MAG                   F32 -25.0
    … …  
    171171PHOTCODE.DATA METADATA
    172172  FILTER   STR y
    173   ZEROPT   F32 23.320
     173  ZEROPT   F32 23.570
    174174  PHOTCODE STR y
    175175  GHOST_MAX_MAG                   F32 -25.0
    … …  
    178178PHOTCODE.DATA METADATA
    179179  FILTER   STR w
    180   ZEROPT   F32 26.3
     180  ZEROPT   F32 26.000
    181181  PHOTCODE STR r
    182182  GHOST_MAX_MAG                   F32 -23.5
    … …  
    281281REFSTAR_MASK_CROSSTALK_MAG_MAX   F32 -14.47
    282282CROSSTALK_MAX_MAG                F32  20.0
    283 CROSSTALK_MASK                   BOOL FALSE
     283CROSSTALK_MASK                   BOOL TRUE
     284
     285# crosstal rules file is relative to PATH (eg, ippconfig directory)
     286CROSSTALK_FILE                     STR  gpc2/crosstalk_rules.mdc
    284287
    285288PS1_REFERENCE METADATA
    … …  
    393396END
    394397
     398QUB_ASTRO METADATA
     399   ZERO.POINT.USE.MEAN         BOOL  TRUE
     400   PSASTRO.MAX.ALLOWED.FWHM    F32   24
     401   PSASTRO.CATDIR               STR     PS1.REF.20170919
     402END
     403
     404YSE_ASTRO METADATA
     405   ZERO.POINT.USE.MEAN         BOOL  TRUE
     406   PSASTRO.MAX.ALLOWED.FWHM    F32   24
     407   PSASTRO.CATDIR               STR     PS1.REF.20170919
     408END
     409
    395410#Recipe for processing engineering exposures
    396411ENGI_ASTRO METADATA

  • branches/eam_branches/ipp-20220316/ippconfig/recipes/filerules-mef.mdc

    r42208 r42373  
    7171PPIMAGE.PATTERN.ROW.AMP INPUT    @DETDB        FPA        PATTERN.ROW.AMP
    7272PPIMAGE.PATTERN.DEAD.CELLS INPUT @DETDB        FPA        PATTERN.DEAD.CELLS
     73PPIMAGE.NEWNONLIN       INPUT    @DETDB        CHIP       NEWNONLIN
    7374
    7475## Files used by ppMerge

  • branches/eam_branches/ipp-20220316/ippconfig/recipes/filerules-simple.mdc

    r42208 r42373  
    3131PPIMAGE.SHUTTER           INPUT    @DETDB        CHIP       IMAGE     
    3232PPIMAGE.LINEARITY         INPUT    @DETDB        CHIP       LINEARITY
     33PPIMAGE.NEWNONLIN         INPUT    @DETDB        CHIP       NEWNONLIN
    3334
    3435FPCAMERA.OUTPUT          STR FPCAMERA.OUT.CMF

  • branches/eam_branches/ipp-20220316/ippconfig/recipes/filerules-split.mdc

    r42208 r42373  
    5353PPIMAGE.SHUTTER           INPUT    @DETDB        CHIP       IMAGE
    5454PPIMAGE.LINEARITY         INPUT    @DETDB        CHIP       LINEARITY
     55PPIMAGE.NEWNONLIN         INPUT    @DETDB        CHIP       NEWNONLIN
    5556PPIMAGE.PATTERN.ROW.AMP   INPUT    @DETDB        FPA        PATTERN.ROW.AMP
    5657PPIMAGE.PATTERN.DEAD.CELLS INPUT   @DETDB        FPA        PATTERN.DEAD.CELLS

  • branches/eam_branches/ipp-20220316/ippconfig/recipes/ppImage.config

    r42217 r42373  
    66OVERSCAN           BOOL    TRUE            # Overscan subtraction
    77NONLIN             BOOL    FALSE           # Non-linearity correction; not implemented
     8NEWNONLIN          BOOL    FALSE           # Non-linearity correction (v2023)
    89NOISEMAP           BOOL    FALSE           # Apply read noise map
    910BIAS               BOOL    TRUE            # Bias subtraction
    … …  
    2122APPLY.BURNTOOL     BOOL    FALSE           # apply burntool coorection
    2223APPLY.PIXELZERO    BOOL    FALSE           # apply zero'ing of pixels underneath masks
     24DETECT.CTE         BOOL    FALSE           # perform object detections in the CTE regions
    2325VARIANCE.BUILD     BOOL    FALSE           # Build internal variance image
    2426ADDNOISE           BOOL    FALSE           # Add noise to degrade an MD image to a 3pi image?
    … …  
    527529   END   
    528530END
     531
     532CHIP_TIMEDARK METADATA
     533  BASE.FITS          BOOL    FALSE           # Save base detrended image?
     534  BASE.MASK.FITS     BOOL    FALSE           # Save base detrended image?
     535  BASE.VARIANCE.FITS BOOL    FALSE           # Save base detrended image?
     536  CHIP.FITS          BOOL    TRUE            # Save chip-mosaic-ed image?
     537  CHIP.MASK.FITS     BOOL    TRUE            # Save chip-mosaic-ed image?
     538  CHIP.VARIANCE.FITS BOOL    TRUE            # Save chip-mosaic-ed image?
     539  OVERSCAN           BOOL    TRUE            # Overscan subtraction
     540  NONLIN             BOOL    FALSE           # Non-linearity correction; not implemented
     541  BIAS               BOOL    TRUE            # Bias subtraction
     542  DARK               BOOL    TRUE            # Dark subtraction
     543  SHUTTER            BOOL    FALSE           # Shutter correction
     544  FLAT               BOOL    TRUE            # Flat-field normalisation
     545  MASK               BOOL    TRUE            # Mask bad pixels
     546  FRINGE             BOOL    TRUE            # Fringe subtraction
     547  BIN1.FITS          BOOL    TRUE            # Save 1st binned chip image?
     548  BIN2.FITS          BOOL    TRUE            # Save 2nd binned chip image?
     549  PHOTOM             BOOL    TRUE            # Source identification and photometry
     550  ASTROM.CHIP        BOOL    FALSE           # Astrometry per chip?
     551  ASTROM.MOSAIC      BOOL    FALSE           # Astrometry for mosaic?
     552  BACKGROUND         BOOL    TRUE            # Subtract background?
     553  MASK.STATS         BOOL    TRUE            # Calculate Mask statistics.
     554 
     555   DETREND.CONSTRAINTS  METADATA
     556     DARK METADATA
     557       DETTYPE STR TIMEDARK
     558       EXPTIME STR FPA.EXPOSURE
     559     END
     560     MASK METADATA
     561       DETTYPE STR TIMEMASK
     562       EXPTIME STR FPA.EXPOSURE
     563     END
     564     VIDEOMASK METADATA
     565       DETTYPE STR VIDEOMASKTEST
     566     END 
     567   END   
     568END
     569
    529570
    530571CHIP_NOISEMAP   METADATA

  • branches/eam_branches/ipp-20220316/ippconfig/recipes/psastro.config

    r42170 r42373  
    246246# maximum allowed fwhm_major (moved from */camera.config)
    247247PSASTRO.MAX.ALLOWED.FWHM    F32     0
     248PSASTRO.MAX.PROCESS.FWHM    F32     30
    248249
    249250#PSASTRO.CATDIR                STR      PS1.REF.20140713

  • branches/eam_branches/ipp-20220316/ippconfig/recipes/psphot.config

    r42100 r42373  
    861861END
    862862
     863QUB_DIFF METADATA
     864  PEAKS_NSIGMA_LIMIT_2              F32  3.5           # peak significance threshold
     865  DIFF_STATS                        BOOL TRUE          # Calculate diff-specific stats
     866  OUTPUT.FORMAT                     STR  PS1_DV5       # Format of output file
     867
     868  PSF_FIT_MODEL_SUM_FRAC_CUT        F32  0.5
     869  PSF_FIT_MASKED_SUM_FRAC_CUT       F32  0.1
     870
     871  ## CR have been on real sources in MOPS so also turn off
     872  PSPHOT.CR.MAX.SIZE                F32   0.0             # guess for limit on M_minor in pix^2
     873
     874  ## from STACK_DIFF -- not clear ever used or needed in either case
     875  ## Extended source fit parameters
     876  ## these models are used for high-quality shape analysis after all sources have been removed
     877  EXTENDED_SOURCE_FITS                BOOL  TRUE  # perform the detailed extended sourc fits?
     878  EXT_MODEL                           STR   PS_MODEL_TRAIL
     879
     880  ## extended source models applied to sources
     881  EXTENDED_SOURCE_MODELS METADATA
     882    TYPE      EXTENDED_SOURCE_MODEL  MODEL            SNLIM   PSF_CONVOLVED
     883    TRAIL_RAW EXTENDED_SOURCE_MODEL  PS_MODEL_TRAIL    10.0   FALSE
     884  END
     885
     886END
     887
    863888YSE_DIFF METADATA
    864889  PEAKS_NSIGMA_LIMIT_2              F32  3.5           # peak significance threshold

  • branches/eam_branches/ipp-20220316/ippconfig/recipes/pswarp.config

    r42100 r42373  
    1313SOURCES                 BOOL    TRUE            # Write source list for warped image?
    1414APPLY.PIXELNAN          BOOL    FALSE           # Apply NAN'ing of pixels underneath masks
     15DETECT.CTE              BOOL    FALSE           # perform object detections in the CTE regions
    1516
    1617# as of r41891, dvoImageOverlaps compares the header keyword CERSTD to MAX.CERROR

  • branches/eam_branches/ipp-20220316/ippconfig/recipes/reductionClasses.mdc

    r42208 r42373  
    325325        STACK_PPSUB       STR     STACK
    326326        STACK_PSPHOT      STR     STACK
    327         DIFF_PPSUB        STR     DIFF
    328         DIFF_PSPHOT       STR     DIFF
     327        DIFF_PPSUB        STR     WARPSTACK
     328        DIFF_PSPHOT       STR     QUB_DIFF
    329329        JPEG_BIN1         STR     PPIMAGE_J1
    330330        JPEG_BIN2         STR     PPIMAGE_J2
    … …  
    613613SWEETSPOT_DARKTEST_MASKTEST  METADATA
    614614    CHIP_PPIMAGE                STR     CHIP_DARKTEST_MASKTEST
     615    CHIP_PSPHOT                 STR     CHIP
     616    WARP_PSWARP                 STR     WARP
     617    STACK_PPSTACK               STR     QUICKSTACK
     618    STACK_PPSUB                 STR     STACK
     619    STACK_PSPHOT                STR     STACK
     620    DIFF_PPSUB                  STR     DIFF
     621    DIFF_PSPHOT                 STR     SSTF_DIFF
     622    JPEG_BIN1                   STR     PPIMAGE_J1
     623    JPEG_BIN2                   STR     PPIMAGE_J2
     624    FAKEPHOT                    STR     FAKEPHOT
     625    ADDSTAR                     STR     ADDSTAR
     626    PSASTRO                     STR     DEFAULT_RECIPE
     627    STACKPHOT_PSPHOT            STR     STACKPHOT
     628    STACKPHOT_PPSUB             STR     STACKPHOT
     629    STACKPHOT_PPSTACK           STR     STACKPHOT
     630    STACKPHOT_SINGLE_PSPHOT     STR     STACKPHOT_SINGLE
     631    BACKGROUND_PPBACKGROUND     STR     BACKGROUND
     632    BACKGROUND_PSWARP           STR     BACKGROUND
     633    PSVIDEOPHOT                 STR     PSVIDEOPHOT
     634END
     635
     636
     637# For use when both TIMEDARK and TIMEMASK are used
     638# at the same time
     639SWEETSPOT_TIMEDARK  METADATA
     640    CHIP_PPIMAGE                STR     CHIP_TIMEDARK
    615641    CHIP_PSPHOT                 STR     CHIP
    616642    WARP_PSWARP                 STR     WARP
Note: See TracChangeset for help on using the changeset viewer.