IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changeset 33235 for trunk/ippToPsps


Ignore:
Timestamp:
Feb 10, 2012, 1:40:18 PM (14 years ago)
Author:
rhenders
Message:

got rid of dvoMeta table - now only use dvoImages table; whether we use DVO on-the-fly or already ingested data is passed as a boolean into the constructor

Location:
trunk/ippToPsps/jython
Files:
4 edited

Legend:

Unmodified
Added
Removed

  • trunk/ippToPsps/jython/batch.py

    r32824 r33235  
    2727    '''
    2828    Constructor
    29 
    30     >>> batch = Batch(1,2,3,4,5,6,7)
    31     >>> print batch.pspsVoTableFilePath
    32     "../config/2/tables.vot"
    3329    '''
    3430    def __init__(self,
    … …  
    4137                 batchID,
    4238                 batchType,
    43                  fits):
     39                 fits,
     40                 useFullTables):
    4441
    4542        self.everythingOK = False
    … …  
    4845        self.doc = doc
    4946        self.fits = fits
     47        self.useFullTables = useFullTables
    5048
    5149        # set up logging
    … …  
    8280        self.dvoGpc1Label = self.doc.find("dvo/gpc1Label").text
    8381        self.dvoLocation = self.doc.find("dvo/location").text
    84         self.useFullTables = int(self.doc.find("dvo/useFullTables").text)
    8582        self.scratchDb = ScratchDb(logger, self.doc, self.useFullTables)
    8683
    … …  
    496493    def getIDsFromDVO(self):
    497494
    498         if self.scratchDb.getRowCount("dvoMeta") < 1:
    499             self.logger.error("No DVO IDs found in dvoMeta")
     495        if self.scratchDb.getRowCount(self.scratchDb.dvoImagesTable) < 1:
     496            self.logger.errorInfo("No DVO images found in", self.scratchDb.dvoImagesTable)
    500497            return False
    501498

  • trunk/ippToPsps/jython/detectionbatch.py

    r32592 r33235  
    3838                 ippToPspsDb,
    3939                 camID,
    40                  batchID):
     40                 batchID,
     41                 useFullTables):
    4142
    4243       super(DetectionBatch, self).__init__(
    … …  
    4950               batchID,
    5051               "P2",
    51                gpc1Db.getCameraStageSmf(camID))
     52               gpc1Db.getCameraStageSmf(camID),
     53               useFullTables)
    5254
    5355       if not self.everythingOK: return
    … …  
    322324               ," + self.safeDictionaryAccess(header, 'DAPMIFIT') + " \
    323325               ,'" + self.safeDictionaryAccess(header, 'DETECTOR') + "' \
    324                ," + str(self.scratchDb.getDvoImageFlags(header['SOURCEID'], header['IMAGEID'])) + " \
     326               ," + str(self.scratchDb.getDvoImageFlags(header['IMAGEID'])) + " \
    325327               ,'" + self.safeDictionaryAccess(header, 'DETREND.MASK') + "' \
    326328               ,'" + self.safeDictionaryAccess(header, 'DETREND.DARK') + "' \
    … …  
    416418               ,momentYY \
    417419               ,apMag \
    418                ,kronFlux \
    419                ,kronFluxErr \
    420420               ,infoFlag \
    421421               ,sky \
    … …  
    448448               ,MOMENTS_YY \
    449449               ,AP_MAG \
    450                ,KRON_FLUX \
    451                ,KRON_FLUX_ERR \
    452450               ,FLAGS\
    453451               ,SKY \
    … …  
    545543        self.populateFrameMeta()
    546544     
    547         # dictionary objects to hold sourceIDs and imageIDs for later
    548         self.sourceIDs = {}
     545        # dictionary objects to hold imageIDs for later
    549546        self.imageIDs = {}
    550547
    … …  
    578575
    579576                # store these for later
    580                 self.sourceIDs[ota] = header['SOURCEID']
    581577                self.imageIDs[ota] = header['IMAGEID']
    582578
    … …  
    614610    Updates provided table with DVO IDs from DVO table
    615611    '''
    616     def updateDvoIDs(self, table, sourceID, externID):
    617 
    618         imageID = self.scratchDb.getImageIDFromExternID(sourceID, externID)
     612    def updateDvoIDs(self, table, externID):
     613
     614        imageID = self.scratchDb.getImageIDFromExternID(externID)
    619615        self.logger.debug("Updating table '" + table + "' with DVO IDs using imageID = %d" % imageID)
    620616        sql = "UPDATE IGNORE " + table + " AS a, " + self.scratchDb.dvoDetectionTable + " AS b SET \
    … …  
    624620               a.infoFlag = b.flags << 32 | a.infoFlag \
    625621               WHERE a.ippDetectID = b.ippDetectID \
    626                AND b.sourceID = " + str(sourceID) + " \
    627622               AND b.imageID = " + str(imageID)
    628623
    … …  
    655650
    656651                ota = "XY%d%d" % (x, y)
    657                 if ota not in self.sourceIDs: continue
     652                if ota not in self.imageIDs: continue
    658653
    659654                #self.logger.infoTitle("Processing " + ota)
    … …  
    666661
    667662                # now add DVO IDs
    668                 self.updateDvoIDs("Detection_" + ota, self.sourceIDs[ota], self.imageIDs[ota])
     663                self.updateDvoIDs("Detection_" + ota, self.imageIDs[ota])
    669664                results['NULLOBJID'] = self.scratchDb.reportAndDeleteRowsWithNULLS("Detection_" + ota, "objID")
    670665                self.updateImageID("Detection_" + ota, x, y)
    … …  
    693688                # update ImageMeta with count of detections for this OTA and photoCodeID
    694689                sql = "UPDATE ImageMeta_" + ota + " \
    695                        SET nDetect = %d, photoCalID = %d" % (self.scratchDb.getRowCount("Detection_" + ota), self.scratchDb.getPhotoCalID(self.sourceIDs[ota], self.imageIDs[ota]))
     690                       SET nDetect = %d, photoCalID = %d" % (self.scratchDb.getRowCount("Detection_" + ota), self.scratchDb.getPhotoCalID(self.imageIDs[ota]))
    696691                self.scratchDb.execute(sql)
    697692
    … …  
    760755       else : regex = ".*.psf"
    761756 
    762        columns = "IPP_IDET X_PSF Y_PSF X_PSF_SIG Y_PSF_SIG PSF_INST_MAG PSF_INST_MAG_SIG PEAK_FLUX_AS_MAG PSF_MAJOR PSF_MINOR PSF_THETA EXT_NSIGMA PSF_QF MOMENTS_XX MOMENTS_XY MOMENTS_YY AP_MAG KRON_FLUX KRON_FLUX_ERR FLAGS SKY SKY_SIGMA EXT_NSIGMA"
     757       columns = "IPP_IDET X_PSF Y_PSF X_PSF_SIG Y_PSF_SIG PSF_INST_MAG PSF_INST_MAG_SIG PEAK_FLUX_AS_MAG PSF_MAJOR PSF_MINOR PSF_THETA EXT_NSIGMA PSF_QF MOMENTS_XX MOMENTS_XY MOMENTS_YY AP_MAG FLAGS SKY SKY_SIGMA EXT_NSIGMA"
    763758
    764759       return super(DetectionBatch, self).importIppTables(columns, regex)

  • trunk/ippToPsps/jython/initbatch.py

    r32458 r33235  
    4040               batchID,
    4141               "IN",
    42                None)
     42               None,
     43               0)
    4344
    4445       self.outputFitsFile = "00000000.FITS";

  • trunk/ippToPsps/jython/stackbatch.py

    r33146 r33235  
    3535                 ippToPspsDb,
    3636                 stackID,
    37                  batchID):
     37                 batchID,
     38                 useFullTables):
    3839
    3940       super(StackBatch, self).__init__(
    … …  
    4647               batchID,
    4748               "ST",
    48                gpc1Db.getStackStageCmf(configDoc.find("dvo/gpc1Label").text, stackID))
     49               gpc1Db.getStackStageCmf(configDoc.find("dvo/gpc1Label").text, stackID),
     50               useFullTables)
    4951
    5052       if not self.everythingOK: return
Note: See TracChangeset for help on using the changeset viewer.