IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Ignore:
Timestamp:
Mar 15, 2016, 2:16:07 PM (10 years ago)
Author:
heather
Message:

old changes from Gene for ForcedWarp related problems as well as fixes to FW batches - these are non-empty FW for SAS42

File:
1 edited

Legend:

Unmodified
Added
Removed

  • trunk/ippToPsps/jython/forcedwarpbatch.py

    r39305 r39467  
    211211        self.logger.infoPair("Processing table", tableName)
    212212
     213        self.logger.infoPair("creating table", tableName)
     214
    213215        sql = "CREATE TABLE " + tableName + " LIKE ForcedWarpMeta"
    214         self.scratchDb.execute(sql)
     216        try: self.scratchDb.execute(sql)
     217        except:
     218            self.logger.error("problem with SQL: " + sql)
     219            raise
    215220
    216221        header   = self.header[num]
    217222        self.logger.infoPair("found header","ok")
    218223
     224       
     225
    219226        photoCalID = str(self.scratchDb.getPhotoCalID(header['IMAGEID']))       
     227        if photoCalID == -1:
     228            self.logger.infoPair("image not found in DVO, skipping", str(num))
     229            return False
    220230
    221231        # PHOTCODE and FILTER are not in the header; reconstruct here
    … …  
    299309
    300310        # note hardcoded pltscale
    301         self.scratchDb.updateRecalStats(tableName, header['IMAGEID'], "0.25");
     311        if photoCalID != -1:
     312            self.scratchDb.updateRecalStats(tableName, header['IMAGEID'], "0.25");
    302313
    303314        self.scratchDb.updateAllRows(tableName, "batchID", str(self.batchID))
    … …  
    307318        self.scratchDb.updateAllRows(tableName, "processingVersion", str(self.skychunk.processingVersion))
    308319        # self.tablesToExport.append("ForcedWarpMeta")
     320        #return false
     321        return True
    309322       
    310323    '''
    … …  
    331344                       self.logger.infoPair("can't execute sql",sql)
    332345                       raise
     346        return True
    333347
    334348    '''
    … …  
    364378        sqlLine.group("FpsfFlux",          "PSF_INST_FLUX / " + expTimeString)
    365379        sqlLine.group("FpsfFluxErr",       "PSF_INST_FLUX_SIG / " + expTimeString)
    366         sqlLine.group("xPosChip",          "SRC_CHIP_X")
    367         sqlLine.group("yPosChip",          "SRC_CHIP_Y")
    368         sqlLine.group("FccdID"  ,          "SRC_CHIP_NUM")
     380
     381        if self.haveSrcPos[num]:
     382            sqlLine.group("xPosChip",          "SRC_CHIP_X")
     383            sqlLine.group("yPosChip",          "SRC_CHIP_Y")
     384            sqlLine.group("FccdID"  ,          "SRC_CHIP_NUM")
     385
    369386        sqlLine.group("FpsfMajorFWHM",     "PSF_FWHM_MAJ * abs(PLTSCALE)")
    370387        sqlLine.group("FpsfMinorFWHM",     "PSF_FWHM_MIN * abs(PLTSCALE)")
    … …  
    473490        self.scratchDb.createIndex(maskTableName, "objID")
    474491        self.scratchDb.createIndex(maskTableName, "ippDetectID")
     492        return True
    475493
    476494    '''
    … …  
    529547        results = self.scratchDb.reportAndDeleteRowsWithNULLS(pspsTableName, "objID")
    530548        self.scratchDb.createIndex(pspsTableName, "objID")
     549        return True
    531550
    532551    '''
    … …  
    556575        sqlLine.group("lensObjShearE1",  "LENS_E1_SH_OBJ")
    557576        sqlLine.group("lensObjShearE2",  "LENS_E2_SH_OBJ")
    558         sqlLine.group("lensPSFSmearX11", "LENS_X11_SM_PSF")
    559         sqlLine.group("lensPSFSmearX12", "LENS_X12_SM_PSF")
    560         sqlLine.group("lensPSFSmearX22", "LENS_X22_SM_PSF")
    561         sqlLine.group("lensPSFSmearE1",  "LENS_E1_SM_PSF")
    562         sqlLine.group("lensPSFSmearE2",  "LENS_E2_SM_PSF")
    563         sqlLine.group("lensPSFShearX11", "LENS_X11_SH_PSF")
    564         sqlLine.group("lensPSFShearX12", "LENS_X12_SH_PSF")
    565         sqlLine.group("lensPSFShearX22", "LENS_X22_SH_PSF")
    566         sqlLine.group("lensPSFShearE1",  "LENS_E1_SH_PSF")
    567         sqlLine.group("lensPSFShearE2",  "LENS_E2_SH_PSF")
    568         sqlLine.group("psfE1",           "LENS_E1_PSF")
    569         sqlLine.group("psfE2",           "LENS_E2_PSF")
     577
     578        if self.haveLensPSF[num]:
     579            sqlLine.group("lensPSFSmearX11", "LENS_X11_SM_PSF")
     580            sqlLine.group("lensPSFSmearX12", "LENS_X12_SM_PSF")
     581            sqlLine.group("lensPSFSmearX22", "LENS_X22_SM_PSF")
     582            sqlLine.group("lensPSFSmearE1",  "LENS_E1_SM_PSF")
     583            sqlLine.group("lensPSFSmearE2",  "LENS_E2_SM_PSF")
     584            sqlLine.group("lensPSFShearX11", "LENS_X11_SH_PSF")
     585            sqlLine.group("lensPSFShearX12", "LENS_X12_SH_PSF")
     586            sqlLine.group("lensPSFShearX22", "LENS_X22_SH_PSF")
     587            sqlLine.group("lensPSFShearE1",  "LENS_E1_SH_PSF")
     588            sqlLine.group("lensPSFShearE2",  "LENS_E2_SH_PSF")
     589            sqlLine.group("psfE1",           "LENS_E1_PSF")
     590            sqlLine.group("psfE2",           "LENS_E2_PSF")
    570591
    571592        sql = sqlLine.makeRaw(") SELECT ", " FROM " + ippTableName)
    … …  
    597618
    598619        self.scratchDb.createIndex(pspsTableName, "objID")
     620        return True
    599621
    600622    '''
    … …  
    611633            myTable = "ForcedWarpMeta_" + str(num)
    612634            self.logger.infoPair("Populating", myTable)
    613             self.populateForcedWarpMeta(num)         
     635            if not self.populateForcedWarpMeta(num):
     636                self.logger.infoPair ("failure for ForcedWarpMeta, skipping ", str(num))
     637                continue
    614638            self.tablesToExport.append(myTable)
    615639           
    616640            myTable = "ForcedWarpMeasurement_" + str(num)
    617641            self.logger.infoPair("Populating", myTable)
    618             self.populateForcedWarpMeasurement(num)         
     642            if not self.populateForcedWarpMeasurement(num):
     643                self.logger.infoPair ("skippping ForcedWarpMeasurement", str(num))
     644                continue
    619645            self.tablesToExport.append(myTable)
    620646
    … …  
    629655            self.populateForcedWarpExtended(num)
    630656            self.tablesToExport.append(myTable)
    631 
    632             myTable = "ForcedWarpLensing_" + str(num)
    633             self.logger.infoPair("Populating", myTable)
    634             self.populateForcedWarpLensing(num)
    635             self.tablesToExport.append(myTable)
     657                       
     658            if self.haveLensing[num]:
     659                myTable = "ForcedWarpLensing_" + str(num)
     660                self.logger.infoPair("Populating", myTable)
     661                self.populateForcedWarpLensing(num)
     662                self.tablesToExport.append(myTable)
    636663
    637664            myTable = "ForcedWarpToImage_" + str(num)
    … …  
    667694    def importIppTablesOhana(self):
    668695       
    669         self.logger.infoPair("Importing DF tables", "using fits_to_mysql")
     696        self.logger.infoPair("Importing FW tables", "using fits_to_mysql")
    670697
    671698        count = 0
    672699        self.tablesLoaded = []
    673         self.haveApNpix = {}
     700        self.haveSrcPos = {}
     701        self.haveLensPSF = {}
     702        self.haveLensing = {}
    674703
    675704        for num in self.number:
    … …  
    699728       
    700729            # this is an optional field, check for it in the table below
    701             self.haveApNpix[num] = 0
    702 
     730            self.haveSrcPos[num] = 0
     731            self.haveLensPSF[num] = 0
     732            self.haveLensing[num] = 0
    703733            for table in tables:
     734                # check for AP_NPIX columns: missing for SAS39
     735                self.logger.debugPair("checking table", table.name)
     736                if table.name == "SkyChip.psf":
     737                    columns = table.columns()
     738                    for column in columns:
     739                        columnString = str(column)
     740                        if columnString == 'LENS_X11_SM_PSF':
     741                            self.haveLensPSF[num] = 1
     742                            self.logger.debugPair("found LENS_X11_SM_PSF in file", fileName)
     743                        if columnString == 'LENS_X11_SM_OBJ':
     744                            self.haveLensing[num] = 1
     745                            self.logger.debugPair("found LENS_X11_SM_OBJ in file", fileName)
     746                        if columnString == 'SRC_CHIP_X':
     747                            self.haveSrcPos[num] = 1
     748                            self.logger.debugPair("found SRC_CHIP_X in file", fileName)
     749
     750
    704751                myTable = table.name + "_" + str(num)
    705752                count = count + 1
Note: See TracChangeset for help on using the changeset viewer.