IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changeset 39467 for trunk


Ignore:
Timestamp:
Mar 15, 2016, 2:16:07 PM (10 years ago)
Author:
heather
Message:

old changes from Gene for ForcedWarp related problems as well as fixes to FW batches - these are non-empty FW for SAS42

Location:
trunk/ippToPsps/jython
Files:
4 edited

Legend:

Unmodified
Added
Removed

  • trunk/ippToPsps/jython/dvo.py

    r39153 r39467  
    9595        self.correctDvo = True
    9696        if not self.loadSkyTable():
    97             self.correctDvo = False
    98             return
     97            os._exit(1)
     98
    9999        if not self.loadPhotcodes():
    100             self.correctDvo = False
    101             return
     100            os._exit(1)
     101
    102102        if not self.loadImages():
    103             self.correctDvo = False
    104             return
     103            os._exit(1)
     104
    105105
    106106    '''
    … …  
    108108    '''
    109109    def loadPhotcodes(self):
    110 
    111         # go no further if we've already partly ingested a different DVO
    112         if not self.correctDvo: return
    113110
    114111        if (self.skychunk.dvoLocation == 'none'):
    115112            # print "do not load Photcodes for place-holder DVO " + self.skychunk.dvoLocation
    116             return False
     113            return True
    117114
    118115        # check if we have up-to-date version
    … …  
    120117        if self.scratchDb.alreadyImportedThisDvoTable(path):
    121118            self.logger.debugPair("DVO Photcodes.dat file", "up-to-date")
    122             return
     119            return True
    123120       
    124121        self.logger.infoSeparator()
    … …  
    132129
    133130        self.scratchDb.setImportedThisDvoTable(path)
     131        return True
    134132
    135133    '''
    … …  
    137135    '''
    138136    def loadImages(self):
    139 
    140         # go no further if we've already partly ingested a different DVO
    141         if not self.correctDvo: return
    142137
    143138        # check if we have up-to-date version
    … …  
    145140        if self.scratchDb.alreadyImportedThisDvoTable(path):
    146141            self.logger.debugPair("DVO Images.dat file", "up-to-date")
    147             return
     142            return True
    148143       
    149144        self.logger.infoSeparator()
    … …  
    158153
    159154        self.scratchDb.setImportedThisDvoTable(path)
     155        return True
    160156
    161157    '''
    … …  
    227223    def loadSkyTable(self):
    228224       
    229         # go no further if we've already partly ingested a different DVO
    230         if not self.correctDvo: return False
    231 
    232225        if (self.skychunk.dvoLocation == 'none'):
    233226            # print "do not load SkyTable for place-holder DVO " + self.skychunk.dvoLocation
    234             return False
     227            return True
    235228
    236229        path =  self.skychunk.dvoLocation + "/SkyTable.fits"
    237230        if self.scratchDb.alreadyImportedThisDvoTable(path):
    238231            self.logger.debugPair("DVO SkyTable.fits file", "up-to-date")       
    239             return False
     232            return True
    240233
    241234        # self.logger.infoSeparator()
    … …  
    296289    def setSkyArea(self, minRa=-1., maxRa=361., minDec=-91., maxDec=91):
    297290   
    298         # go no further if we've already partly ingested a different DVO
    299         if not self.correctDvo: return
    300 
    301291        if (maxRa - minRa <= 0) or (maxDec - minDec) <= 0:
    302292            self.logger.errorPair("Zero range in either RA or Dec",

  • trunk/ippToPsps/jython/forcedwarpbatch.py

    r39305 r39467  
    211211        self.logger.infoPair("Processing table", tableName)
    212212
     213        self.logger.infoPair("creating table", tableName)
     214
    213215        sql = "CREATE TABLE " + tableName + " LIKE ForcedWarpMeta"
    214         self.scratchDb.execute(sql)
     216        try: self.scratchDb.execute(sql)
     217        except:
     218            self.logger.error("problem with SQL: " + sql)
     219            raise
    215220
    216221        header   = self.header[num]
    217222        self.logger.infoPair("found header","ok")
    218223
     224       
     225
    219226        photoCalID = str(self.scratchDb.getPhotoCalID(header['IMAGEID']))       
     227        if photoCalID == -1:
     228            self.logger.infoPair("image not found in DVO, skipping", str(num))
     229            return False
    220230
    221231        # PHOTCODE and FILTER are not in the header; reconstruct here
    … …  
    299309
    300310        # note hardcoded pltscale
    301         self.scratchDb.updateRecalStats(tableName, header['IMAGEID'], "0.25");
     311        if photoCalID != -1:
     312            self.scratchDb.updateRecalStats(tableName, header['IMAGEID'], "0.25");
    302313
    303314        self.scratchDb.updateAllRows(tableName, "batchID", str(self.batchID))
    … …  
    307318        self.scratchDb.updateAllRows(tableName, "processingVersion", str(self.skychunk.processingVersion))
    308319        # self.tablesToExport.append("ForcedWarpMeta")
     320        #return false
     321        return True
    309322       
    310323    '''
    … …  
    331344                       self.logger.infoPair("can't execute sql",sql)
    332345                       raise
     346        return True
    333347
    334348    '''
    … …  
    364378        sqlLine.group("FpsfFlux",          "PSF_INST_FLUX / " + expTimeString)
    365379        sqlLine.group("FpsfFluxErr",       "PSF_INST_FLUX_SIG / " + expTimeString)
    366         sqlLine.group("xPosChip",          "SRC_CHIP_X")
    367         sqlLine.group("yPosChip",          "SRC_CHIP_Y")
    368         sqlLine.group("FccdID"  ,          "SRC_CHIP_NUM")
     380
     381        if self.haveSrcPos[num]:
     382            sqlLine.group("xPosChip",          "SRC_CHIP_X")
     383            sqlLine.group("yPosChip",          "SRC_CHIP_Y")
     384            sqlLine.group("FccdID"  ,          "SRC_CHIP_NUM")
     385
    369386        sqlLine.group("FpsfMajorFWHM",     "PSF_FWHM_MAJ * abs(PLTSCALE)")
    370387        sqlLine.group("FpsfMinorFWHM",     "PSF_FWHM_MIN * abs(PLTSCALE)")
    … …  
    473490        self.scratchDb.createIndex(maskTableName, "objID")
    474491        self.scratchDb.createIndex(maskTableName, "ippDetectID")
     492        return True
    475493
    476494    '''
    … …  
    529547        results = self.scratchDb.reportAndDeleteRowsWithNULLS(pspsTableName, "objID")
    530548        self.scratchDb.createIndex(pspsTableName, "objID")
     549        return True
    531550
    532551    '''
    … …  
    556575        sqlLine.group("lensObjShearE1",  "LENS_E1_SH_OBJ")
    557576        sqlLine.group("lensObjShearE2",  "LENS_E2_SH_OBJ")
    558         sqlLine.group("lensPSFSmearX11", "LENS_X11_SM_PSF")
    559         sqlLine.group("lensPSFSmearX12", "LENS_X12_SM_PSF")
    560         sqlLine.group("lensPSFSmearX22", "LENS_X22_SM_PSF")
    561         sqlLine.group("lensPSFSmearE1",  "LENS_E1_SM_PSF")
    562         sqlLine.group("lensPSFSmearE2",  "LENS_E2_SM_PSF")
    563         sqlLine.group("lensPSFShearX11", "LENS_X11_SH_PSF")
    564         sqlLine.group("lensPSFShearX12", "LENS_X12_SH_PSF")
    565         sqlLine.group("lensPSFShearX22", "LENS_X22_SH_PSF")
    566         sqlLine.group("lensPSFShearE1",  "LENS_E1_SH_PSF")
    567         sqlLine.group("lensPSFShearE2",  "LENS_E2_SH_PSF")
    568         sqlLine.group("psfE1",           "LENS_E1_PSF")
    569         sqlLine.group("psfE2",           "LENS_E2_PSF")
     577
     578        if self.haveLensPSF[num]:
     579            sqlLine.group("lensPSFSmearX11", "LENS_X11_SM_PSF")
     580            sqlLine.group("lensPSFSmearX12", "LENS_X12_SM_PSF")
     581            sqlLine.group("lensPSFSmearX22", "LENS_X22_SM_PSF")
     582            sqlLine.group("lensPSFSmearE1",  "LENS_E1_SM_PSF")
     583            sqlLine.group("lensPSFSmearE2",  "LENS_E2_SM_PSF")
     584            sqlLine.group("lensPSFShearX11", "LENS_X11_SH_PSF")
     585            sqlLine.group("lensPSFShearX12", "LENS_X12_SH_PSF")
     586            sqlLine.group("lensPSFShearX22", "LENS_X22_SH_PSF")
     587            sqlLine.group("lensPSFShearE1",  "LENS_E1_SH_PSF")
     588            sqlLine.group("lensPSFShearE2",  "LENS_E2_SH_PSF")
     589            sqlLine.group("psfE1",           "LENS_E1_PSF")
     590            sqlLine.group("psfE2",           "LENS_E2_PSF")
    570591
    571592        sql = sqlLine.makeRaw(") SELECT ", " FROM " + ippTableName)
    … …  
    597618
    598619        self.scratchDb.createIndex(pspsTableName, "objID")
     620        return True
    599621
    600622    '''
    … …  
    611633            myTable = "ForcedWarpMeta_" + str(num)
    612634            self.logger.infoPair("Populating", myTable)
    613             self.populateForcedWarpMeta(num)         
     635            if not self.populateForcedWarpMeta(num):
     636                self.logger.infoPair ("failure for ForcedWarpMeta, skipping ", str(num))
     637                continue
    614638            self.tablesToExport.append(myTable)
    615639           
    616640            myTable = "ForcedWarpMeasurement_" + str(num)
    617641            self.logger.infoPair("Populating", myTable)
    618             self.populateForcedWarpMeasurement(num)         
     642            if not self.populateForcedWarpMeasurement(num):
     643                self.logger.infoPair ("skippping ForcedWarpMeasurement", str(num))
     644                continue
    619645            self.tablesToExport.append(myTable)
    620646
    … …  
    629655            self.populateForcedWarpExtended(num)
    630656            self.tablesToExport.append(myTable)
    631 
    632             myTable = "ForcedWarpLensing_" + str(num)
    633             self.logger.infoPair("Populating", myTable)
    634             self.populateForcedWarpLensing(num)
    635             self.tablesToExport.append(myTable)
     657                       
     658            if self.haveLensing[num]:
     659                myTable = "ForcedWarpLensing_" + str(num)
     660                self.logger.infoPair("Populating", myTable)
     661                self.populateForcedWarpLensing(num)
     662                self.tablesToExport.append(myTable)
    636663
    637664            myTable = "ForcedWarpToImage_" + str(num)
    … …  
    667694    def importIppTablesOhana(self):
    668695       
    669         self.logger.infoPair("Importing DF tables", "using fits_to_mysql")
     696        self.logger.infoPair("Importing FW tables", "using fits_to_mysql")
    670697
    671698        count = 0
    672699        self.tablesLoaded = []
    673         self.haveApNpix = {}
     700        self.haveSrcPos = {}
     701        self.haveLensPSF = {}
     702        self.haveLensing = {}
    674703
    675704        for num in self.number:
    … …  
    699728       
    700729            # this is an optional field, check for it in the table below
    701             self.haveApNpix[num] = 0
    702 
     730            self.haveSrcPos[num] = 0
     731            self.haveLensPSF[num] = 0
     732            self.haveLensing[num] = 0
    703733            for table in tables:
     734                # check for AP_NPIX columns: missing for SAS39
     735                self.logger.debugPair("checking table", table.name)
     736                if table.name == "SkyChip.psf":
     737                    columns = table.columns()
     738                    for column in columns:
     739                        columnString = str(column)
     740                        if columnString == 'LENS_X11_SM_PSF':
     741                            self.haveLensPSF[num] = 1
     742                            self.logger.debugPair("found LENS_X11_SM_PSF in file", fileName)
     743                        if columnString == 'LENS_X11_SM_OBJ':
     744                            self.haveLensing[num] = 1
     745                            self.logger.debugPair("found LENS_X11_SM_OBJ in file", fileName)
     746                        if columnString == 'SRC_CHIP_X':
     747                            self.haveSrcPos[num] = 1
     748                            self.logger.debugPair("found SRC_CHIP_X in file", fileName)
     749
     750
    704751                myTable = table.name + "_" + str(num)
    705752                count = count + 1

  • trunk/ippToPsps/jython/scratchdb.py

    r39348 r39467  
    139139       
    140140        if name == 'NONE':
    141             self.logger.errorPair("No valid PSF model ID: ", name)
    142             return -1
     141            self.logger.infoPair("No valid PSF model ID: ", name)
     142            return 0
    143143
    144144        sql = "SELECT fitModelID FROM FitModel WHERE name = '" + name + "'"
    … …  
    252252
    253253        if not rs.first():
    254             self.logger.infoPair("no zero point; image is missing, imageID: ", imageID)
     254            self.logger.infoPair("no zero point; image is missing, externID: ", externID)
    255255            return zeroPoint
    256256           
    … …  
    334334            rs.first()
    335335            if rs.getInt(1) > 0:
    336                 self.logger.debugPair("Already imported up-to-date version of",  path)
     336                self.logger.infoPair("Already imported up-to-date version of",  path)
    337337                return True
    338338            else:

  • trunk/ippToPsps/jython/sqlUtility.py

    r39072 r39467  
    5555
    5656        for i in range(len(self.values)):
    57             output += "'" + self.values[i] + "'"
     57            if self.values[i] == "NULL":
     58                output += "NULL"
     59            else:
     60                output += "'" + self.values[i] + "'"
    5861            if (i < len(self.values) - 1):
    5962                output += ", "
Note: See TracChangeset for help on using the changeset viewer.