IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changeset 37115


Ignore:
Timestamp:
Jul 24, 2014, 4:59:30 PM (12 years ago)
Author:
eugene
Message:

working on the mods for the new schema

Location:
branches/eam_branches/ipp-20140717/Ohana/src/dvopsps/src
Files:
2 edited

Legend:

Unmodified
Added
Removed

  • branches/eam_branches/ipp-20140717/Ohana/src/dvopsps/src/insert_objects_dvopsps.c

    r35098 r37115  
    11# include "dvopsps.h"
     2
     3// for testing, turn off USE_MYSQL: operations will go to stdout instead of mysql
    24# define USE_MYSQL 1
    35

  • branches/eam_branches/ipp-20140717/Ohana/src/dvopsps/src/insert_objects_dvopsps_catalog.c

    r37112 r37115  
    8888  bzero (buffer.buffer, buffer.Nalloc);
    8989
     90  // Only send the necessary fields (eg, do not sent parallax and pm)
    9091  PrintIOBuffer (&buffer, "CREATE TABLE %s_cpt ("
    91                  "RA DOUBLE,  "         
    92                  "DEC_ DOUBLE,  "         
    93                  "RA_ERR FLOAT,  "     
    94                  "DEC_ERR FLOAT,  "     
    95                  "U_RA FLOAT,  "       
    96                  "U_DEC FLOAT,  "       
    97                  "V_RA_ERR FLOAT,  "   
    98                  "V_DEC_ERR FLOAT,  "   
    99                  "PAR FLOAT,  "         
    100                  "PAR_ERR FLOAT,  "     
    101                  "CHISQ_POS FLOAT,  "   
    102                  "CHISQ_PM FLOAT,  "   
    103                  "CHISQ_PAP FLOAT,  "   
    104                  "MEAN_EPOCH INT,  " 
    105                  "TIME_RANGE INT,  " 
    106                  "PSF_QF FLOAT, "     
    107                  "PSF_QF_PERF FLOAT,  "
    108                  "STARGAL_SEP FLOAT,  "
    109                  "NUMBER_POS SMALLINT,  " 
    110                  "NMEASURE SMALLINT,  "   
    111                  "NMISSING SMALLINT,  "   
    112                  "NEXTEND SMALLINT,  "     
    113                  "OFF_MEASURE INT,  "
    114                  "OFF_MISSING INT,  "
    115                  "OFF_EXTEND INT,  " 
    116                  "FLAGS INT,  "       
    117                  "PHOTFLAGS_U INT,  "
    118                  "PHOTFLAGS_L INT,  "
    119                  "OBJ_ID INT,  "     
    120                  "CAT_ID INT,  "     
    121                  "EXT_ID BIGINT"
     92                 "EXT_ID      BIGINT"
     93                 "OBJ_ID      INT,  "     
     94                 "CAT_ID      INT,  "     
     95                 "DVO_REGION  INT"
     96                 "FLAGS       INT,  "       
     97                 "RA_STK      DOUBLE,  "         
     98                 "DEC_STK     DOUBLE,  "         
     99                 "RA_STK_ERR  FLOAT,  "     
     100                 "DEC_STK_ERR FLOAT,  "     
     101                 "RA_MEAN     DOUBLE,  "         
     102                 "DEC_MEAN    DOUBLE,  "         
     103                 "RA_ERR      FLOAT,  "     
     104                 "DEC_ERR     FLOAT,  "     
     105                 "CHISQ_POS   FLOAT,  "   
     106                 "CHISQ_PM    FLOAT,  "   
     107                 "CHISQ_PAP   FLOAT,  "   
    122108                 ")\n", basename);
     109
     110// skipping these cpt fields:
     111//               "U_RA        FLOAT,  "       
     112//               "U_DEC       FLOAT,  "       
     113//               "V_RA_ERR    FLOAT,  "   
     114//               "V_DEC_ERR   FLOAT,  "   
     115//               "PAR         FLOAT,  "         
     116//               "PAR_ERR     FLOAT,  "     
     117//               "OFF_MEASURE INT,  "
     118//               "OFF_MISSING INT,  "
     119//               "OFF_EXTEND  INT,  " 
     120//               "PSF_QF      FLOAT, "     
     121//               "PSF_QF_PERF FLOAT,  "
     122//               "STARGAL_SEP FLOAT,  "
     123//               "NUMBER_POS  SMALLINT,  " 
     124//               "NMEASURE    SMALLINT,  "   
     125//               "NMISSING    SMALLINT,  "   
     126//               "NEXTEND     SMALLINT,  "     
     127//               "PHOTFLAGS_U INT,  "
     128//               "PHOTFLAGS_L INT,  "
     129
     130
    123131
    124132  if (DEBUG) fprintf (stderr, "%s\n", buffer.buffer);
    … …  
    145153
    146154  PrintIOBuffer (&buffer, "CREATE TABLE %s_cps ("
    147                  "MAG FLOAT,  "             
    148                  "MAG_AP FLOAT,  "             
    149                  "MAG_KRON FLOAT,  "       
    150                  "MAG_KRON_ERR FLOAT,  "   
    151                  "MAG_ERR FLOAT,  "         
    152                  "MAG_CHI FLOAT,  "         
    153                  "STACK_PSF_MAG FLOAT,  "       
    154                  "STACK_PSF_MAG_ERR FLOAT,  "   
    155                  "STACK_KRON_MAG FLOAT,  "       
    156                  "STACK_KRON_MAG_ERR FLOAT,  "   
     155                 "MAG       FLOAT,  "             
     156                 "MAG_ERR   FLOAT,  "         
     157                 "MAG_STDEV FLOAT,  "         
     158                 "MAG_MIN   FLOAT,  "         
     159                 "MAG_MAX   FLOAT,  "         
     160                 "NUSED     SMALLINT,  "           
     161
     162                 "MAG_KRON       FLOAT,  "       
     163                 "MAG_KRON_ERR   FLOAT,  "   
     164                 "MAG_KRON_STDEV FLOAT,  "   
     165                 "NUSED_KRON     SMALLINT,  "   
     166
     167                 "MAG_AP         FLOAT,  "             
     168                 "MAG_AP_ERR     FLOAT,  "             
     169                 "MAG_AP_STDEV   FLOAT,  "             
     170                 "NUSED_AP       SMALLINT,  "   
     171
    157172                 "FLAGS INT,  "           
    158                  "NCODE SMALLINT,  "           
    159                  "NUSED SMALLINT,  "           
    160                  "MAG_20 SMALLINT,  "         
    161                  "MAG_80 SMALLINT,  "         
    162                  "UBERCAL_DIST SMALLINT,  "   
    163                  "MAG_STDEV SMALLINT,  "       
    164                  "STACK_DETECT_ID BIGINT"
    165173                 ")\n", basename);
    166 
    167  //              "FLUX_PSF FLOAT,  "       
    168  //              "FLUX_PSF_ERR FLOAT,  "   
    169  //              "FLUX_KRON FLOAT,  "       
    170  //              "FLUX_KRON_ERR FLOAT,  "   
    171174
    172175  if (DEBUG) fprintf (stderr, "%s\n", buffer.buffer);
    … …  
    191194
    192195  PrintIOBuffer (ave_buffer, "INSERT INTO %s_cpt ("
    193                  "RA, "         
    194                  "DEC_, "         
     196                 "EXT_ID"
     197                 "OBJ_ID, "     
     198                 "CAT_ID, "     
     199                 "DVO_REGION, "
     200                 "FLAGS, "       
     201                 "RA_STK, "         
     202                 "DEC_STK, "         
     203                 "RA_STK_ERR, "     
     204                 "DEC_STK_ERR, "     
     205                 "RA_MEAN, "         
     206                 "DEC_MEAN, "         
    195207                 "RA_ERR, "     
    196208                 "DEC_ERR, "     
    197                  "U_RA, "       
    198                  "U_DEC, "       
    199                  "V_RA_ERR, "   
    200                  "V_DEC_ERR, "   
    201                  "PAR, "         
    202                  "PAR_ERR, "     
    203209                 "CHISQ_POS, "   
    204210                 "CHISQ_PM, "   
    205211                 "CHISQ_PAP, "   
    206                  "MEAN_EPOCH, " 
    207                  "TIME_RANGE, " 
    208                  "PSF_QF, "     
    209                  "PSF_QF_PERF, "
    210                  "STARGAL_SEP, "
    211                  "NUMBER_POS, " 
    212                  "NMEASURE, "   
    213                  "NMISSING, "   
    214                  "NEXTEND, "     
    215                  "OFF_MEASURE, "
    216                  "OFF_MISSING, "
    217                  "OFF_EXTEND, " 
    218                  "FLAGS, "       
    219                  "PHOTFLAGS_U, "
    220                  "PHOTFLAGS_L, "
    221                  "OBJ_ID, "     
    222                  "CAT_ID, "     
    223                  "EXT_ID"
    224212                 ") VALUES \n", basename);
    225213
    … …  
    230218  PrintIOBuffer (sec_buffer, "INSERT INTO %s_cps ("
    231219                 "MAG, "             
    232                  "MAG_AP, "             
     220                 "MAG_ERR, "         
     221                 "MAG_STDEV, "       
     222                 "MAG_MIN, "         
     223                 "MAG_MAX, "         
     224                 "NUSED, "           
     225
    233226                 "MAG_KRON, "       
    234227                 "MAG_KRON_ERR, "   
    235                  "MAG_ERR, "         
    236                  "MAG_CHI, "         
    237                  "STACK_PSF_MAG, "       
    238                  "STACK_PSF_MAG_ERR, "   
    239                  "STACK_KRON_MAG, "       
    240                  "STACK_KRON_MAG_ERR, "   
     228                 "MAG_KRON_STDEV, "   
     229                 "NUSED_KRON, "           
     230
     231                 "MAG_AP, "             
     232                 "MAG_AP_ERR, "             
     233                 "MAG_AP_STDEV, "             
     234                 "NUSED_AP, "           
     235
    241236                 "FLAGS, "           
    242                  "NCODE, "           
    243                  "NUSED, "           
    244                  "MAG_20, "         
    245                  "MAG_80, "         
    246                  "UBERCAL_DIST, "   
    247                  "MAG_STDEV, "       
    248                  "STACK_DETECT_ID "
    249237                 ") VALUES \n", basename);
    250238  return TRUE;
    … …  
    261249// XXX this bit could/should be autocoded...
    262250  PrintIOBuffer (ave_buffer, " (");
     251  PrintIOBuffer (ave_buffer, "%lu",   average->extID);         
     252  PrintIOBuffer (ave_buffer, "%u, ",  average->objID);         
     253  PrintIOBuffer (ave_buffer, "%u, ",  average->catID);         
     254
     255  int dvoRegion = 1;
     256  PrintIOBuffer (ave_buffer, "%u, ",  dvoRegion);         
     257  PrintIOBuffer (ave_buffer, "%u, ",  average->flags);         
     258
     259  PRINT_FLOAT(ave_buffer, average->Rstk,     "%.8f, ");  // 0.036 mas precision
     260  PRINT_FLOAT(ave_buffer, average->Dstk,     "%.8f, ");  // 0.036 mas precision
     261  PRINT_FLOAT(ave_buffer, average->dRstk,    "%.5f, ");  // 0.010 mas precision
     262  PRINT_FLOAT(ave_buffer, average->dDstk,    "%.5f, ");  // 0.010 mas precision
     263
    263264  PRINT_FLOAT(ave_buffer, average->R,        "%.8f, ");  // 0.036 mas precision
    264265  PRINT_FLOAT(ave_buffer, average->D,        "%.8f, ");  // 0.036 mas precision
    265266  PRINT_FLOAT(ave_buffer, average->dR,       "%.5f, ");  // 0.010 mas precision
    266267  PRINT_FLOAT(ave_buffer, average->dD,       "%.5f, ");  // 0.010 mas precision
    267   PRINT_FLOAT(ave_buffer, average->uR,       "%.5f, ");  // 0.010 mas/yr precision
    268   PRINT_FLOAT(ave_buffer, average->uD,       "%.5f, ");
    269   PRINT_FLOAT(ave_buffer, average->duR,      "%.5f, ");
    270   PRINT_FLOAT(ave_buffer, average->duD,      "%.5f, ");
    271   PRINT_FLOAT(ave_buffer, average->P,        "%.5f, ");
    272   PRINT_FLOAT(ave_buffer, average->dP,       "%.5f, ");
     268
    273269  PRINT_FLOAT(ave_buffer, average->ChiSqAve, "%.4f, ");
    274270  PRINT_FLOAT(ave_buffer, average->ChiSqPM,  "%.4f, ");
    275271  PRINT_FLOAT(ave_buffer, average->ChiSqPar, "%.4f, ");
    276   PrintIOBuffer (ave_buffer, "%d, ",  average->Tmean);         
    277   PrintIOBuffer (ave_buffer, "%d, ",  average->Trange);         
    278   PRINT_FLOAT(ave_buffer, average->psfQF,     "%.3f, ");
    279   PRINT_FLOAT(ave_buffer, average->psfQFperf, "%.3f, ");
    280   PRINT_FLOAT(ave_buffer, average->stargal,   "%.3f, ");
    281   PrintIOBuffer (ave_buffer, "%hu, ", average->Npos);           
    282   PrintIOBuffer (ave_buffer, "%hu, ", average->Nmeasure);       
    283   PrintIOBuffer (ave_buffer, "%hu, ", average->Nmissing);       
    284   PrintIOBuffer (ave_buffer, "%hu, ", average->Nextend);       
    285   PrintIOBuffer (ave_buffer, "%d, ",  average->measureOffset); 
    286   PrintIOBuffer (ave_buffer, "%d, ",  average->missingOffset); 
    287   PrintIOBuffer (ave_buffer, "%d, ",  0); // was : average->extendOffset);   
    288   PrintIOBuffer (ave_buffer, "%u, ",  average->flags);         
    289   PrintIOBuffer (ave_buffer, "%u, ",  average->photFlagsUpper);
    290   PrintIOBuffer (ave_buffer, "%u, ",  average->photFlagsLower);
    291   PrintIOBuffer (ave_buffer, "%u, ",  average->objID);         
    292   PrintIOBuffer (ave_buffer, "%u, ",  average->catID);         
    293   PrintIOBuffer (ave_buffer, "%lu",   average->extID);         
     272
    294273  PrintIOBuffer (ave_buffer, "),\n");
    295274
     275  // XXX what rules for keeping or NAN-ing various mags?
    296276  for (i = 0; i < Nsecfilt; i++) {
    297277    float meanPSFMag    = -999.0;
    298278    float meanPSFMagErr = -999.0;
     279    float meanPSFMagStd = -999.0;
     280    float meanPSFMagMin = -999.0;
     281    float meanPSFMagMax = -999.0;
    299282    if (isfinite(secfilt->dM) && isfinite(secfilt->M)) {
    300       meanPSFMag = secfilt->M;
     283      meanPSFMag    = secfilt->M;
    301284      meanPSFMagErr = secfilt->dM;
     285      meanPSFMagStd = secfilt->Mstdev;
     286      meanPSFMagMin = secfilt->Mmin;
     287      meanPSFMagMax = secfilt->Mmax;
    302288    }
    303289
    304290    float meanKronMag    = -999.0;
    305291    float meanKronMagErr = -999.0;
     292    float meanKronMagStd = -999.0;
    306293    if (isfinite(secfilt->dMkron) && isfinite(secfilt->Mkron) && (secfilt->dMkron < 0.333)) {
    307       meanKronMag = secfilt->Mkron;
     294      meanKronMag    = secfilt->Mkron;
    308295      meanKronMagErr = secfilt->dMkron;
     296      meanKronMagStd = secfilt->sMkron;
    309297    }
    310298
    311299    float meanApMag    = -999.0;
    312     if (isfinite(secfilt->Map)) {
    313       meanApMag = secfilt->Map;
    314     }
    315 
    316     float stackPSFMag    = -999.0;
    317     float stackPSFMagErr = -999.0;
    318     if (isfinite(secfilt->dFpsfStk) && isfinite(secfilt->FpsfStk) && (secfilt->dFpsfStk > 0.0)) {
    319       float SN = secfilt->FpsfStk / secfilt->dFpsfStk;
    320       if (SN > 3.0) {
    321         stackPSFMag = -2.5 * log10(secfilt->FpsfStk) + 8.9;
    322         stackPSFMagErr = secfilt->dFpsfStk / secfilt->FpsfStk;
    323       }
    324     }
    325 
    326     float stackKronMag    = -999.0;
    327     float stackKronMagErr = -999.0;
    328     if (isfinite(secfilt->dFkronStk) && isfinite(secfilt->FkronStk) && (secfilt->dFkronStk > 0.0)) {
    329       float SN = secfilt->FkronStk / secfilt->dFkronStk;
    330       if (SN > 3.0) {
    331         stackKronMag = -2.5 * log10(secfilt->FkronStk) + 8.9;
    332         stackKronMagErr = secfilt->dFkronStk / secfilt->FkronStk;
    333       }
     300    float meanApMagErr = -999.0;
     301    float meanApMagStd = -999.0;
     302    if (isfinite(secfilt->dMap) && isfinite(secfilt->Map)) {
     303      meanApMag    = secfilt->Map;
     304      meanApMagErr = secfilt->dMap;
     305      meanApMagStd = secfilt->sMap;
    334306    }
    335307
    336308    PrintIOBuffer (sec_buffer, " (");
    337309    PRINT_FLOAT(sec_buffer, meanPSFMag,      "%.6f, "); // umag precision
    338     PRINT_FLOAT(sec_buffer, meanApMag,       "%.6f, "); // umag precision
     310    PRINT_FLOAT(sec_buffer, meanPSFMagErr,   "%.6f, "); // umag precision
     311    PRINT_FLOAT(sec_buffer, meanPSFMagStd,   "%.6f, "); // umag precision
     312    PRINT_FLOAT(sec_buffer, meanPSFMagMin,   "%.6f, "); // umag precision
     313    PRINT_FLOAT(sec_buffer, meanPSFMagMax,   "%.6f, "); // umag precision
     314    PrintIOBuffer (sec_buffer, "%hd,  ", secfilt->Nused);       
     315
    339316    PRINT_FLOAT(sec_buffer, meanKronMag,     "%.6f, "); // umag precision
    340317    PRINT_FLOAT(sec_buffer, meanKronMagErr,  "%.6f, "); // umag precision
    341     PRINT_FLOAT(sec_buffer, meanPSFMagErr,   "%.6f, "); // umag precision
    342     PRINT_FLOAT(sec_buffer, secfilt->Mchisq, "%.6f, ");
    343     PRINT_FLOAT(sec_buffer, stackPSFMag,     "%.6f, "); // umag precision
    344     PRINT_FLOAT(sec_buffer, stackPSFMagErr,  "%.6f, "); // umag precision
    345     PRINT_FLOAT(sec_buffer, stackKronMag,    "%.6f, "); // umag precision
    346     PRINT_FLOAT(sec_buffer, stackKronMagErr, "%.6f, "); // 0.36 umag precision
     318    PRINT_FLOAT(sec_buffer, meanKronMagStd,  "%.6f, "); // umag precision
     319    PrintIOBuffer (sec_buffer, "%hd,  ", secfilt->NusedKron);       
     320
     321    PRINT_FLOAT(sec_buffer, meanApMag,     "%.6f, "); // umag precision
     322    PRINT_FLOAT(sec_buffer, meanApMagErr,  "%.6f, "); // umag precision
     323    PRINT_FLOAT(sec_buffer, meanApMagStd,  "%.6f, "); // umag precision
     324    PrintIOBuffer (sec_buffer, "%hd,  ", secfilt->NusedAp);       
     325
    347326    PrintIOBuffer (sec_buffer, "%u,   ", secfilt->flags);       
    348     PrintIOBuffer (sec_buffer, "%hd,  ", secfilt->Ncode);       
    349     PrintIOBuffer (sec_buffer, "%hd,  ", secfilt->Nused);       
    350     PrintIOBuffer (sec_buffer, "%.6f, ", secfilt->Mmin);         
    351     PrintIOBuffer (sec_buffer, "%.6f, ", secfilt->Mmax);         
    352     PrintIOBuffer (sec_buffer, "%hd, ", secfilt->ubercalDist); 
    353     PrintIOBuffer (sec_buffer, "%.6f, ", secfilt->Mstdev);       
    354     // XXX PrintIOBuffer (sec_buffer, "%lu  ", secfilt->stackDetectID);
    355327    PrintIOBuffer (sec_buffer, "),\n");
    356328    secfilt ++;
Note: See TracChangeset for help on using the changeset viewer.