IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Changeset 42837 for trunk/ippTools/share


Ignore:
Timestamp:
May 9, 2025, 9:40:41 AM (14 months ago)
Author:
eugene
Message:

add support for xcstack, xcsky, xcff; update create (pxadmin) to be consistent with gpc1/gpc2; remove pstamp tables from pxadmin (not in gpc1/gpc2 db); fix a minor bug in addtool w.r.t. minidvodb_path; add -simple option to disttool; add updatesummitExp mode

Location:
trunk/ippTools
Files:
5 edited
45 copied

Legend:

Unmodified
Added
Removed

  • trunk/ippTools

  • trunk/ippTools/share

  • trunk/ippTools/share/Makefile.am

    r42480 r42837  
    554554        fpcamtool_queue_cam_id.sql \
    555555        fpcamtool_revertprocessedexp.sql \
    556         fpcamtool_revertupdatedexp.sql
    557 
     556        fpcamtool_revertupdatedexp.sql \
     557        xcstacktool_definebyquery_select.sql \
     558        xcstacktool_definebyquery_select_XC.sql \
     559        xcstacktool_addbyquery_select.sql \
     560        xcstacktool_addcamera.sql \
     561        xcstacktool_inputskyfile.sql \
     562        xcstacktool_tosum.sql \
     563        xcstacktool_sumskyfile.sql \
     564        xcstacktool_revertsumskyfile_delete.sql \
     565        xcstacktool_pendingcleanuprun.sql \
     566        xcstacktool_pendingcleanupskyfile.sql \
     567        xcstacktool_donecleanup.sql \
     568        xcskytool_definebyquery_select.sql \
     569        xcskytool_definebyquery_select_by_dg.sql \
     570        xcskytool_definebyquery_inputs.sql \
     571        xcskytool_definexccalrun.sql \
     572        xcskytool_pendingxccalrun.sql \
     573        xcskytool_revertxccal.sql \
     574        xcskytool_xccalresult.sql \
     575        xcskytool_export_run.sql \
     576        xcskytool_export_input.sql \
     577        xcskytool_export_result.sql \
     578        xcskytool_export_xccalrun.sql \
     579        xcskytool_export_xccalresult.sql \
     580        xcskytool_inputs.sql \
     581        xcskytool_todo.sql \
     582        xcskytool_result.sql \
     583        xcskytool_revert.sql \
     584        xcskytool_revert_update.sql \
     585        xcfftool_definebyquery_pt1.sql \
     586        xcfftool_definebyquery_pt2.sql \
     587        xcfftool_definebyquery_select_warps.sql \
     588        xcfftool_result.sql \
     589        xcfftool_revert.sql \
     590        xcfftool_revertsummary.sql \
     591        xcfftool_summaryinputs.sql \
     592        xcfftool_summary.sql \
     593        xcfftool_toadvance.sql \
     594        xcfftool_todo.sql

  • trunk/ippTools/share/pxadmin_create_tables.sql

    r42387 r42837  
    394394    KEY(fault),
    395395    KEY(quality),
    396     KEY(data_state),
    397396    FOREIGN KEY(chip_id, exp_id) REFERENCES chipRun(chip_id, exp_id),
    398397    FOREIGN KEY(exp_id, class_id) REFERENCES rawImfile(exp_id, class_id)
    … …  
    558557    minidvodb_group VARCHAR(64),
    559558    minidvodb_name VARCHAR(64),
     559    minidvodb_host VARCHAR(64),
    560560    PRIMARY KEY(add_id),
    561561    KEY(add_id),
    … …  
    14141414) ENGINE=innodb DEFAULT CHARSET=latin1;
    14151415
    1416 CREATE TABLE pstampDataStore (
    1417         ds_id BIGINT AUTO_INCREMENT,
    1418         state VARCHAR(64),
    1419         lastFileset VARCHAR(64),
    1420         timestamp  DATETIME,
    1421         label VARCHAR(64),
    1422         outProduct VARCHAR(64) UNIQUE,
    1423         uri VARCHAR(255),
    1424         pollInterval INTEGER DEFAULT 60,
    1425         need_magic TINYINT,
    1426         PRIMARY KEY(ds_id),
    1427         KEY(ds_id)
    1428 ) ENGINE=innodb DEFAULT CHARSET=latin1;
    1429 
    1430 CREATE TABLE pstampProject (
    1431         proj_id BIGINT AUTO_INCREMENT,
    1432         name VARCHAR(64) UNIQUE,
    1433         state VARCHAR(64),
    1434         dbname VARCHAR(64),
    1435         dvodb VARCHAR(64),
    1436         camera VARCHAR(64),
    1437         telescope VARCHAR(64),
    1438         need_magic TINYINT,
    1439         PRIMARY KEY(proj_id),
    1440         KEY(proj_id)
    1441 ) ENGINE=innodb DEFAULT CHARSET=latin1;
    1442 
    1443 CREATE TABLE pstampRequest (
    1444         req_id BIGINT AUTO_INCREMENT,
    1445         ds_id BIGINT,
    1446         state VARCHAR(64),
    1447         name VARCHAR(64) UNIQUE,
    1448         reqType VARCHAR(16),
    1449         label VARCHAR(64),
    1450         outProduct VARCHAR(64),
    1451         uri VARCHAR(255),
    1452         outdir VARCHAR(255),
    1453         username VARCHAR(255),
    1454         proj_id BIGINT,
    1455         registered datetime,
    1456         timestamp TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    1457         fault SMALLINT,
    1458         PRIMARY KEY(req_id),
    1459         KEY(req_id),
    1460         KEY(state),
    1461         KEY(fault),
    1462         KEY(label),
    1463         KEY(username)
    1464 ) ENGINE=innodb DEFAULT CHARSET=latin1;
    1465 
    1466 CREATE TABLE pstampJob (
    1467         job_id BIGINT AUTO_INCREMENT,
    1468         req_id BIGINT,
    1469         rownum VARCHAR(64),
    1470         state VARCHAR(64),
    1471         jobType VARCHAR(16),
    1472         fault SMALLINT,
    1473         exp_id BIGINT,
    1474         outputBase VARCHAR(255),
    1475         options BIGINT,
    1476         dep_id BIGINT,
    1477         fault_count INT,
    1478         parent_id BIGINT DEFAULT NULL,
    1479         is_parent TINYINT DEFAULT 0,
    1480         PRIMARY KEY(job_id, req_id),
    1481         KEY(job_id),
    1482         KEY(req_id),
    1483         KEY(state),
    1484         KEY(fault),
    1485         KEY(dep_id),
    1486         KEY(parent_id),
    1487         KEY(is_parent),
    1488         FOREIGN KEY(req_id) REFERENCES pstampRequest(req_id)
    1489 ) ENGINE=innodb DEFAULT CHARSET=latin1;
    1490 
    1491 CREATE TABLE pstampDependent (
    1492         dep_id BIGINT AUTO_INCREMENT,
    1493         state      VARCHAR(64),
    1494         stage      VARCHAR(64),
    1495         stage_id   BIGINT,
    1496         component  VARCHAR(64),
    1497         imagedb    VARCHAR(64),
    1498         outdir     VARCHAR(255),
    1499         rlabel     VARCHAR(64),
    1500         need_magic TINYINT,
    1501         fault      SMALLINT,
    1502         fault_count INT,
    1503         PRIMARY KEY(dep_id),
    1504         KEY(state),
    1505         KEY(stage),
    1506         KEY(stage_id),
    1507         KEY(component),
    1508         KEY(imagedb),
    1509         KEY(fault)
    1510 ) ENGINE=innodb DEFAULT CHARSET=latin1;
    1511 
    1512 CREATE TABLE pstampFile (
    1513     file_id BIGINT AUTO_INCREMENT,
    1514     job_id BIGINT NOT NULL,
    1515     path VARCHAR(255),
    1516     PRIMARY KEY(file_id),
    1517     KEY(job_id)
    1518 ) ENGINE=innodb DEFAULT CHARSET=latin1;
    1519 
    1520 CREATE TABLE pstampUserDomain (
    1521     domainName      VARCHAR(64),
    1522     accessLevel     INT,
    1523     defaultProduct  VARCHAR(255),
    1524     defaultLabel    VARCHAR(64),
    1525     PRIMARY KEY(domainName)
    1526 ) ENGINE=innodb DEFAULT CHARSET=latin1;
    1527 
    1528 CREATE TABLE pstampUser (
    1529     userName        VARCHAR(64),
    1530     domainName      VARCHAR(64),
    1531     accessLevel     INT,
    1532     defaultProduct  VARCHAR(255),
    1533     defaultLabel    VARCHAR(64),
    1534     PRIMARY KEY (userName, domainName)
    1535 ) ENGINE=innodb DEFAULT CHARSET=latin1;
    1536 
    1537 CREATE TABLE pstampAccessLevel (
    1538     proj_id         BIGINT,
    1539     accessLevel     INT,
    1540     mjd_min         FLOAT DEFAULT 0,
    1541     mjd_max         FLOAT DEFAULT 0,
    1542     PRIMARY KEY (proj_id, accessLevel),
    1543     UNIQUE KEY (proj_id, accessLevel),
    1544     FOREIGN KEY(proj_id) REFERENCES pstampProject(proj_id)
    1545 ) ENGINE=innodb DEFAULT CHARSET=latin1;
    1546 
    1547 CREATE TABLE pstampWebRequest (
    1548         num BIGINT AUTO_INCREMENT,
    1549         PRIMARY KEY(num)
    1550 ) ENGINE=innodb DEFAULT CHARSET=latin1;
    1551 
    15521416CREATE TABLE distTarget (
    15531417    target_id   BIGINT AUTO_INCREMENT,
    … …  
    18561720    class_id VARCHAR(64) NOT NULL,     -- class (component) identifier
    18571721    path_base VARCHAR(255) NOT NULL,   -- root name for outputs
     1722    data_state VARCHAR(64),   
    18581723    magicked BIGINT,                   -- magic_id if magicked
    18591724    dtime_script FLOAT,                -- elapsed time for script
    … …  
    19051770    skycell_id VARCHAR(64) NOT NULL,   -- skycell identifier
    19061771    path_base VARCHAR(255) NOT NULL,   -- root name for outputs
     1772    data_state VARCHAR(64),
    19071773    magicked BIGINT,                   -- magic_id if magicked
    19081774    dtime_script FLOAT,                -- elapsed time for script
    … …  
    20221888       minidvodb_group VARCHAR(64) NOT NULL,
    20231889       minidvodb_path VARCHAR(255) NOT NULL,
     1890       minidvodb_host VARCHAR(64) NOT NULL,
    20241891       state VARCHAR(64) NOT NULL,
     1892       note VARCHAR(255) NOT NULL,
    20251893       creation_date TIMESTAMP,
    20261894       PRIMARY KEY(minidvodb_id), KEY(minidvodb_name), INDEX(minidvodb_id)
    … …  
    21682036      quality SMALLINT NOT NULL,
    21692037      hostname VARCHAR(64) NOT NULL,
    2170       software_ver VARCHAR(64),
     2038      software_ver VARCHAR(16),
    21712039      fault SMALLINT NOT NULL,
    21722040      PRIMARY KEY(skycal_id),
    … …  
    24812349) ENGINE=innodb DEFAULT CHARSET=latin1;
    24822350
     2351CREATE TABLE xcstackCamera (
     2352        camera_id BIGINT AUTO_INCREMENT,
     2353        camera VARCHAR(255),
     2354        PRIMARY KEY(camera_id)
     2355) ENGINE=innodb DEFAULT CHARSET=latin1;
     2356
     2357CREATE TABLE xcstackRun (
     2358        xcstack_id BIGINT AUTO_INCREMENT,
     2359        state VARCHAR(64),
     2360        workdir VARCHAR(255),
     2361        label VARCHAR(64),
     2362        data_group VARCHAR(64),
     2363        dist_group VARCHAR(64),
     2364        reduction VARCHAR(64),
     2365        registered DATETIME,
     2366        skycell_id VARCHAR(64),
     2367        tess_id VARCHAR(64),
     2368        filter VARCHAR(64),
     2369        software_ver VARCHAR(16),
     2370        note VARCHAR(255),
     2371        PRIMARY KEY(xcstack_id),
     2372        KEY(xcstack_id),
     2373        KEY(state),
     2374        KEY(skycell_id),
     2375        KEY(tess_id),
     2376        KEY(label),
     2377        KEY(data_group),
     2378        KEY(dist_group)
     2379) ENGINE=innodb DEFAULT CHARSET=latin1;
     2380
     2381CREATE TABLE xcstackInputSkyfile (
     2382        xcstack_id BIGINT,
     2383        camera_id BIGINT,
     2384        stack_id BIGINT,
     2385        PRIMARY KEY(xcstack_id, camera_id, stack_id),
     2386        KEY(xcstack_id),
     2387        KEY(stack_id),
     2388        FOREIGN KEY(xcstack_id) REFERENCES xcstackRun(xcstack_id),
     2389        FOREIGN KEY(camera_id) REFERENCES xcstackCamera(camera_id)
     2390) ENGINE=innodb DEFAULT CHARSET=latin1;
     2391
     2392CREATE TABLE xcstackSumSkyfile (
     2393        xcstack_id BIGINT,
     2394        path_base VARCHAR(255),
     2395        bg DOUBLE,
     2396        bg_stdev DOUBLE,
     2397        dtime_stack FLOAT,
     2398        dtime_script FLOAT,
     2399        hostname VARCHAR(64),
     2400        good_frac FLOAT,
     2401        fault SMALLINT,
     2402        software_ver VARCHAR(16),
     2403        quality SMALLINT NOT NULL DEFAULT 0,
     2404        PRIMARY KEY(xcstack_id),
     2405        KEY(dtime_stack),
     2406        KEY(good_frac),
     2407        KEY(fault),
     2408        KEY(quality),
     2409        FOREIGN KEY(xcstack_id) REFERENCES xcstackRun(xcstack_id)
     2410) ENGINE=innodb DEFAULT CHARSET=latin1;
     2411
     2412-- A static sky analysis set
     2413CREATE TABLE xcskyRun (
     2414      xcsky_id BIGINT AUTO_INCREMENT, -- unique identifier
     2415      state VARCHAR(64) NOT NULL,  -- state of run (new, full, etc.)
     2416      workdir VARCHAR(255) NOT NULL, -- working directory
     2417      label VARCHAR(64),             -- processing label
     2418      data_group VARCHAR(64),        -- group for data
     2419      dist_group VARCHAR(64),        -- group for distribution
     2420      reduction VARCHAR(64),         -- reduction class (for altering recipe)
     2421      note VARCHAR(255),             -- note
     2422      registered TIMESTAMP DEFAULT CURRENT_TIMESTAMP, -- time run was registered
     2423      PRIMARY KEY(xcsky_id),
     2424      KEY(state),
     2425      KEY(label),
     2426      KEY(data_group),
     2427      KEY(dist_group)
     2428) ENGINE=innodb DEFAULT CHARSET=latin1;
     2429
     2430-- Inputs for static sky analysis
     2431CREATE TABLE xcskyInput (
     2432      xcsky_id BIGINT,             -- static sky identifier
     2433      xcstack_id BIGINT,          -- stack identifier
     2434      PRIMARY KEY(xcsky_id,xcstack_id),
     2435      KEY(xcstack_id),
     2436      FOREIGN KEY(xcsky_id) REFERENCES xcskyRun(xcsky_id),
     2437      FOREIGN KEY(xcstack_id) REFERENCES xcstackRun(xcstack_id)
     2438) ENGINE=innodb DEFAULT CHARSET=latin1;
     2439
     2440-- Result of static sky analysis
     2441CREATE TABLE xcskyResult (
     2442      xcsky_id BIGINT,             -- static sky identifier
     2443      path_base VARCHAR(255) NOT NULL, -- root name for outputs
     2444      dtime_phot FLOAT,                -- elapsed time for photometry
     2445      dtime_script FLOAT,              -- elapsed time for script
     2446      sources INT,                     -- number of sources
     2447      num_inputs INT,                  -- number of input images
     2448      hostname VARCHAR(64) NOT NULL,   -- host that executed script
     2449      good_frac FLOAT,                 -- good fraction of skycell
     2450      quality SMALLINT NOT NULL,       -- bad quality flag
     2451      fault SMALLINT NOT NULL,         -- fault code
     2452      PRIMARY KEY(xcsky_id),
     2453      KEY(good_frac),
     2454      KEY(fault),
     2455      KEY(quality),
     2456      FOREIGN KEY(xcsky_id) REFERENCES xcskyRun(xcsky_id)
     2457) ENGINE=innodb DEFAULT CHARSET=latin1;
     2458
     2459CREATE TABLE xccalRun (
     2460      xccal_id BIGINT AUTO_INCREMENT, -- unique identifier
     2461      xcsky_id BIGINT,
     2462      xcstack_id BIGINT,
     2463      state VARCHAR(64) NOT NULL,  -- state of run (new, full, etc.)
     2464      workdir VARCHAR(255) NOT NULL, -- working directory
     2465      label VARCHAR(64),             -- processing label
     2466      data_group VARCHAR(64),        -- group for data
     2467      dist_group VARCHAR(64),        -- group for distribution
     2468      reduction VARCHAR(64),         -- reduction class (for altering recipe)
     2469      registered TIMESTAMP DEFAULT CURRENT_TIMESTAMP, -- time run was registered
     2470      note VARCHAR(255),             -- note
     2471      PRIMARY KEY(xccal_id),
     2472      KEY(state),
     2473      KEY(label),
     2474      KEY(data_group),
     2475      KEY(dist_group),
     2476      KEY(xcsky_id),
     2477      KEY(xcstack_id),
     2478      FOREIGN KEY(xcsky_id) REFERENCES xcskyRun(xcsky_id),
     2479      FOREIGN KEY(xcstack_id) REFERENCES xcstackRun(xcstack_id)
     2480) ENGINE=innodb DEFAULT CHARSET=latin1;
     2481
     2482-- Result of sky calibration analysis
     2483CREATE TABLE xccalResult (
     2484      xccal_id BIGINT,
     2485      path_base VARCHAR(255) NOT NULL,
     2486      dtime_script FLOAT,
     2487      dtime_astrom FLOAT,
     2488      sigma_ra FLOAT,
     2489      sigma_dec FLOAT,
     2490      n_astrom INT,
     2491      n_detections INT,
     2492      n_extended INT,
     2493      n_forced INT,
     2494      zpt_obs FLOAT,
     2495      zpt_stdev FLOAT,
     2496      fwhm_major  FLOAT,
     2497      fwhm_minor  FLOAT,
     2498      quality SMALLINT NOT NULL,
     2499      hostname VARCHAR(64) NOT NULL,
     2500      software_ver VARCHAR(16),
     2501      fault SMALLINT NOT NULL,
     2502      PRIMARY KEY(xccal_id),
     2503      KEY(fault),
     2504      KEY(quality),
     2505      FOREIGN KEY(xccal_id) REFERENCES xccalRun(xccal_id)
     2506) ENGINE=innodb DEFAULT CHARSET=latin1;
     2507
     2508CREATE TABLE xcForceRun (
     2509    xcff_id         BIGINT NOT NULL AUTO_INCREMENT,
     2510    xccal_id        BIGINT, -- NOT a foreign key: reference to entry in xcamera db
     2511    sources_path_base VARCHAR(255),
     2512    state           VARCHAR(64),
     2513    workdir         VARCHAR(255),
     2514    label           VARCHAR(64),
     2515    skycell_id      VARCHAR(64),
     2516    tess_id         VARCHAR(64),
     2517    data_group      VARCHAR(64),
     2518    dist_group      VARCHAR(64),
     2519    note            VARCHAR(255),
     2520    reduction       VARCHAR(64),
     2521    registered TIMESTAMP DEFAULT CURRENT_TIMESTAMP, -- time run was registered
     2522    PRIMARY KEY(xcff_id),
     2523    KEY(state),
     2524    KEY(label),
     2525    KEY(data_group),
     2526    KEY(xccal_id)
     2527) ENGINE=innodb DEFAULT CHARSET=latin1;
     2528
     2529CREATE TABLE xcForceInput (
     2530    xcff_id              BIGINT,
     2531    warp_id              BIGINT,
     2532    camera_id            BIGINT,
     2533    PRIMARY KEY(xcff_id, warp_id, camera_id),
     2534    FOREIGN KEY(xcff_id)   REFERENCES xcForceRun(xcff_id),
     2535    FOREIGN KEY(warp_id)   REFERENCES warpRun(warp_id),
     2536    FOREIGN KEY(camera_id) REFERENCES xcstackCamera(camera_id)
     2537) ENGINE=innodb DEFAULT CHARSET=latin1;
     2538
     2539CREATE TABLE xcForceResult (
     2540    xcff_id         BIGINT,
     2541    warp_id         BIGINT,
     2542    path_base       VARCHAR(255) NOT NULL,
     2543    dtime_script    FLOAT,
     2544    quality         SMALLINT NOT NULL,
     2545    hostname        VARCHAR(64) NOT NULL,
     2546    software_ver    VARCHAR(16),
     2547    fault           SMALLINT NOT NULL,
     2548    PRIMARY KEY(xcff_id, warp_id),
     2549    KEY(fault),
     2550    KEY(quality),
     2551    FOREIGN KEY(xcff_id) REFERENCES xcForceRun(xcff_id),
     2552    FOREIGN KEY(warp_id) REFERENCES warpRun(warp_id)
     2553) ENGINE=innodb DEFAULT CHARSET=latin1;
     2554
     2555CREATE TABLE xcForceSummary (
     2556    xcff_id         BIGINT,
     2557    path_base       VARCHAR(255) NOT NULL,
     2558    dtime_script    FLOAT,
     2559    quality         SMALLINT NOT NULL,
     2560    hostname        VARCHAR(64) NOT NULL,
     2561    software_ver    VARCHAR(16),
     2562    fault           SMALLINT NOT NULL,
     2563    PRIMARY KEY(xcff_id),
     2564    KEY(fault),
     2565    KEY(quality),
     2566    FOREIGN KEY(xcff_id) REFERENCES xcForceRun(xcff_id)
     2567) ENGINE=innodb DEFAULT CHARSET=latin1;
     2568
    24832569-- These comment lines are here to avoid an empty query error.
    24842570-- Another way to avoid that problem is to omit the semicolon above but I think that is untidy.

  • trunk/ippTools/share/pxadmin_drop_tables.sql

    r42387 r42837  
    131131DROP TABLE IF EXISTS fpcamProcessedExp;
    132132DROP TABLE IF EXISTS fpcamRun;
     133DROP TABLE IF EXISTS xccalResult;
     134DROP TABLE IF EXISTS xccalRun;
     135DROP TABLE IF EXISTS xcForceInput;
     136DROP TABLE IF EXISTS xcForceResult;
     137DROP TABLE IF EXISTS xcForceRun;
     138DROP TABLE IF EXISTS xcForceSummary;
     139DROP TABLE IF EXISTS xcskyInput;
     140DROP TABLE IF EXISTS xcskyResult;
     141DROP TABLE IF EXISTS xcskyRun;
     142DROP TABLE IF EXISTS xcstackCamera;
     143DROP TABLE IF EXISTS xcstackInputSkyfile;
     144DROP TABLE IF EXISTS xcstackRun;
     145DROP TABLE IF EXISTS xcstackSumSkyfile;
    133146
    134147SET FOREIGN_KEY_CHECKS=1
Note: See TracChangeset for help on using the changeset viewer.