IPP Software Navigation Tools IPP Links Communication Pan-STARRS Links

Ignore:
Timestamp:
Oct 30, 2015, 5:01:15 PM (11 years ago)
Author:
watersc1
Message:

Updates to make DF batches work. Test suite changes to implement that. There are still a few issues with header keywords not being respected completely, but I'm not fully sure if that's due to the simulated data or not. Change to fulltest.sh to move dbuser/pass into variables that can be changed easily.

File:
1 edited

Legend:

Unmodified
Added
Removed

  • trunk/ippToPsps/test/mkgpc1data.dvo

    r38996 r39015  
    2323# imagedata describes the full fake exposure set.  the fields are
    2424list imagedata
    25 # exp_id stk_id filebase         M_off date       time      warpfile         filter
    26    1     1      $OUTDIR/test.01  0.000 2010/01/01 01:00:00  $OUTDIR/warp.01  g
    27    2     1      $OUTDIR/test.02 -0.025 2010/01/01 02:00:00  $OUTDIR/warp.02  g
    28    3     1      $OUTDIR/test.03  0.025 2010/01/01 03:00:00  $OUTDIR/warp.03  g
    29    4     1      $OUTDIR/test.04  0.010 2010/01/01 04:00:00  $OUTDIR/warp.04  g
    30    5     2      $OUTDIR/test.05  0.000 2010/01/01 05:00:00  $OUTDIR/warp.05  g
    31    6     2      $OUTDIR/test.06 -0.025 2010/01/01 06:00:00  $OUTDIR/warp.06  g
    32    7     2      $OUTDIR/test.07  0.025 2010/01/01 07:00:00  $OUTDIR/warp.07  g
    33    8     2      $OUTDIR/test.08  0.010 2010/01/01 08:00:00  $OUTDIR/warp.08  g
    34    9     3      $OUTDIR/test.09  0.000 2010/01/01 09:00:00  $OUTDIR/warp.09  g
    35   10     3      $OUTDIR/test.10 -0.025 2010/01/01 10:00:00  $OUTDIR/warp.10  g
    36   11     3      $OUTDIR/test.11  0.025 2010/01/01 11:00:00  $OUTDIR/warp.11  g
    37   12     3      $OUTDIR/test.12  0.010 2010/01/01 12:00:00  $OUTDIR/warp.12  g
    38   13     4      $OUTDIR/test.13 -0.025 2010/01/02 01:00:00  $OUTDIR/warp.13  r
    39   14     4      $OUTDIR/test.14  0.025 2010/01/02 02:00:00  $OUTDIR/warp.14  r
    40   15     4      $OUTDIR/test.15  0.010 2010/01/02 03:00:00  $OUTDIR/warp.15  r
    41   16     4      $OUTDIR/test.16  0.000 2010/01/02 04:00:00  $OUTDIR/warp.16  r
    42   17     5      $OUTDIR/test.17 -0.025 2010/01/02 05:00:00  $OUTDIR/warp.17  r
    43   18     5      $OUTDIR/test.18  0.025 2010/01/02 06:00:00  $OUTDIR/warp.18  r
    44   19     5      $OUTDIR/test.19  0.010 2010/01/02 07:00:00  $OUTDIR/warp.19  r
    45   20     5      $OUTDIR/test.20  0.000 2010/01/02 08:00:00  $OUTDIR/warp.20  r
    46   21     6      $OUTDIR/test.21 -0.025 2010/01/02 09:00:00  $OUTDIR/warp.21  r
    47   22     6      $OUTDIR/test.22  0.025 2010/01/02 10:00:00  $OUTDIR/warp.22  r
    48   23     6      $OUTDIR/test.23  0.010 2010/01/02 11:00:00  $OUTDIR/warp.23  r
    49   24     6      $OUTDIR/test.24 -0.020 2010/01/02 12:00:00  $OUTDIR/warp.24  r
     25# exp_id stk_id filebase         M_off date       time      warpfile         filter  difffile
     26   1     1      $OUTDIR/test.01  0.000 2010/01/01 01:00:00  $OUTDIR/warp.01  g       $OUTDIR/diff.01
     27   2     1      $OUTDIR/test.02 -0.025 2010/01/01 02:00:00  $OUTDIR/warp.02  g       $OUTDIR/diff.02
     28   3     1      $OUTDIR/test.03  0.025 2010/01/01 03:00:00  $OUTDIR/warp.03  g       $OUTDIR/diff.03
     29   4     1      $OUTDIR/test.04  0.010 2010/01/01 04:00:00  $OUTDIR/warp.04  g       $OUTDIR/diff.04
     30   5     2      $OUTDIR/test.05  0.000 2010/01/01 05:00:00  $OUTDIR/warp.05  g       $OUTDIR/diff.05
     31   6     2      $OUTDIR/test.06 -0.025 2010/01/01 06:00:00  $OUTDIR/warp.06  g       $OUTDIR/diff.06
     32   7     2      $OUTDIR/test.07  0.025 2010/01/01 07:00:00  $OUTDIR/warp.07  g       $OUTDIR/diff.07
     33   8     2      $OUTDIR/test.08  0.010 2010/01/01 08:00:00  $OUTDIR/warp.08  g       $OUTDIR/diff.08
     34   9     3      $OUTDIR/test.09  0.000 2010/01/01 09:00:00  $OUTDIR/warp.09  g       $OUTDIR/diff.09
     35  10     3      $OUTDIR/test.10 -0.025 2010/01/01 10:00:00  $OUTDIR/warp.10  g       $OUTDIR/diff.10
     36  11     3      $OUTDIR/test.11  0.025 2010/01/01 11:00:00  $OUTDIR/warp.11  g       $OUTDIR/diff.11
     37  12     3      $OUTDIR/test.12  0.010 2010/01/01 12:00:00  $OUTDIR/warp.12  g       $OUTDIR/diff.12
     38  13     4      $OUTDIR/test.13 -0.025 2010/01/02 01:00:00  $OUTDIR/warp.13  r       $OUTDIR/diff.13
     39  14     4      $OUTDIR/test.14  0.025 2010/01/02 02:00:00  $OUTDIR/warp.14  r       $OUTDIR/diff.14
     40  15     4      $OUTDIR/test.15  0.010 2010/01/02 03:00:00  $OUTDIR/warp.15  r       $OUTDIR/diff.15
     41  16     4      $OUTDIR/test.16  0.000 2010/01/02 04:00:00  $OUTDIR/warp.16  r       $OUTDIR/diff.16
     42  17     5      $OUTDIR/test.17 -0.025 2010/01/02 05:00:00  $OUTDIR/warp.17  r       $OUTDIR/diff.17
     43  18     5      $OUTDIR/test.18  0.025 2010/01/02 06:00:00  $OUTDIR/warp.18  r       $OUTDIR/diff.18
     44  19     5      $OUTDIR/test.19  0.010 2010/01/02 07:00:00  $OUTDIR/warp.19  r       $OUTDIR/diff.19
     45  20     5      $OUTDIR/test.20  0.000 2010/01/02 08:00:00  $OUTDIR/warp.20  r       $OUTDIR/diff.20
     46  21     6      $OUTDIR/test.21 -0.025 2010/01/02 09:00:00  $OUTDIR/warp.21  r       $OUTDIR/diff.21
     47  22     6      $OUTDIR/test.22  0.025 2010/01/02 10:00:00  $OUTDIR/warp.22  r       $OUTDIR/diff.22
     48  23     6      $OUTDIR/test.23  0.010 2010/01/02 11:00:00  $OUTDIR/warp.23  r       $OUTDIR/diff.23
     49  24     6      $OUTDIR/test.24 -0.020 2010/01/02 12:00:00  $OUTDIR/warp.24  r       $OUTDIR/diff.24
    5050end
    5151
    … …  
    6565  mkcatdir.stk PS1_V5 PS1_V5
    6666  mkcatdir.wrp PS1_V5_Lensing PS1_V5
     67  mkcatdir.dif PS1_DV5 PS1_V5
    6768  insert.stack.set
    6869end
    … …  
    7273  $dbhost = localhost
    7374  $dbname = gpc1test
    74   $dbuser = dvo
    75   $dbpass = dvo
     75#  $dbuser = dvo
     76#  $dbpass = dvo
     77  $dbuser = czw
     78  $dbpass = czw
    7679
    7780  exec mkgpc1.sh delete $dbhost $dbname $dbuser $dbpass
    … …  
    8285  # system-wide info
    8386  dbinsert ippToPspsFake (my_id) values (2)
    84   dbinsert skycell (radeg, decdeg, skycell_id) values ($RA, $DEC, $SKYCELL)
     87  dbinsert skycell (radeg, decdeg, tess_id, skycell_id) values ($RA, $DEC, $TESS_ID, $SKYCELL)
    8588end
    8689
    … …  
    477480end
    478481
     482macro mkcatdir.dif
     483  if ($0 != 3)
     484      echo "mkcatdir.cam (cmftype) (dvotype)"
     485      break
     486  end
     487
     488  # tapPLAN 4
     489
     490  mkdir $OUTDIR
     491
     492  local i catdir ID stkID rawfile cmffile offset
     493  $catdir = $OUTDIR/catdir.dif
     494  exec rm -rf $catdir
     495
     496  $TIMEFORMAT = mjd
     497  $TIMEREF = 2001/01/01,00:00:00
     498
     499  for i 0 $imagedata:n
     500     list word -split $imagedata:$i
     501     $ID = $word:0
     502     $stkID = $word:1
     503     $rawfile = $word:2\.txt
     504     $cmffile = $word:8\.cmf
     505     $offset = $word:3
     506     sprintf myDATE "%s" $word:4
     507     sprintf myTIME "%s" $word:5
     508     $filter = $word:7
     509
     510     if ($SMALLTEST && ($stkID != 1) && ($stkID != 4)) continue
     511
     512     echo ctimes -abs $myDATE,$myTIME -var mjd
     513     ctimes -abs $myDATE,$myTIME -var mjd
     514
     515    # create an empty header and populate with the desired keywords
     516    mcreate dummy 0 0
     517    keyword dummy MJD-OBS  -wf $mjd
     518    keyword dummy FILTERID -w  $filter.00000
     519    keyword dummy EXPTIME  -wf 1.0
     520
     521#    keyword dummy ZPT_ERR  -wf 0.01
     522#    keyword dummy EXPREQ   -wf 1.0
     523    keyword dummy AIRMASS  -wf 1.0
     524    keyword dummy RA       -wf $RA
     525    keyword dummy DEC      -wf $DEC
     526    keyword dummy CTYPE1   -w "RA---DIS"
     527    keyword dummy CTYPE2   -w "DEC--DIS"
     528    keyword dummy CRVAL1   -wf $RA
     529    keyword dummy CRVAL2   -wf $DEC
     530    keyword dummy CRPIX1   -wf 0.0
     531    keyword dummy CRPIX2   -wf 0.0
     532    keyword dummy CDELT1   -wf {1.0/3600}
     533    keyword dummy CDELT2   -wf {1.0/3600}
     534    keyword dummy PC001001 -wf 1.0
     535    keyword dummy PC001002 -wf 0.0
     536    keyword dummy PC002001 -wf 0.0
     537    keyword dummy PC002002 -wf 1.0
     538    keyword dummy NPLYTERM -wd 0
     539    keyword dummy PCA1X3Y0 -wf 0.0
     540    keyword dummy PCA1X2Y1 -wf 0.0
     541    keyword dummy PCA1X1Y2 -wf 0.0
     542    keyword dummy PCA1X0Y3 -wf 0.0
     543    keyword dummy PCA1X2Y0 -wf 0.0
     544    keyword dummy PCA1X1Y1 -wf 0.0
     545    keyword dummy PCA1X0Y2 -wf 0.0
     546    keyword dummy PCA2X3Y0 -wf 0.0
     547    keyword dummy PCA2X2Y1 -wf 0.0
     548    keyword dummy PCA2X1Y2 -wf 0.0
     549    keyword dummy PCA2X0Y3 -wf 0.0
     550    keyword dummy PCA2X2Y0 -wf 0.0
     551    keyword dummy PCA2X1Y1 -wf 0.0
     552    keyword dummy PCA2X0Y2 -wf 0.0
     553
     554    $zp = $offset + 23.0
     555    keyword dummy "HIERARCH FPA.ZP" -wf $zp
     556    keyword dummy "HIERARCH DETEFF.MAGREF" -wf -5.8048040
     557    wd dummy $cmffile
     558
     559    mkinput $offset $rawfile
     560    echo mkcmf -diff -photcode SIMTEST.$filter.SkyChip -no-noise -extroot SkyChip -append $rawfile $cmffile -date $myDATE -time $myTIME -mjd $mjd -radec $RA $DEC -type $1 -imageID $ID -sourceID 36 -bad-psfqf-frac $BAD_PSFQF_FRAC
     561    exec mkcmf -diff -photcode SIMTEST.$filter.SkyChip -no-noise -extroot SkyChip -append $rawfile $cmffile -date $myDATE -time $myTIME -mjd $mjd -radec $RA $DEC -type $1 -imageID $ID -sourceID 36 -bad-psfqf-frac $BAD_PSFQF_FRAC
     562
     563
     564    insert.dif $ID $ID $stkID $word:8
     565
     566    if ($i == 3)
     567      echo "NOTE: not adding image $i to DVO : this simulates images with poor astrometry"
     568      continue
     569    end
     570    echo addstar -D SKY_DEPTH 4 -D CATDIR $catdir -D CAMERA simtest $cmffile -D CATFORMAT $2 -quick-airmass
     571    exec addstar -D SKY_DEPTH 4 -D CATDIR $catdir -D CAMERA simtest $cmffile -D CATFORMAT $2 -quick-airmass
     572  end
     573  if ($SMALLTEST)
     574    echo relphot -D CATDIR $catdir -region 8 12 18 22 -averages -update
     575    exec relphot -D CATDIR $catdir -region 8 12 18 22 -averages -update
     576  else
     577    echo relphot -D CATDIR $catdir -region 8 12 18 22 -images g,r,i,z,y -update
     578    exec relphot -D CATDIR $catdir -region 8 12 18 22 -images g,r,i,z,y -update
     579  end
     580
     581  if ($PARALLEL)
     582    $hostname = `hostname`
     583    exec rm -f $catdir/HostTable.dat
     584    output $catdir/HostTable.dat
     585    echo "# ID Hostname Catdir"
     586    echo " 1 $hostname $catdir.p1"
     587    echo " 2 $hostname $catdir.p2"
     588    echo " 3 $hostname $catdir.p3"
     589    output stdout
     590    exec dvodist -out $catdir
     591  end
     592
     593  # for i 0 $offset:n
     594  #   tapOK {abs(Mcal[$i] - Mcal[0] - $offset:$i) < 0.001} "Mcal $i"
     595  # end
     596
     597  # tapDONE
     598end
     599
    479600
    480601macro insert.stack.set
    … …  
    516637  dbinsert mergedvodbRun (minidvodb_id, merge_id, state, mergedvodb) values (3, 3, "full", "catdir.wrp")
    517638  dbinsert mergedvodbProcessed (merge_id, fault) values (3, 0)
    518 end
     639
     640  # catdirs for the diffs
     641  dbinsert minidvodbRun (minidvodb_name, minidvodb_id, state) values ("catdir.dif", 4, "merged")
     642  dbinsert minidvodbProcessed (minidvodb_id, fault) values (4, 0)
     643
     644  dbinsert mergedvodbRun (minidvodb_id, merge_id, state, mergedvodb) values (4, 4, "full", "catdir.dif")
     645  dbinsert mergedvodbProcessed (merge_id, fault) values (4, 0)
     646
     647end
     648
     649macro insert.dif
     650  if ($0 != 5)
     651      echo "USAGE: insert.dif (diffID) (warpID) (stackID) (filename)"
     652      break
     653  end
     654
     655  local difID wrpID stkID filename
     656  $difID = $1
     657  $wrpID = $2
     658  $stkID = $3
     659  $filename = $4
     660
     661  echo $myDATE
     662  echo $myTIME
     663
     664  $addID = $difID + 100
     665  $diffSkyfileID = $difID + 25;
     666  dbinsert addRun (add_id, stage, state, stage_id, stage_extra1, minidvodb_name) values ($addID, "diff", "full", $difID, $diffSkyfileID, "catdir.dif")
     667  dbinsert addProcessedExp (add_id, fault) values ($addID, 0)
     668
     669  dbinsert diffRun (diff_id, tess_id, state, diff_mode, software_ver) values ($difID, $TESS_ID, "full", 2, "38000M")
     670  dbinsert diffInputSkyfile (diff_id, warp1, stack2, diff_skyfile_id, tess_id, skycell_id) values ($difID, $wrpID, $stkID, $diffSkyfileID, $TESS_ID,  $SKYCELL )
     671  dbinsert diffSkyfile (diff_id, diff_skyfile_id, tess_id, skycell_id, path_base) values ($difID, $diffSkyfileID, $TESS_ID, $SKYCELL, "$filename")
     672#  dbinsert diffSkyfile (diff_id,
     673
     674# finish this up.
     675end
     676
    519677
    520678
Note: See TracChangeset for help on using the changeset viewer.