<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000">Being we don't know the nature of Bill's data collection yet, let's get all the data collection requirements straight before we jump into the solution space to solve the problem...</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000">That's the intent of this document - to flush out and to understand ALL of the experiments going on and create a database that can ultimately handle them.  No one understands them all yet.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000">I don't know anything that has been decided for the Tangerine Project which is why they will define their portion of the project.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000">Bill's project is another example of this.  Multiple nodes at the same location may fix one problem, but it creates others.  Not appropriate at this stage to do that yet.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000">Let's get the data collection document to a level of completion that we're all happy with first. Then we can understand and solve the overall data collection problem.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000">John N8OBJ</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif;font-size:small;color:#000000"><br></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div><div><div><div><div><div>John C. Gibbons<br></div>Director - Sears Undergraduate Design Laboratory<br></div>Dept. of Electrical Engineering and Computer Science</div></div>Case Western Reserve University  <br></div><div>10900 Euclid Ave, <span style="font-size:12.8px">Glennan 314</span><span style="color:rgb(0,0,0);font-family:Helvetica;font-size:12.8px"><br></span></div></div><div><span style="color:rgb(0,0,0);font-family:Helvetica;font-size:12.8px">Cleveland, Ohio  44106-7071</span><br style="color:rgb(0,0,0);font-family:Helvetica;font-size:12.8px"><span style="color:rgb(0,0,0);font-family:Helvetica;font-size:12.8px">Phone </span><a href="tel:216-368-2816" value="+12163684572" style="color:rgb(17,85,204);font-family:Helvetica;font-size:12.8px" target="_blank">(216) 368-2816</a><span style="color:rgb(0,0,0);font-family:Helvetica;font-size:12.8px"> FAX </span><a href="tel:216-368-6888" value="+12163686888" style="color:rgb(17,85,204);font-family:Helvetica;font-size:12.8px" target="_blank">(216) 368-6888</a><br style="color:rgb(0,0,0);font-family:Helvetica;font-size:12.8px"><span style="color:rgb(0,0,0);font-family:Helvetica;font-size:12.8px">E-mail: </span><a href="mailto:jcg66@case.edu" style="color:rgb(17,85,204);font-family:Helvetica;font-size:12.8px" target="_blank">jcg66@case.edu</a><br style="color:rgb(0,0,0);font-family:Helvetica;font-size:12.8px"><br></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, May 7, 2020 at 12:14 AM Rob Wiesler via TangerineSDR <<a href="mailto:tangerinesdr@lists.tapr.org">tangerinesdr@lists.tapr.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">On Wed, May 06, 2020 at 23:25:41 -0400, John Gibbons wrote:<br>
> Your station is given a node number to define its location. So yes, you<br>
> have a single node number.<br>
><br>
> If the receivers are coordinated to take their data all at the same time,<br>
> you would have a single file with (I'm guessing) 6 frequency measurements<br>
> and 6 amplitude measurements  for the 6 receivers per sample instance (with<br>
> a timestamp that goes with it).<br>
> This would be contained all within 1 file for the given (WWV) frequency<br>
> being measured and submitted daily.<br>
<br>
If 6 copies of fldigi (or any program) are writing to the same file,<br>
you're going to have data corruption.  There are four reasonable ways to<br>
proceed:<br>
<br>
- Add some field to the name of the file that fldigi's writing to, so<br>
  you're writing to 6 files per day, one from each process, then somehow<br>
  tell fldigi what value of that field to use.  The best way to do that<br>
  probably involves an environment variable that fldigi reads.  Then<br>
  relax or work around the one-upload-per-day-per-node restriction<br>
  somehow.<br>
- Have 6 different nodes, and somehow tell fldigi which node it is.  The<br>
  best way to do that probably involves an environment variable that<br>
  fldigi reads.  Since all nodes have exactly the same metadata<br>
  (right?), I don't think you'd even have to modify John's metadata<br>
  directory scheme.  This is probably saner than the previous option.<br>
- Instead of having fldigi write to a file directly, have it send its<br>
  measurements to a daemon via a UNIX socket (or a TCP socket bound to<br>
  127.0.0.1).  The daemon then takes care of reading the metadata,<br>
  creating the .csv files, and rotating them each UTC day.  This doesn't<br>
  involve any environment variables (so long as only one node is used<br>
  and the metadata is all the same), but would effectively undo all the<br>
  effort John went through to get his changes upstreamed.  Still, I<br>
  think this is the sanest option so far.  Actually, I proposed<br>
  something like this very early in the project, when David was setting<br>
  up the first prototype of the system, and I was shot down because it<br>
  seemed too complicated.  If you want to go this route, I can write the<br>
  code - it'll take a fraction of a Saturday or Sunday to go from zero<br>
  to having a finished pair of packages (one for the modifications to<br>
  fldigi, another for the daemon).<br>
- Run fldigi as 6 different users, all belonging to the same set of<br>
  groups, each with their own unique home directory.  Then they can<br>
  share or not share metadata and/or node IDs as desired.  This is the<br>
  least sane option, but (when using different nodes) requires no<br>
  changes to existing and planned code.<br>
<br>
I wrote the above list under the assumption that it is okay for the<br>
antenna that generated each record not to be associated with that<br>
record.  I did that intentionally for the sake of argument only.<br>
Actually, I don't think that's okay at all, and there needs to be a<br>
different node for each antenna (because the metadata must be<br>
different).  Probably Phil and/or Nathaniel should jump in and tell us<br>
what they want/need.<br>
<br>
-- <br>
TangerineSDR mailing list<br>
<a href="mailto:TangerineSDR@lists.tapr.org" target="_blank">TangerineSDR@lists.tapr.org</a><br>
<a href="http://lists.tapr.org/mailman/listinfo/tangerinesdr_lists.tapr.org" rel="noreferrer" target="_blank">http://lists.tapr.org/mailman/listinfo/tangerinesdr_lists.tapr.org</a><br>
</blockquote></div>