<div dir="ltr">Hi Gerry,<div><br></div><div>  Bill is your single point of contact, as he's managing the data flow for the NSF DASI effort.  I would synchronize with him and with Nathaniel and then the discussion can widen.  FYI, Madrigal is a bit of a different beast having evolved over 4 decades from the ground based community - it is very instrument-centric rather than time and/or space coordinate-centric.  It happens to have extensive use in the geospace community, but may or may not be the right choice here.  </div><div><br></div><div>Cheers</div><div>Phil W1PJE</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Apr 2, 2020 at 10:06 AM Gerry Creager - NOAA Affiliate <<a href="mailto:gerry.creager@noaa.gov">gerry.creager@noaa.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Phil</div><div><br></div><div>I've some experience deploying and maintaining data storage and presentation. There are tools (although not Madrigal; I'll look) that I'm already familiar with that support large datasets well. Multi-site distribution is nearly trivial. <br></div><div><br></div><div>What can I do to help?</div><div><br></div><div>gerry n5jxs<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Apr 1, 2020 at 1:20 PM Phil Erickson via TangerineSDR <<a href="mailto:tangerinesdr@lists.tapr.org" target="_blank">tangerinesdr@lists.tapr.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi Bill,<div><br></div><div>  There is something quick that comes to mind.  There is a large difference between data provision through an interface (of whatever flavor) and data archiving as the long-term record.  At MIT, Madrigal serves both functions for the ground based community, but that's merely one case.  The project will most definitely need separate and sustained funding to keep the long term archive in place; it isn't going to happen by default, as you indicate, and Phase 1 is not going to have the resources to do that.</div><div><br></div><div>  As an example, in Madrigal's case, we are now about to deploy the following for the central long term archive:</div><div><br></div><div>- server nodes in two physical locations, one of them a continuously manned industrial quality vault type location with zero downtime at the financial institution level;</div><div>- each node itself is fully redundant with RAID 6 at a minimum and instant fail-over</div><div>- each node exchanges updates every evening</div><div>- network access on major back-haul pipes</div><div><br></div><div>  This of course is exactly what Google does for their Google File System or equivalent, except they tend to put their massive server farms very close to hydropower for cheap energy.  As you said, there are many, many options out there.  But the best one is one you control and maintain, with the associated cost of that maintenance - it's the only way to guarantee long term preservation.  I simply do not trust any companies any longer in their promises.  Nothing is really for free.  (Look at the AWS price per byte now, and you pay for input AND output and storage.  Gets non-economical in a hurry.)</div><div><br></div><div>73</div><div>Phil</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Apr 1, 2020 at 1:05 PM Engelke, Bill via TangerineSDR <<a href="mailto:tangerinesdr@lists.tapr.org" target="_blank">tangerinesdr@lists.tapr.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">





<div lang="EN-US">
<div>
<p class="MsoNormal">This does raise several issues we will need to deal with at some point.  Some notes…<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<ul style="margin-top:0in" type="disc">
<li style="margin-left:0in">I have been pushing the software I am developing for the small board computer (to go into the TangerineSDR) to my repository on Github simply because it is the most straightforward
 way at this moment. It gives me the ability to recover without major loss of work if the Odroid I am using were to catastrophically fail; plus, if I were to drop dead next week due to coronavirus or something (a realistic possibility, unfortunately), somebody
 in the team may be able to make use of what I have done so far. The software is heavily commented.<u></u><u></u></li><li style="margin-left:0in">It would indeed be a good idea for TAPR to have its own github for this and related software to ensure its continued  access to it.<u></u><u></u></li><li style="margin-left:0in">On a related note, we (here at UA) have extensively discussed how to store data that will be collected from Personal Space WX Stations once we have the network running.  For Phase
 1, we will simply put it on a UA server and make it publicly available (and cross-referenced by the database we are developing with NSF funding). It’s the longer term plan (Phase 2 and beyond) that is tricky. Many options have been floated: Zenodo, Madrigal,
 Grafana, Dropbox, OpenScienceDataCloud, Amazon Web Services, Microsoft Azure, Box, etc. Each one has its pro and con, as well as a chorus of supporters and detractors. A complicating factor on that is that we’d hope to be able to enable some Big Data analysis
 approach; not to mention that many of these solutions will get quite expensive at scale; which is OK
<i>as long as we have funding</i>… but this is part of the equation. As part of the current project (albeit in year 2022), we plan to evaluate the issues and make some recommendations (in what might become a Phase 2 NSF proposal if all goes well).
<b>We are most interested to hear everyone’s thoughts on this </b>as we go forward; still, one thing we don’t want to do is end up with a “horse-designed-by-a-committee” (i.e., a camel) result. (Also, based on past experience, some neat new solution could become
 available in the next 2 to 3 years that would be even better than current options.)<u></u><u></u></li></ul>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">-73- Bill AB4EJ<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal"><b>From:</b> TangerineSDR <<a href="mailto:tangerinesdr-bounces@lists.tapr.org" target="_blank">tangerinesdr-bounces@lists.tapr.org</a>>
<b>On Behalf Of </b>Phil Erickson via TangerineSDR<br>
<b>Sent:</b> Wednesday, April 1, 2020 10:50 AM<br>
<b>To:</b> TAPR TangerineSDR Modular Software Defined Radio <<a href="mailto:tangerinesdr@lists.tapr.org" target="_blank">tangerinesdr@lists.tapr.org</a>><br>
<b>Cc:</b> Phil Erickson <<a href="mailto:phil.erickson@gmail.com" target="_blank">phil.erickson@gmail.com</a>>; Stephen Roland Kaeppler <<a href="mailto:skaeppl@clemson.edu" target="_blank">skaeppl@clemson.edu</a>><br>
<b>Subject:</b> Re: [TangerineSDR] IGRF Python Package<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal">Hi all,<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">  I strongly recommend that this project<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">a) use revision control<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">b) host its own SVN / git / etc. server<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">  Relying on things like GitHub is not safe in the long term, because corporate decisions can change abruptly on what is offered free to the community and what is not.  Also, many of the "free" services make absolutely no guarantees about
 where any of the data is backed up, what the backup schedule is, etc.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">  I relate these pieces of advice from painful experience at MIT Haystack.  Our group believed Dropbox when they rolled out a storage plan with very large upper bound limits for MIT.  A couple years ago, they abruptly cancelled that policy
 and assigned a very large per year fee for the storage we had been using.  I'm still trying to figure out how to extract 100s of TB of data from them, and some of it may be lost for good.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">73<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Phil W1PJE<u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Wed, Apr 1, 2020 at 11:45 AM Tom McDermott via TangerineSDR <<a href="mailto:tangerinesdr@lists.tapr.org" target="_blank">tangerinesdr@lists.tapr.org</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border-style:none none none solid;border-left-width:1pt;border-left-color:rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal">Hi Steve - thanks for the offer !<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">This brings up a general question:  should TangerineSDR / PSWS host this kind of software someplace?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">One could imagine that over time there may be an increasing number of software utilities and packages of<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">interest to the group, it would be nice to have them accessible through one link or portal (ideally with revision control ! ).<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Is this something the group should consider?  If so, is github the right solution?, a page of links?, something else?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">-- Tom, N5EG<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Wed, Apr 1, 2020 at 5:57 AM Stephen Roland Kaeppler via TangerineSDR <<a href="mailto:tangerinesdr@lists.tapr.org" target="_blank">tangerinesdr@lists.tapr.org</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border-style:none none none solid;border-left-width:1pt;border-left-color:rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<p class="MsoNormal">Hi All-<br>
<br>
I will add a comment if it is of interest, that I wrote some code a while back in python that directly calculates the magnetic field using the IGRF coefficients and derivatives (useful in a ray tracer).  If you guys want that, I could package it up and send
 it over to anyone interested.  <br>
<br>
Thanks,<br>
Steve<br>
<br>
------------------------------------------------------------<br>
Stephen R. Kaeppler, Ph.D.<br>
Assistant Professor<br>
Department of Physics and Astronomy<br>
Clemson University<br>
Clemson, SC 29634<br>
Email: <a href="mailto:skaeppl@clemson.edu" target="_blank">skaeppl@clemson.edu</a><br>
Phone: 864-656-4275<br>
Web: <a href="http://science.clemson.edu/kaeppler/" target="_blank">http://science.clemson.edu/kaeppler/</a><br>
Amateur Radio Callsign: AD0AE<br>
------------------------------------------------------------<br>
<br>
<br>
-- <br>
TangerineSDR mailing list<br>
<a href="mailto:TangerineSDR@lists.tapr.org" target="_blank">TangerineSDR@lists.tapr.org</a><br>
<a href="http://lists.tapr.org/mailman/listinfo/tangerinesdr_lists.tapr.org" target="_blank">http://lists.tapr.org/mailman/listinfo/tangerinesdr_lists.tapr.org</a><u></u><u></u></p>
</blockquote>
</div>
<p class="MsoNormal">-- <br>
TangerineSDR mailing list<br>
<a href="mailto:TangerineSDR@lists.tapr.org" target="_blank">TangerineSDR@lists.tapr.org</a><br>
<a href="http://lists.tapr.org/mailman/listinfo/tangerinesdr_lists.tapr.org" target="_blank">http://lists.tapr.org/mailman/listinfo/tangerinesdr_lists.tapr.org</a><u></u><u></u></p>
</blockquote>
</div>
<p class="MsoNormal"><br clear="all">
<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<p class="MsoNormal">-- <u></u><u></u></p>
<div>
<p class="MsoNormal">----<br>
Phil Erickson<br>
<a href="mailto:phil.erickson@gmail.com" target="_blank">phil.erickson@gmail.com</a><u></u><u></u></p>
</div>
</div>
</div>

-- <br>
TangerineSDR mailing list<br>
<a href="mailto:TangerineSDR@lists.tapr.org" target="_blank">TangerineSDR@lists.tapr.org</a><br>
<a href="http://lists.tapr.org/mailman/listinfo/tangerinesdr_lists.tapr.org" rel="noreferrer" target="_blank">http://lists.tapr.org/mailman/listinfo/tangerinesdr_lists.tapr.org</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr">----<br>Phil Erickson<br><a href="mailto:phil.erickson@gmail.com" target="_blank">phil.erickson@gmail.com</a><br></div>
-- <br>
TangerineSDR mailing list<br>
<a href="mailto:TangerineSDR@lists.tapr.org" target="_blank">TangerineSDR@lists.tapr.org</a><br>
<a href="http://lists.tapr.org/mailman/listinfo/tangerinesdr_lists.tapr.org" rel="noreferrer" target="_blank">http://lists.tapr.org/mailman/listinfo/tangerinesdr_lists.tapr.org</a><br>
</blockquote></div><br clear="all"><br>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr">Gerry Creager<div>NSSL/CIMMS</div><div>405.325.6371</div><div>++++++++++++++++++++++</div><div><div><i>The way to get started is to quit talking and begin doing.</i></div><i>   Walt Disney</i></div></div></div></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature">----<br>Phil Erickson<br><a href="mailto:phil.erickson@gmail.com" target="_blank">phil.erickson@gmail.com</a><br></div>