<div dir="ltr"><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Dec 17, 2019 at 10:41 AM robert bristow-johnson <<a href="mailto:rbj@audioimagination.com">rbj@audioimagination.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">1. Welcome to the EM list.<br></blockquote><div><br></div><div>Thanks! </div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
2. Although there is a relationship, the issues of Voting Methods (ballot type, FPTP, IRV, Condorcet, Score, Approval...) and Voting Security are not the same.  The only immediate connection between the two issues is that of precinct summability.  FPTP and Condorcet methods are both precinct summable, IRV is not unless you want to count all of the possible ways a ranked ballot can be marked and that is a very large number.<br></blockquote><div> </div><div dir="ltr">Another relationship relates to the question of how to perform a risk-limiting audit: how many paper ballots to audit against the published results, what to do about discrepancies (which do indeed happen), and how to decide when enough sampling and comparison has been done, that the risk of an incorrect outcome has been sufficiently minimized. Different tally methods require different statistical calculations.  This may not be the list to discuss such things on, but knowing where to go for the answers and who is doing the research do seem relevant, thus my message.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
3. I took a look at the papers you reference and the only real Electrical Engineering aspect of this (one of the papers is IEEE) in my opinion (as an electrical engineer) is that of secure communications.  All that is important, but the auditing thing is just that, recounting ballots.  We do this routinely when the election is close or there is some other funny business.  To that, the only engineering solution, in my opinion are optical scan paper ballots, where the candidate name is on the physical instrument storing the vote (not those punch card butterfly ballots) so that the voter and the auditor see exactly the same ballot and there is no way a voter can think he/she voted for A but the physical instrument appears that he/she voted for someone else.  (If those punch cards were misaligned, you might end up voting for whom you hate the most.)  Regarding secure communications, having total transparency regarding all procedures, including the code use to scan and tabulate ballots, is the key.  It should be public domain and accessible by anyone.<br></blockquote><div><br></div><div>I'm computer scientist and security consultant. The communications issues are indeed important, but so are other aspects.</div><div><br></div><div>I doubt it's appropriate to go in to a lot of depth here, but there are indeed other reasons voting systems occasionally interpret and/or tabulate ballots differently than a human would. Humans sometimes circle boxes instead of filling them in, and some state laws require that those be counted as votes. Distinguishing a "hesitation mark" or bit of toner from a marked oval require human eyes. Devices are sometimes configured with the wrong descriptions of the ballot, as happened just last month in Northampton County, PA, causing a huge discrepancy. And even humans sometimes differ on how to interpret a ballot. I've seen them.</div><div><br></div><div>Being able to deal with those discrepancies is one of the more challenging aspects of the math behind RLAs. I'm working with Dr Vora at George Washington University on an NSF grant to improve the efficiency of RLAs, a field in which I've worked for nearly two decades, and been invited to testify to a National Academies committee on. You can read their report online at <a href="https://www.nap.edu/catalog/25120/securing-the-vote-protecting-american-democracy">https://www.nap.edu/catalog/25120/securing-the-vote-protecting-american-democracy</a></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
I was talking with Jim Condos, the Vermont Secretary of State, about this and he said that there is a technology that will digitally photograph each ballot so that if it looks poorly marked, the system can flag a team of election officials, who can immediately pull up the ballot image and look and judge for themselves what the voter intent was.<br></blockquote><div><br></div><div>That can help a lot. But there are a variety of ways that images can be unreliable, as demonstrated e.g. at UnclearBallot:
Automated Ballot Image Manipulation - <a href="https://mbernhard.com/papers/unclearballot.pdf">https://mbernhard.com/papers/unclearballot.pdf</a> </div><div>So it is important under many circumstances to look at the paper ballot rather than the image.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
One thing is, that if the election is in the U.S., the ballot must not, in any manner, be traceable to the identity of the voter who marked it.  If the ballots have serial numbers, those must not be associated with the voter.  That is different from the U.K. and some other democracies.<br></blockquote><div><br></div><div dir="ltr"><div>I dearly wish that was true everywhere in the US, but sadly in a number of states, including North Carolina and Indiana, paperless voting machines allow election officials to connect voted ballots with the voter until after the election day deadline to vote. They do so for the same reason that they do so in the UK: e.g. an early ballot is invalid if the voter dies before election day, and state law says it must not be counted in the tally.</div></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
4. That said, I don't see what the big deal is.  If you have paper ballots *and* a manual recount is done, there is a way to do IRV manually with piles of ballots.  But it's laborious.  The issue of election security really is unrelated to the issue of whether the Condorcet candidate is elected or not.  Whether a particular IRV election will or will not elect the Condorcet winner is independent of security, redundancy, and auditing issues.  It's only a voting method issue.<br></blockquote><div><br></div><div>Yes, I agree, from the standpoint of the security of the official results of the election. And as I pointed out, there are new ways to audit the results to within a specified statistical risk without a full hand count.</div><div><br></div><div>I was just also pointing out that some of us, like the message from Rob that I responded to, do care about other ways tabulating the ballots, and actually run the ballots thru our own tabulation software. That's what caught the attention of folks in Burlington: a different tally method that pointed out the Condorcet winner was different. And when I combine that with the RLA techniques, I find it interesting (but not formally relevant to the official outcome) to understand how close the tally was to other outcomes via various methods.</div><div><br></div><div>And in general, as we design voting methods, we should consider how to efficiently audit them.  Colorado law requires a risk-limiting audit of many contests, and the research and software I pointed out make that much easier to do now.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
5. I am skeptical of the "computers make mistakes" notion. Do you mean a hardware crash?  Because a numerical error with integer arithmetic is not really possible</blockquote><div><br></div><div> I mean software bugs, hardware bugs, errors in specifying tally methods (e.g. as I recall, an analysis of the IRV software in Ireland vs the Irish tally law found that the software didn't perfectly implement the law), security vulnerabilities that allow adversaries to change the results, etc. And when you drill down far enough, cosmic rays can cause memory errors, etc. but we don't need to go that far to know we have problems to solve.</div><div><br></div><div>Cheers,</div><div>Neal</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
r b-j<br>
<br>
> On December 17, 2019 11:07 AM Neal McBurnett <<a href="mailto:neal@bcn.boulder.co.us" target="_blank">neal@bcn.boulder.co.us</a>> wrote:<br>
> <br>
>  <br>
> I just joined the list (after a few decades of activity with election methods and auditing). Thanks for the fascinating discussion.  This stuff is even more complicated than I knew.<br>
> <br>
> Let me note one more complication though.  The interpretations by the voting system of the votes ("cast vote records" or CVRs) might<br>
> be wrong, and IRV is famously vulnerable to interpretation errors at each round of tallying.<br>
> Even figuring out how sensitive the outcome of a particular contest is to discrepancies between<br>
> the paper ballots and the CVRs is a challenging computation.<br>
> <br>
> Thankfully, I can also pass on some news of progress in the field: the new RAIRE / SHANGRLA method of auditing IRV elections, which was piloted in the November 2019 election in San Francisco.  Armed with these techniques (and associated open-source code) we should be able to figure out how much error we could tolerate before an IRV tally might end up with a non-Condorcet winner, even though the tally of the official CVRs did pick a Condorcet winner.<br>
> <br>
> And thus there's also more work to be done for any given election method to figure out how to audit it and limit the risk that the outcome is actually incorrect.<br>
> <br>
> Background:<br>
> <br>
> When we declare that a particular election resulted in a particular outcome according<br>
> to a particular algorithm, we are of course trusting that the election system interpreted the human input<br>
> with perfect accuracy and fidelity.  But of course we all know that computers make mistakes and are<br>
> vulnerable to hacking.<br>
> <br>
> Ron Rivest and John Wack invented the concept of Software Independence to deal with that concern.<br>
> <br>
>  Software Independence (Wack and Rivest)<br>
>   <a href="http://people.csail.mit.edu/rivest/RivestWack-OnTheNotionOfSoftwareIndependenceInVotingSystems.pdf" rel="noreferrer" target="_blank">http://people.csail.mit.edu/rivest/RivestWack-OnTheNotionOfSoftwareIndependenceInVotingSystems.pdf</a><br>
> <br>
> The field of Evidence-Based Elections presents a general framework for how to gather evidence to check<br>
> the outcome (set of winners) of a particular contest via software-independent evidence.<br>
> <br>
>  Evidence-Based Elections  -  P.B. Stark and D.A. Wagner<br>
>   IEEE Security and Privacy, Special Issue on Electronic Voting, 2012.<br>
>   <a href="http://statistics.berkeley.edu/~stark/Preprints/evidenceVote12.pdf" rel="noreferrer" target="_blank">http://statistics.berkeley.edu/~stark/Preprints/evidenceVote12.pdf</a><br>
> <br>
> Evidence-Based Elections employ Risk-Limiting Audits (RLAs) to sample some ballots, compare the paper with the electronic records, and limit the risk of declaring the wrong outcome.  In Colorado, we've pioneered and pushed forward the state of the art in RLAs as I describe here:<br>
> <br>
>  <a href="https://bcn.boulder.co.us/~neal/elections/corla/" rel="noreferrer" target="_blank">https://bcn.boulder.co.us/~neal/elections/corla/</a><br>
> <br>
> But defining RLAs for IRV has been a challenge for many years. Now a better method is available:<br>
> <br>
>  RAIRE: Risk-Limiting Audits for IRV Elections - Michelle Blom · Peter J. Stuckey · Vanessa J. Teague<br>
>   <a href="https://arxiv.org/pdf/1903.08804.pdf" rel="noreferrer" target="_blank">https://arxiv.org/pdf/1903.08804.pdf</a><br>
> <br>
> It can be used with the new more general RLA approach described in SHANGRLA:<br>
> <br>
>  SHANGRLA: Sets of Half-Average Nulls Generate Risk-Limiting Audits: tools for assertion-based risk-limiting election audits<br>
>   <a href="https://github.com/pbstark/SHANGRLA" rel="noreferrer" target="_blank">https://github.com/pbstark/SHANGRLA</a><br>
> <br>
> Which brings me to the post that prompted this post:<br>
> <br>
> On Mon, Dec 16, 2019 at 11:12:24PM -0800, Rob Lanphier wrote:<br>
> > On Sat, Dec 14, 2019 at 7:21 AM robert bristow-johnson<br>
> > <<a href="mailto:rbj@audioimagination.com" target="_blank">rbj@audioimagination.com</a>> wrote:<br>
> > > >  So BTR-STV seems like a<br>
> > > > fine compromise, since IRV has failed to pick the Condorcet winner in<br>
> > > > at least one recent public election.<br>
> > ><br>
> > > yes, and i am trying to remind the Progs of that.  but they are not listening.<br>
> > <br>
> > *sigh*.  Yeah, sounds tough.  We had a close mayoral election here in<br>
> > San Francisco in 2018.  Given how close it was, I was really terrified<br>
> > that we'd end up with an election like Burlington 2009.  Thankfully,<br>
> > the IRV elimination order didn't threaten to eliminate the Condorcet<br>
> > winner.  The closeness of the race was between two candidates who<br>
> > probably would have been the final two candidates in a BTR-IRV tally<br>
> > (though the third place candidate wasn't far behind either of the<br>
> > frontrunners).  Given the closeness bitterness of the race, it would<br>
> > have been an electoral reform disaster if any of the top three<br>
> > candidates had lost the way that Andy Montroll did in Burlington (as<br>
> > the Condorcet winner and IRV loser).<br>
> > <br>
> > Rob<br>
> <br>
> Re the 2018 San Francisco mayoral election that Rob alludes to, we can of course use RAIRE / SHANGRLA to audit the winner.<br>
> But he's also interested in whether the winner was a Condorcet winner. Related auditing techniques should be<br>
> able to calculate the minimum number of vote discrepancies that would have resulted in a different Condorcet winner.<br>
> But I don't know of anyone looking at that problem right now.<br>
> <br>
> In general, if we want similar confidence in outcomes for other tally methods, we'll need to come up with RLA methods for them.<br>
> For many of the ranked-choice methods, RAIRE is probably a good model, and it might even provide insights in to other<br>
> aspects of voting methods.<br>
> <br>
> Cheers,<br>
> <br>
> Neal McBurnett                 <a href="http://neal.mcburnett.org/" rel="noreferrer" target="_blank">http://neal.mcburnett.org/</a><br>
<br>
--<br>
<br>
r b-j                  <a href="mailto:rbj@audioimagination.com" target="_blank">rbj@audioimagination.com</a><br>
<br>
"Imagination is more important than knowledge."<br>
----<br>
Election-Methods mailing list - see <a href="https://electorama.com/em" rel="noreferrer" target="_blank">https://electorama.com/em</a> for list info<br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature">Neal McBurnett                 <a href="http://neal.mcburnett.org/" target="_blank">http://neal.mcburnett.org/</a><br></div></div>