Your instinct is to go where the most of the crowd alighting from the train goes. Success! But, does this truth discovery strategy always works? We seem to be very fond of it, not only at train stations, but also when we chose governments.

Democracy comes from the greek word Demokratia meaning “rule of the commoners”. Implicitly we equate democracy with fairness and justice, as we interpret the “rule of the commoners” to be the most common individual choice. This idea, that what is commonly held to be true is most likely to be true, is not scientifically unfounded, but terms and conditions apply.

Should you look for the truth by seeing what are the commonly shared links to articles reporting judgements on the implications of an event among your Facebook friends? We might be able to find the answer in a small but influential work known as the Condorcet’s Jury Theorem.

Condorcet’s jury theorem, terms and conditions

Marquis de Condorcet was a French philosopher and mathematician of the late 18th century who worked in political science. He was a contemporary and friend of Leonhard Euler and Benjamin Franklin, an abolitionist, early defender of human rights and equal rights for women and people of colour. Condorcet is one of the first people to apply mathematics in social sciences. He is best known from his work related to majority voting. Majority voting, or the majority rule is a collective decision method that selects the choice that has the majority of votes. Although intuitively simple, in the presence of more than two choices, or an even number of voters, it can be operationalized by different mathematical functions. Condorcet’s Essay on the Application of Analysis to the Probability of Majority Decisions yielded two results that we are still discussion and using today — the Condorcet majority voting method and the Condorcet Jury Theorem.

A filter bubble: the state created for a web user when a personalised search algorithm guesses which information the user would like to see. (Image: Håvard Legreid/Vox Publica)

In his Jury Theorem, Condorcet identifies how good majority voting is at discovering the true answer to a yes-or-no question. Let us say there is an unknown fact about the world, such as for example whether the weather will be nice tomorrow, or is there intelligent life in the universe outside of the Solar System. The truth of these facts exist, but it is not available to us, or it is not available to us at present, for various reasons. Condorcet proved that if we were to ask sufficiently many people for an answer of a binary question, to make a judgement on yes the weather will be nice tomorrow, or no, it will not be nice, then the answer given by the majority of the people has the highest probability of being the true answer. Further, the more people we ask, the higher the probability that the majority will “find” the truth. However, it is only under certain conditions that this theorem holds and these are rather strict conditions.

The first, implicit condition is that we are looking to establish the truth about one question, not several questions at the same time that might relate to each other. The second, rather obvious condition is that our question should be such, called value judgement in the literature (see Rabinowicz 2016), that it admits a true answer exists. Not all questions admit value judgements as answers; some are questions of preference. When you and I consider whether we would like to eat salad or pasta for dinner, that is a question of preference. I may prefer the salad, while you prefer the pasta and none of us is wrong. If, however, we were discussing which of these dishes is better for our health, then we would be making a value judgement. If I believe salad is better health-wise, and you believe pasta is better, then one of us must be wrong. There is no logical inconsistency in knowing that salad is better for my health but still preferring to eat pasta. Since there is no truth when considering preferences, no truth can be found.

Nicolas de Condorcet (1743–94) can still teach us important things. The portrait hangs in Versailles palace. (photo: Wikimedia Commons)

The third condition necessary for the Condorcet’s theorem to hold is that the sources of the value judgements must be experts. Fortunately, the definition of what constitutes an expert is rather loose in mathematics and economy. An expert is defined to be a person who can guess better than a coin toss, or formally, an expert is a person who has higher than 50% probability of giving the correct answer to a yes-or-no question. This means that if I am trying to decide whether to go left or right, and toss a coin one hundred times, even if 80 of those tosses end up saying to go left, going left is not guaranteed to be the right decision. In this case, when the reliability of the sources is less than 50%, rather than taking the majority decision, it is better to pick randomly one of the sources and hear their decision.

The fourth, and most strict condition for applying Condorcet’s jury theorem is that of statistical independence among the sources. Two sources are statistically independent if the binary (yes or no) answer from one of the sources does not affect the probability with which the second source would answer yes (or no) to the same question. Intuitively, independence requires that the sources do not confer with each other, are not swayed by some influential opinion leader, do not have the same or similar experience or training and do not share common information (see Ladha 1995).

The condition of source independence is very strict, but it was satisfied by the crowd of people alighting from the train with you. The people in this crowd were virtual strangers to each other and did not coordinate when making their decision. They also have independently learned where the exit is, by taking that train often, or having spotted an exit sign which you have not. The train crowd thus effectively behaves as independent sources of information. They are also experts, at least most of them, knowing where the exit is.

Social media and the independence of input

When it comes to your Facebook friends sharing links to articles, the independence condition is by design not satisfied.

Quite obviously your friends are people who influence each other’s opinions by virtue of being in a social network with each-other. These are often also people that share similar experiences and background. These correlations necessarily exist between their judgements and influence how opinions and views are formed among friends. This is something to which we as a society are slowly becoming aware.

The concept that slowly permeates our e‑lives is filter bubble.

A filter bubble is the state created for a web user when a personalised search algorithm guesses which information the user would like to see. As a result the user becomes separated from information that does not support her or his viewpoint. Filter bubbles can cause a user to be unaware even of widespread relevant information.

Perhaps if you should not look to your friends for the truth, you can look to strangers on the Internet. Whether the digital crowd of strangers will point to the truth depends on how they discover new content which they can later share, like or abhor.

To be sure that the majority of considered judgements point you towards the truth, you must make sure their sources do not talk to each other and take their information from different independent sources. Let us assume that news reported on the web truly are original articles rather than opinions and summaries of a handful of news reports.

The tools that preselect your Web

The Internet has accomplished an unprecedented connectivity among people. It has also given voice and opportunity to be heard and seen to many. In that sea of infinite content choice which we cannot cognitively process as a whole, how do we find what we would most likely want to consume? This is done by recommender systems.

A recommender system is software that predicts how likely it is that an item is the item you are looking for. Depending on the context where it is deployed, this means how adequate the query response is to answer your question or how likely you are to like a new product, content or service. Recommender systems are a very important tool for content discovery and, among else, the reason why we today have highly efficient search engines.

One of the first and most famous recommender systems is PageRank. PageRank is an algorithm used by the Google search engine to rank the query responses in order of relevance. It is named by Larry Page, one of the founders of Google. PageRank determines the importance of a website by counting how many websites link to it. The underlying assumption is that the more relevant a web-page is, the more web-pages link to it. The intuition behind this assumption actually comes from academia: the most relevant articles in a scientific discipline are those that have the most citations.

PageRank is an algorithm designed specifically for ranking web-pages with respect to relevance. For predicting how much you would like an item unknown to you, typically the methods of collaborative filtering are used. To decide whether you will be interested in an item, two types of information are taken into consideration. The first is, how much did you like similar items, and the second is how much customers most similar to you liked the item in question. The assumption here is that you are most likely to like what your friends and peers like.

Recommender systems and majority voting

What is perhaps not so obvious is that recommender systems, in particular PageRank and collaborative filtering have at its core majority-voting. Perhaps we overlook this because we think of voting as the once-in-four-years serious affair when we go to the polls and elect government. On the Internet we “vote” constantly by constantly choosing one from a selection of alternatives: the most promising link to give us what we are looking for, the cutest video, the most intriguing news article. But that top of the list of choices that are offered to us and we actually choose from is also determined by the choices of the strangers that are most like us on the Internet. The independent “vote” is not a reality on-line. But is this a problem for finding the truth?

Illustration: Moshanin/Wikimedia Commonscba

Example of the collaborative filtering process.

The independence condition of Condorcet’s jury theorem is very strong and difficult to satisfy in practice even off-line. Krishna Ladha, among others, explored how much correlation there can exist between voters before Condorcet’s theorem stops holding. His conclusion is that the effectiveness of majority-rule voting decreases as the correlation between voters increase. This means that the more your friends are like you, the less their aggregated judgements would be likely to point to the truth. Ladha also shows that the probability that the majority of correlated votes is the truth depends on the number of votes. Large groups are relatively robust and tolerate higher correlation coefficient averages. This means that the more history, experiences and information sources you share with your friends, the larger group of friends you need in order for their majority supported judgement to point towards the truth. The majority in a small groups of very close friends is probabilistically unlikely to find the true answer to a binary question.

Luckily there are many strangers on the Internet. This is the observation that Masterton, Olsson and Angere make. They saw the shadows of Condorcet’s Jury Theorem in PageRank: the probability that a web-page is relevant increases with the number of “votes” it receives from other web-pages. Masterton, Olsson and Angere explored how good is PageRank at finding the true answer to a query? Their answer: pretty good. More precisely, they show that PageRank has epistemological justification for link-based ranking on the web. Of course, their empirical analysis makes certain assumptions on the independence of web-pages.

How collaborative filtering contributes towards transforming the choices of the majority into the truth is an unexplored question, but one we must take seriously. Majority-voting is a very intuitive and simple way to implement democracy and it is at the core of many election procedures in the world. If a group preference is needed, the preference of the majority ensures that as few people as possible are unhappy with the group’s choice. Condorcet gave further legitimacy to majority-voting by showing that it is also good at pointing to the truth, something that we are intuitively aware of when finding ourselves on train platforms in new cities. But there are limits to the the truth-tracking powers of the majority-vote and this is also something we must be aware of.

On-line, as in real life, our instincts are to trust the views of the many, but are the many views we see truly different? Perhaps they are just carefully selected by an algorithm to reflect what the algorithm calculated that we want to see. Knowing this, perhaps we can take a helping hint from the jury theorems, the work of Condorcet and others that followed, and do better.

Literature

Włodek Rabinowicz (2016). Aggregation of Value Judgments Differs from Aggregation of Preferences. 10.1163/9789004312654_003

Krishna K. Ladha (1995). Information pooling through majority-rule voting: Condorcet’s jury theorem with correlated votes. Doi: http://dx.doi.org/10.1016/0167–2681(94)00068‑P

George Masterton, Erik J. Olsson and Staffan Angere (2016). Linking as voting: how the Condorcet jury theorem in political science is relevant to webometrics. Doi:10.1007/s11192-016‑1837‑1

Franz Dietrich and Kai Spiekermann (2016). Jury theorems. Working paper.

Frisk morgenluft møter deg når du stiger av nattoget og ut på perrongen på jernbanestasjonen. Det er første gang du er der, og du er litt desorientert. I hvilken retning ligger utgangen? Instinktet ditt er å ta samme vei som flesteparten av folkene som forlater toget sammen med deg. Suksess! Men virker denne strategien for å finne sannheten alltid like godt? Vi ser ut til å være veldig glad i den, ikke bare på jernbanestasjoner, men også når vi velger regjering.

Demokrati kommer fra det greske ordet Demokratia som betyr “styre ved folket”. Implisitt forbinder vi demokrati med ærlighet og rettferdighet. Vi tolker “styre ved folket” som å styre i tråd med det mest alminnelige individuelle valg. Denne ideen om at det som i alminnelighet regnes som sant, mest sannsynlig er sant, er ikke uten vitenskapelig basis, men bare hvis bestemte vilkår overholdes.

Bør du søke etter sannheten bak nyhetene ved å sjekke hvilke artikler med vurderinger av aktuelle hendelser som deles hyppigst av dine Facebook-venner? Vi kan komme nærmere et svar på dette i et lite, men innflytelsesrikt verk kjent som Condorcets juryteorem.

Condorcets juryteorem: Vilkår og betingelser

Marquis de Condorcet var en fransk filosof og matematiker som levde på det sene 1700-tallet; han var aktiv innen tidlig statsvitenskap. Condorcet levde på samme tid som, og var venn med, Leonhard Euler og Benjamin Franklin, han var abolisjonist (motstander av slaveriet) og en tidlig forsvarer av menneskerettigheter og like rettigheter for kvinner og fargede.

Condorcet var en av de første til å ta i bruk matematikk i samfunnsvitenskapene. Han er mest kjent for sitt arbeid knyttet til flertallsbeslutninger eller ‑votering.

Flertallsvotering, eller flertallsstyre (majority rule), er en kollektiv beslutningsmetode som velger ut det alternativet som får et flertall av stemmene. Prinsippet er intuitivt enkelt, men det kan operasjonaliseres med ulike matematiske funksjoner hvis det er mer enn to alternativer å velge blant eller et likt antall personer kan stemme. Condorcets Essay on the Application of Analysis to the Probability of Majority Decisions ga to resultater som vi fortsatt diskuterer og bruker i dag – Condorcets metode for flertallsbeslutninger og Condorcets juryteorem.

I sitt juryteorem identifiserer Condorcet hvor godt egnet flertallsbeslutningen er til å finne frem til det riktige — sanne — svaret på et ja-nei-spørsmål. La oss si at det dreier seg om et ukjent faktum om verden, som for eksempel om været vil bli fint i morgen, eller om det finnes intelligent liv i universet utenfor vårt solsystem. Sannheten om disse faktaene finnes, men er av ulike årsaker ikke tilgjengelig for oss, eller for øyeblikket ikke tilgjengelig.

Condorcet beviste at hvis vi spør et tilstrekkelig stort antall mennesker et binært spørsmål — hvis vi ber dem si at ja, været blir fint i morgen, eller nei, det blir ikke fint – da er det svaret som gis av flertallet som har høyest sannsynlighet for å være riktig. Videre er det slik at jo flere vi spør, jo større er sannsynligheten for at flertallet vil “finne” sannheten.

Imidlertid er det bare når visse betingelser er oppfylt at teoremet gjelder. Og disse betingelsene er temmelig strenge.

Den første, implisitte betingelsen er at vi forsøker å komme frem til sannheten om ett spørsmål, ikke flere spørsmål samtidig som kanskje er relatert til hverandre.

Den andre, temmelig opplagte betingelsen er at spørsmålet vårt må være slik (kalt verdidom i litteraturen, se Rabinowicz 2016) at det forutsetter at det finnes et sant svar. Ikke alle spørsmål godtar verdidommer som svar; noen spørsmål gjelder preferanser. Hvis du og jeg vurderer om vi har lyst til å spise salat eller pasta til middag, er det et spørsmål om preferanse. Jeg foretrekker kanskje salat, du foretrekker pasta, og ingen av oss tar feil. Men hvis vi diskuterer hvilken av disse rettene som er best for helsen, ville vi felle en verdidom. Hvis jeg mener at salat er sunnere, og du mener pasta, da må en av oss ta feil. Det er ikke logisk inkonsistent hvis jeg vet at salat er bedre for helsen, men likevel foretrekker å spise pasta. Siden det ikke eksisterer en sannhet når en vurderer preferanser, kan ingen sannhet finnes.

Nicolas de Condorcet (1743–94) — fortsatt aktuell. Bildet henger i slottet i Versailles. (foto: Wikimedia Commons)

Den tredje betingelsen som må være oppfylt for at Condorcets teorem skal gjelde, er at kildene til verdidommene må være eksperter. Heldigvis er definisjonen av ekspert temmelig løs i matematikk og økonomi. En ekspert defineres som en person som kan gjette bedre enn et myntkast. Eller formelt: En ekspert er en person som har en høyere sannsynlighet enn 50 prosent for å gi et riktig svar på et ja-nei-spørsmål. Hvis jeg prøver å bestemme meg for om jeg skal gå til venstre eller høyre, og kaster en mynt 100 ganger, er det ikke garantert at det er riktig å gå til venstre selv om 80 av myntkastene gir dette svaret. I dette tilfellet, hvis påliteligheten til kildene er mindre enn 50 prosent, er det bedre å velge en tilfeldig kilde og spørre om vedkommendes avgjørelse, enn å stole på flertallsbeslutningen.

Den fjerde og strengeste betingelsen for å bruke Condorcets juryteorem, gjelder den statistiske uavhengigheten mellom kildene. To kilder er statistisk uavhengig av hverandre hvis det binære svaret (ja eller nei) fra en av kildene ikke påvirker sannsynligheten for om den andre kilden ville svare ja (eller nei) på det samme spørsmålet. Intuitivt krever uavhengighet at kildene ikke drøfter saken med hverandre, ikke blir påvirket av en innflytelsesrik opinionsleder, ikke har samme eller lignende erfaring eller opplæring, og ikke deler samme informasjon (se Ladha 1995).

Betingelsen om kildenes uavhengighet er veldig strikt, men den ble oppfylt av folkemengden som forlot toget sammen med deg. Menneskene i mengden kjente hverandre ikke og koordinerte ikke beslutningen med hverandre. De har også lært uavhengig av hverandre hvor utgangen er, siden de har tatt toget ofte, eller har sett et skilt til utgangen som du ikke fikk med deg. Folkemengden på toget oppfører seg dermed som uavhengige informasjonskilder. De er også eksperter, i hvert fall de fleste av dem, siden de vet hvor utgangen er.

Sosiale medier og kildematerialets uavhengighet

Når det gjelder dine Facebook-venners deling av lenker til artikler, er betingelsen om uavhengighet ikke oppfylt – og dette henger sammen med hvordan Facebook fungerer.

Det er åpenbart at dine venner er folk som påvirker hverandres meninger i kraft av å delta sammen i et sosialt nettverk. Dette er også ofte folk som deler lignende erfaringer og bakgrunn. Disse korrelasjonene (samvariasjonen) eksisterer nødvendigvis mellom vurderingene deres, og påvirker hvordan meninger og synspunkter formes mellom venner. Dette er noe vi som samfunn sakte er i ferd med å bli klar over.

Konseptet som langsomt trenger inn i vårt digitale liv er filterboblen.

En filterboble er en tilstand som blir skapt for en nettbruker når en personalisert søkealgoritme gjetter hva slags informasjon brukeren ønsker å se. Som resultat av dette blir ikke brukeren eksponert for informasjon som ikke støtter hans eller hennes synspunkt.

Filterbobler kan føre til at en bruker til og med har gått glipp av relevant informasjon som ellers er velkjent i samfunnet.

Hvis du ikke burde høre på vennene dine for å finne sannheten, burde du kanskje heller sjekke hva folk på nettet som du ikke kjenner sier. Hvorvidt den digitale folkemengden av fremmede vil føre deg mot sannheten, avhenger av hvordan de finner nytt innhold som de senere kan dele, like eller avsky.

For å være sikker på at majoriteten av vurderinger hjelper deg med å finne sannheten, må du være sikker på at kildene de fremmede har brukt ikke snakker med hverandre og at de får informasjon fra ulike uavhengige kilder. La oss her anta at nyhetene som rapporteres på nett virkelig er originale artikler heller enn bare meninger og sammenfatninger av en håndfull nyhetsmeldinger.

Verktøyene som velger ut nettinnhold for deg

Internettet har gjort det mulig for folk å kommunisere med hverandre i et større omfang enn noen gang før. Det har også gitt mange mulighet til å ytre seg og bli sett og hørt. Dette havet av uendelige mengder innhold kan vi umulig ha full oversikt over, så hvordan finner vi det innholdet som vi mest sannsynlig er interessert i? Denne jobben gjøres av anbefalingssystemer.

Et anbefalingssystem er programvare som forutsier hvor sannsynlig det er at en bestemt tekst (eller annet innhold) er teksten du er på jakt etter. Avhengig av konteksten systemet brukes i, betyr dette hvor dekkende svaret er på spørsmålet du har stilt eller hvor sannsynlig det er at du liker et nytt produkt, innhold eller tjeneste. Anbefalingssystemer er svært viktige verktøy for å oppdage innhold, og er bl.a. en av grunnene til at vi i dag har meget effektive søkemotorer.

Et av de første og mest berømte anbefalingssystemene er PageRank. PageRank er en algoritme brukt av Googles søkemotor til å rangere svar på søkeord etter relevans. Den er kalt opp etter Larry Page, en av gründerne bak Google. PageRank avgjør hvor viktig et nettsted er ved å telle hvor mange nettsteder som lenker til det. Den underliggende antakelsen er at jo mer relevant en nettside er, jo flere nettsider lenker til den. Intuisjonen bak denne antakelsen kommer for øvrig fra akademia: De mest relevante artiklene på et forskningsfelt er de som har flest siteringer i vitenskapelige tidsskrifter.

PageRank er utformet spesifikt for å rangere nettsider etter relevans. For å forutsi hvor godt du vil like innhold du ennå ikke kjenner, er det typisk metoder kalt sosial filtrering (collaborative filtering) som brukes. For å avgjøre om du vil være interessert i innholdet, tas to typer informasjon i betraktning. Det første er: Hvor godt likte du lignende innhold? Og det andre: Hvor godt likte brukere som ligner mest på deg dette innholdet? Antakelsen her er at du mest sannsynlig vil like det dine venner og folk som ligner deg liker.

Anbefalingssystemer og flertallsvotering

Noe som kanskje ikke er så opplagt, er at anbefalingssystemer, særlig PageRank og sosial filtrering, har flertallsvotering i sin kjerne.

Kanskje overser vi dette fordi vi tenker på votering — stemmegivning — som den seriøse handlingen vi foretar en gang hvert fjerde år når vi går til valglokalet og stemmer på partier og politikere. På Internett “stemmer” vi hele tiden ved stadig å velge ett av et utvalg alternativer: Den lenken som mest trolig gir oss det vi er ute etter; den søteste videoen; den mest spennende nyhetsartikkelen. Men hva som står øverst på listen av valg som vi blir tilbudt og faktisk velger fra er også bestemt av valgene til de fremmede menneskene som ligner mest på oss på Internett.

Illustration: Moshanin/Wikimedia Commonscba

Eksempel på hvordan sosial filtrering fungerer.

Uavhengig “stemmegivning” er ikke en realitet på nett. Men er dette et problem når det gjelder å finne frem til sannheten?

Uavhengighetsbetingelsen i Condorcets juryteorem er veldig streng og selv off-line vanskelig å oppfylle i praksis. Krishna Ladha og andre har undersøkt hvor stor korrelasjon det kan være mellom velgere før Condorcets teorem ikke lenger gjelder. Hans konklusjon er at effektiviteten ved flertallsvotering avtar etter hvert som korrelasjonen mellom velgere øker. Dette betyr at jo mer dine venner ligner deg, jo mindre vil summen av vurderingene de gjør peke mot sannheten.

Ladha viser også at sannsynligheten for at majoriteten av korrelerte stemmer gir riktig svar avhenger av antallet stemmer. Store grupper er relativt robuste og tåler høyere gjennomsnitt på korrelasjonskoeffisienten. Med andre ord, jo mer historie, erfaringer og informasjonskilder du deler med dine venner, jo større må gruppen av venner være for at flertallets vurdering av et spørsmål peker mot sannheten. Det er liten statistisk sannsynlighet for at flertallet i en liten gruppe av svært nære venner vil finne det riktige svaret på et binært spørsmål.

Heldigvis er det mange fremmede på Internett. Dette er observasjonen Masterton, Olsson og Angere gjorde. De så skyggen av Condorcets juryteorem i PageRank: Sannsynligheten for at en nettside er relevant øker med antallet “stemmer” den får fra andre nettsider. Masterton, Olsson og Angere undersøkte hvor god PageRank er til å finne det riktige svaret på et spørsmål. Deres svar: temmelig god. Mer presist, de viser at PageRanks lenke-baserte rangering av nettet kan forsvares vitenskapsteoretisk. Disse forskernes empiriske analyse bygger naturligvis på visse forutsetninger om uavhengigheten av nettsider.

Hvordan sosial filtrering bidrar til å gjøre om flertallets beslutninger til sannhet er et uutforsket spørsmål som vi må ta alvorlig. Flertallsvotering er en svært intuitiv og enkel måte å iverksette demokrati på, og det er i kjernen av mange valgsystemer rundt om i verden. Hvis man i en gruppe har behov for å velge et alternativ i en sak, sikrer flertallsvotering at så få mennesker som mulig er misfornøyd med gruppens valg. Condorcet ga flertallsvotering ytterligere legitimitet ved å vise at den også er en god metode for å vise vei til sannheten, noe vi forstår intuitivt når vi befinner oss på jernbanestasjonen i en ny by. Men det er grenser for flertallsvoteringens evne til å finne sannheten, og dette er noe vi må være klar over.

På nett som i det virkelige liv er instinktet vårt å stole på de manges oppfatning, men er de mange oppfatningene vi ser virkelig forskjellige? Kanskje er de bare omhyggelig utvalgt av en algoritme for å reflektere det algoritmen har regnet seg frem til at vi ønsker å se. Når vi vet dette, kan vi kanskje ta juryteoremene og arbeidet til Condorcet og hans etterfølgere til hjelp, og finne bedre løsninger.

Litteratur

Włodek Rabinowicz (2016). Aggregation of Value Judgments Differs from Aggregation of Preferences. 10.1163/9789004312654_003

Krishna K. Ladha (1995). Information pooling through majority-rule voting: Condorcet’s jury theorem with correlated votes. Doi: http://dx.doi.org/10.1016/0167–2681(94)00068‑P

George Masterton, Erik J. Olsson and Staffan Angere (2016). Linking as voting: how the Condorcet jury theorem in political science is relevant to webometrics. Doi:10.1007/s11192-016‑1837‑1

Franz Dietrich and Kai Spiekermann (2016). Jury theorems. Working paper.