[Google Assistant executive] Huffman suggested the machine could say something like, “I’m the Google assistant and I’m calling for a client.”

In un post del 16 agosto Grillo ripostò integralmente un mio commento che da una parte parlava della “gestione pessima ad oggi della cybersicurezza interna da parte del M5S” e dei rischi che essa portava al movimento ed al paese, e concludevo dicendo:

Come può l’M5S salvarsi da tale stillicidio e le sue conseguenze?

Segnare una svolta andando a promuovere un modificato programma di cybersecurity – sia per i sistemi interni che per i sistemi del paese – che siano davvero radicali e all’avanguardia mondiale, per restaurare la sovranità digitale dello stato, dei cittadini e degli iscritti al M5S.

Essendo tale piattaforma gestita senza i benchè minimi principi di trasparenza e controllo da parte degli iscritti, chi la controlla, gestisce e sviluppa ha l’enorme potere di scegliere le funzionalità, regole di discussione, interfaccia, policy di discussione, livelli di sicurezza, e potenzialmente accesso diretto a lettura e potenzialmente modifica dei dati.

E’ comprensibile che ci sia un controllo centrale di gestione della piattaforma ma – in democrazia e ancor più in democrazia diretta – chi le controlla dovrebbe essere anch’esso eleggibile – poichè ha un potere comparabile o maggiore di quello del segretario e del garante – e in più sottostare a regole e limiti – di trasparenza e responsabilità – definiti dagli elettori M5S e dagli iscritti alla piattaforma o da comitati da esso eletti.

Ho ritrovato lo statuto della associazione Telematics Freedom Foundation (copia sito del 2014), fondata nel 2008 da me, Arturo di Corinto e Vera Simsic per promuovere i medesimi obiettivi della Associazione Rousseau, a corredo del progetto della Lista Partecipata.

Esso prevedeva – cosa legale in Italia per associazione non riconosciuta – che il potere sull’associazione passi agli utenti del servizio telematico di deliberazione non appena essi superino un certo numero, nel nostro caso erano 10.000 unità.

Di seguito un estratto dal capitolo “5. Categorie di Associati” dello statuto di TFF approvato di tale associazione nel suo atto costitutivo (pdf) recita:

Gli associati vengono classificati in distinte categorie:

• Soci Fondatori: sono coloro che hanno partecipato alla costituzione dell’Associazione, di seguito elencati:
  • […]

• Soci Onorari: coloro che pur non avendo contribuito alla iniziale fondazione dell’Associazione, per la loro personalità, esperienza e capacità vengono cooptati a maggioranza dai soci fondatori a contribuire alla promozione dell’Associazione e dei suoi scopi;
• Soci Ordinari: coloro che da utenti attivi diventano soci come di seguito specificato;
• Utenti: Ogni persona maggiorenne, di qualsiasi nazionalità, iscritta ai servizi telematici gestiti dall’Associazione. E’ utente attivo del mese corrente l’utente che avrà espresso una preferenza o fornito informazioni, da remoto ed attivamente, almeno due volte nel corso di tale mese. L’associazione si impegna alla fine di ogni mese a verificare il numero di utenti attivi e, qualora tale numero superi le diecimila unità, dovrà invitare ogni utente a divenire socio. Se l’utente accetterà l’invito, diventerà automaticamente socio ordinario. Da tale momento, ogni nuovo utente che si iscriva ai servizi di cui sopra, sarà automaticamente invitato a diventare socio con le modalità sopra specificate. 

Gli iscritti del Movimento 5 Stelle che hanno a cuore la democrazia interna dovrebbero richiedere tale modifica statutaria.

Verrebbe da pensare che gli italiani e gli iscritti siano semplicemente tirchi o indifferenti. Ma questa conclusione si scontra con il fatto che 4 milioni di italiani si misero in fila per ore nel 2005 per donare la media di 11,5 euro a votante per finanziare i costi della nuova forma di partecipazione per le primarie dell’Ulivo, per un totale di 40 milioni di euro. Le difficoltà di finanziamento dell’Associazione Rousseau è dovuta invece alla grave mancanza di trasparenza, sicurezza, governance democratica, il suo utilizza per voto palese; e la totoale mancanza di progetto tecnologico credibile che si metterebbe in atto se si dovesse attrarre milioni di euro di donazioni.

Riteniamo quindi che donazioni di cittadini italiani ed in particolare esteri arriverebbero a decine di milioni di euro se vi fosse un progetto internazionale e credibile che credibilmente va a risolvere tali criticità, ed inoltre specificasse che l’utilizzo sarebbe limitato a permettere voto palese, mentre il voto non-palese sarebbe possibile solo per mezzo di deliberazioni di persona presso diffusi gazebi ed assemblee mensili. Ciò potrebbe ridurre radicalmente i rischi di sicurezza della piattaforma online.

Vi sono inoltre, nuove forme di finanziamento per progetti/comunità tecnologiche che sarebbero ideali per un tale progetto. Il movimento politico australiano MiVote che ha da poco lanciato una non-profit ed una startup chiamata Horizon State che ha lanciato un Initial Coin Offering (“ICO”) per finanziare la radicale investimento (benchè con piani tecnicamente molto scarsi) nella riscrittura della loro attuale piattaforma di partecipazione online, attiva da febbraio con migliaia di utenti in Australia. Altre iniziative di ICO per voto elettronico remoto includono Boule ICO. L’Associazione Rousseau e/o M5S potrebbero seguire un strategia  simile, ma un progetto di sicurezza e di resilienza della governance molto più elevati, per acquisire in tempi 1-2 mesi e in maniera decentralizzata e democratica risorse per decine di milioni di euro per fare un enorme salto di qualità nella infrastruttura di partecipazione.

Ma una tale iniziativa, avrebbe poca attrattiva sull’attuale mercato dell’ICO, che è tipicamente trainato dagli investimenti e la comunicazione di piccoli e medi investitori in criptovalute della prima ora, che ricercano il mantra della decentralizzazione e dell’opensource della blockchain. Associazione Rousseau e Movimento 5 Stelle – da soli e con le criticità sopramenzionate – apparirebbero molto negativamente a tali soggetti per la poca competenza tecnica dimostrata, il software proprietario e la centralizzazione del controllo e dell’auditing.

Come Trustless Computing Association – e la sua startup spin-off TRUSTLESS.AI – proponiamo  all’Associazione Rousseau e al M5S di partecipare alla realizzazione e fundraising delle piattaforme CivicNet e CivicChain – e relativi apparecchi client CivicPod e CivicKiosk. In costruzione da 4 anni, con partner e advisors di classe globale, essa và a realizzare una infrastruttura totalmente governata dagli utenti della stessa e da cittadini italiani selezionati a campione. In line con i Paradigmi del Trustless Computing – inseriti come requisito obbligatorio per servizi critici in proposta di legge regionale lazioale del M5S nel 2015 – ogni componente critica softare  hardware sarà pubblicamente verificabile nel design sorgente, ed estremamente verificata in relazione alla complessità, in ogni componente critica fino anche al livello di CPU e della fase di fabbricazione, unicità sul panorama mondiale. Sarà completamente open source da sistema operativo in su. L’M5S sarebbe utente finale esclusivo fra partiti EU per i primi 12 mesi e partner tecnologico (UX, requisiti), in cambio di una attiva partecipazione alla parte italiana della campagna di investimento per una Initial Coin Offering da $25M

Alla soluzione e piano per l’ICO ampiamente descritti nei documenti linkati al Summary Overview disponibile di TRUSTLESS.AI, sarebbe aggiunta la capacità del previsto client device CivicPod di poter essere integrato all’interno di CivicKiosks (ch 2.2.4.2. della proposta R&D  (pdf), Aprile 2016).per votazione in luoghi presenziati presso uffici pubblici, gazebo o farmacie.

La governance della piattaforma e della stessa Trustless Computing Association (“associazione non riconosciuta”) sarà, dal momento della sua prima utilizzazione continuativa di più di 10.000 utenti, completamente controllata dagli iscritti al Movimento 5 Stelle (33%) e da un campione (1000) cittadini italiani ed internazionali (33%) e investitori dell’ICO autenticati nella piattaforma (1 €, 1 voto). Esercizio di tale governance potrà avvenire (a) per mezzo della piattaforma stessa – ma solo con CivicPod privato o condiviso, o per mezzo di CivicKiosk, ed in maniera palese – oppure (b) di persona, ad eventi per lo meno mensili e con la possibilità di votare e partecipare a in maniera confidenziale.

Lanciando un progetto del genere, assieme ad un rinnovato programma per la cybersicurezza, potrebbe sospendere l’utilizzo di Rousseau senza perdere la faccia, e quindi finalmente “segnare una svolta andando a promuovere un modificato programma di cybersecurity – sia per i sistemi interni che per i sistemi del paese – che siano davvero radicali e all’avanguardia mondiale, per restaurare la sovranità digitale dello stato, dei cittadini e degli iscritti al M5S”, come scrisse nostro Exec. Dir. Rufo Guerreschi in un commento ripostato da Grillo il 16 agosto scorso, cui fecero seguito discussioni e proposte.

Questa proposta nasce da varie intelocuzioni negli ultimi anni con l’M5S, sintetizzati in questo articolo: https://www.trustlesscomputing.org/2017/09/04/interessamenti-di-primarie-forze-politiche-e-media-italiani-alla-trustless-computing/

Valley big shot VCs can take the merit for the explosion of the ICO model, whereby brilliant researcher, ideas, executioners and teams can get funded without spending 4-7 months fitting into the dogmas and moving the team to live within 30 minutes from a VC (mostly impractical for costs and Visa)

The same black box problem arises in the main “runtime environment” of ever more powerful AIs. We should try to replicate proven “architectures of individual and collective human wisdom”. Such architecture have allowed, in the many good case scenarios, to tackle and even enjoy runaway impredictability, while properly minimizing the suffering.

Come riporta bene Raffaele Barberio, il 13 e 14 agosto, articoli in prima pagina della Repubblica descrivono, con orribile qualità ed analisi, presunti scoop su falle critiche di cybersicurezza dello stato. Essi seguono a distanza di giorni due leaks di dati acquisiti per mezzo di falle di sistemi interni M5S, misti a critiche sulla non trasparenza di tali sistemi.

Ancorché sia i sistemi critici dello stato e sia del M5S siano terribilmente inadeguati, le tempistiche e modalità di tali leaks, hacks e articoli portano a pensare che essi possano essere utilizzati per spostare decisamente l’esito delle prossime elezioni, come successo in USA e quasi in Francia.

Se immaginiamo una semplice applicazione in Italia delle dinamiche delle recenti elezioni in USA e Francia, vediamo come il sistema Rousseau può esser visto come l’equivalente nell’M5S dell’improvvido mail server della Clinton – e dei sistemi di comunicazione interna del Partito Democratico USA – che costarono elezioni alla Clinton.

Vediamo se ci sono gli elementi.

-In Usa e Russia, vi sono spesso stati capi di stato che erano ex capi dei servizi segreti (Putin, Bush senior) e in Italia ancora no.

-Minniti, per decenni a capo dei servzi e quindi della cybersicurezza, è lanciato dal governo e PD come leader dell’agenda del giorno immigrazione, e quindi come leader.

– A giugno ci fu un attacco frontale, menzognero e premeditato di Renzi in prima serata contro Angelo Tofalo, principale esponente M5S di cybersicurezza.

-La gestione pessima ad oggi della cybersicurezza interna da parte del M5S, li espone fortemente a critiche, leaks e hacks ben temporizzate, da parte di molteplici attori, per manipolare l’agenda mediatica.

Proviamo ad immaginare una possibile strategia di forze politiche e mediatiche avverse al M5S. Eccola.

Attaccando PD e Minniti con sparate di grandi hackeraggi basate sul quasi niente, la Repubblica ottiene di: (1) consolidare il tema cybersecurity come centrale per elezioni (ancorché in maniera completamente sballata), (2) legittimarsi come testata indipendente sul tema agli occhi di chi non sa del settore, senza criticare minimamente le gravi effettive falle di sicurezza dello stato PD e (3) si apre quindi il campo ad attacchi molto più mirati per rilanciare in controcanto ogni leak in un probabile futuro stillicidio sulla sicurezza sistemi M5S.

In più possono contare di essere coadiuvati, ancorché indipendemente e con fini diversi, da hacker di ogni tipo: stati esteri, hacker indipendenti simpatizzanti PD, e hacker etici simpatizzanti dei fini del M5S ma non interamente dei mezzi (come WikiLeaks e Anonymous) e fortemente critici di alcune sue pratiche digitali e organizzative autocratiche.

Come può l’M5S salvarsi da tale stillicidio e le sue conseguenze?

Segnare una svolta andando a promuovere un modificato programma di cybersecurity – sia per i sistemi interni che per i sistemi del paese – che siano davvero radicali e all’avanguardia mondiale, per restaurare la sovranità digitale dello stato, dei cittadini e degli iscritti al M5S.

If IT security boils down to that of the weakest “link”, then what is the sense arbitrarily limiting the scope of the annual EU ENISA Cyber Threat Reports by exclude some “links” such as the entire supply chain. Why is that?!

US Defense Science Board said already in 2005: “Trust cannot be added to integrated circuits after fabrication”.

In the Thematic Landscape Hardware document, vulnerabilities introduced during the fabrication and supply chain are out of scope. They say: “According to the scoping performed in Section 1.1, supply chain security aspects which are relevant for invasive/integrated modification of hardware was not in scope of the good practice research.”

Absolute must read for those that think AI Superintelligence explosion may be just science fiction or decades away. Even the largest groups that have huge economic interests in downplaying the risks of AI, are now clearly spelling out the risks and the hinting in the right direction. Conforting.

La presidente degli Stati Generali dell’Innovazione, Flavia Marzano – da 15 anni una dei leader italian delle battaglie per il software libero, formati aperti e dati aperti nella pubblica amministrazione – è stata invitata ad essere il nuovo Assessore alla “Roma Semplice” da parte della nuovo amministrazione capitolina M5S. Avrà l’onere, onore e sfida di sviluppare tecnologie e processi ICT che – non solo supportino una radicale trasparenza per combattere la malapolitica – ma vadano realizzare l’agognata democrazia diretta digitale.

La maggioranza degli esperti e giornalisti del settore pensano che l’utilizzo di software e open source della parte server, e l’applicazione del livello 3 dello SPID (Sistema Pubblico di Identità Digitale – ovvero i sistemi di sicurezza comunemente usati per i servizi bancari – possano essere sufficienti per minimizzare sufficientemente i rischi.

As esempio, il vicepresidente di Stati Generali dell’Innovazione, Nello Iacono, ha fatto delle proposte in un post del 23 giugno:

“Alcune riflessioni sulla spinta possibili per Spid: una sua diffusione rapida consentirebbe di renderlo fattore abilitante della cittadinanza digitale e della partecipazione dei cittadini, consentendo di ridurre drasticamente costi e tempi”

Similarmente, il progetto Parelon, sviluppato da volontari del M5S Regione Lazio con risorse solo volontarie e limitate, ha centrato la sua sicurezza su l’utilizzo e sviluppo in sofwtare libero (e.g. open source) e sistemi di autenticazione con chiavetta bancaria (one time password generator). Cionostante, essi ammettono come il loro sistema debba rinunciare alla confidenzialità del voto per offrirne sufficienti livelli di sicurezza. Cosa che può essere accettabile, epr scelta, per un partito, ma è costituzionalmente vietato per il voto politico e amministrativo.

Molti fanno riferimento al voto elettronico online della Estonia (patria dell’attuale Commissioner IT della EU) oppure in qualche zona della Svizzera a livello semisperimentale.

Gli obiettivi e l’idea di base sono di tali proposte sono encomiabili: far si che il desiderio di alcune nuove amministrazioni di espandere in larga scala le possibilità di partecipazione civica online dei cittadini, deliberativa e non solo consultiva -utilizzando i nuovi standard per transazioni e comunicazioni informatiche private e sicure, lo SPID, Sistema Pubblica di Identità Digitale – possa essere sfruttata inoltre per: (a) rendere più semplice ed economica l’interazione del cittadino con l’amministrazione; (b) diffondere fra i cittadini tale SPID, in modo da possa rendere più efficienti le transazioni economiche ed realizzare risparmi potenzialmente enormi di denaro pubblico derivanti dalla dematerializzazione di servizi della pubblica amministrazione.

Tale obiettivi, d’altronde, si scontrano con il fatto che vi è un largo consenso fra i massimi esperti di sicurezza informatica al mondo che anche il terzo e massimo livello dello SPID – come anche ogni altro standard di sicurezza esistente, finanche quello per l’ICT abilitato a trattare segreto di stato – forniscono livelli di sicurezza o privacy che sono ad oggi molto lontani dal fornire garanzie sufficienti contro abuso di larga scala di sistemi di voto online o partecipazione deliberativa online dei cittadini, come ad esempio quello di propossa e sottoscrizione di una proposta di legge ad iniziativa popolare. L’associazione Verified Voting, che aggregò gli esperti sopramenzionati, spiega bene perchè le tecnologie e metodi di sicurezza che usiamo per le transazioni bancarie, controintuitivamente, sono radicalmente inidonee per proteggere il voto dei cittadini.

Ogni report di organi riconosciui delle elezioni in Estonia, ha rivelato un’enorme quantità di vulnerabilità, che porta a concludere che attori con capacità anche moderate possano aver alterato i voto esperssi via internet in tali elezioni, e possano ben farlo in futuro dato che l’Estonia ha preferito investire in pubbliche relazioni che non invece, prendere atto pubblicamente dell’entità della sfida, ed investire adeguatamente nella ricerca di soluzioni adeguate.

I cittadini, sono per lo più tenuti all’oscuro di tali rischi del “voto online” ed anche della grande probilità di abusi già avvenuti e non scoperti, con ricorrenti richiami a migliorare la democrazia attraverso un semplice “voto dal tablet” di vari politici, incluso il M5S, eccetto per qualche sporadico articolo che sottolinea le grandi sfide che prima bisogna affrontare. Anche dopo un battage pubblicitario gigantesco e planetario, nella Estonia E-residency, centrato sulla sicurezza e confidenzialità offerta, hanno creduto in sole 10.000 persone.

A differenza di altri in SGI, Flavia Marzano ha mostrato di essere ben cosciente delle sfide tecniche, organizzative e procedurali che comporta l’offrire in larga scala le possibilità di partecipazione civica online dei cittadini, deliberativa e non solo consultiva. Fu la Marzano, nella primavera del 2014, in qualità di Presidente degli Stati Generali dell’Innovazione (SGI) – la primaria NGO del settore IT solidamente in area PD – che accettò di partecipare all’iniziativa della Open Media Cluster di convocare 2 incontri in Regione Lazio con i capogruppo di PD, M5S e SEL, o loro diretti delegati, per una campagna di legge per il “software libero, hardware documentato, partecipazione e servizi telematici trasparenti”.

Tale proposta di legge, ad oggi nemmeno discussa dal consiglio a maggioranza PD, prevede che ogni servizio critico al cittadino, come e-health o partecipazione online, debba obbligatoriamente essere offerto in rispetto di “servizi telematici trasparenti“, derivato dal concetto di telematica trasparente (evoluto ne concetto di trustless computing della Trustless Computing Initiative) – che prevedono requisiti di verificabilità e livelli di verifica estremi in relazione ala complessità per ogni tecnologia o processo critico coinvolto – dal lato server e dal lato utente – nella fruizione o nel ciclo vita della soluzione, dalla definizione degli standard, an design del CPU, al monitoraggio della fase di fabbricazione. Dopo settimane di enorme pazienza e solleciti da parte di Davide Barillari, portavoce del M5S regione Lazio, il PD e SEL continuavano a comunicarci come fossero in attesa di coinvolgimento di loro esperti per valutare le nostre proposte.

Negli stessi giorni, come risultava evidente che il PD non avesse ne la volontà politica e ne la capacità tecnica di proporre una seria legge sul tema, la direzione generale degli Stati Generali dell’Innovazione bocciò ogni coinvolgimento della SGI stessa nella campagna, nonostante il suo successo e il fatto che Richard Stallman stesso, investore del software libero, fosse venuto a Roma per promuoverla, e ripetuti solleciti da parte della loro presidente. Come sempre in Italia, è difficile concludere quanto dichiarazioni gravemente erronee circa temi assolutamente vitali per la democrazia e la società, da parte di soggetti coinvolti nell’ICT per la PA, siano dovuti a sottomissione politica o a grave impreparazione tecnica.

Molto del silenzio che si è sentito (il silenzio fà un rumore tremendo) su questi temi da parte del M5S, con pochissime eccezioni di Davide Barillari e pochi altri, rischia di trasformare un’enorme opportunità di rilancio del paese in un incubo di votazioni manipolate e, nella misura in cui se en potrà comprovare la comprommissione, una conseguente forte delegittimazione del M5S nella sua capacità di realizzare responsabilmente il suo primario obiettivo di sempre.

Come disse bene George Orwell: “In un tempo di universale inganno, dire la verità è un atto rivoluzionario“. Sono ben cosciente dell’enorme costo di dire la verità, per quasi tutti in questo paese, ma è venuto il momento di dire la verità sull’entità della sfida tecnologica, socio-tecnica ed organizzativa della democrazia diretta online.

Con le elezioni comunali di Roma del 2016 è per la prima volta possibile che il Movimento Cinque Stelle possa controllare ed amministrare un grande comune d’Italia, il più grande. Sarà un’enorme occasione e responsabilità per dimostrare di poter mettere in pratica i principi di partecipazione, trasparenza e lotta contro corruzione e privilegi tanto affermati fino ad oggi dall’opposizione.

Sarà altresì occasione di implementare con risorse adeguate e sul larga scala, i principi della democrazia diretta e partecipativa fortemente affermati dal movimento, attraverso innovative politiche, tecnologie e processi.

Sarà interessante vedere quali sistemi il Comune di Roma deciderà di adottare, ovviamente attraverso bandi di gara, e in che misura soluzioni attualmente disponibili sul mercato possano fornire livelli di inclusività, di sicurezza e privacy che richiede la Costituzione Italiana, la Carta Europea dei Diritti dell’uomo, e probabilmente i cittadini di Roma, e una buona parte del 97% dei votanti romani del Movimento che hanno scelto di non utilizzare gli strumenti di partecipazione online gratuiti predisposti dal Movimento.

L’amministrazione entrante potrebbe prendere atto della mancanza di tali strumenti e quindi attivare da una parte bandi di gara a breve termine per una fornitura di strumenti per un utilizzo in bassa-scala e/o sperimentale, ed al contempo bandi di gara a lungo termine – in linea e coordinamento con programmi EU pre-commercial procurement, che includano un sostanziale livello di ricerca applicata e sostanziale innovazione di sistemi esistenti per soddisfare i requisiti di cui sopra.

http://abcnews.go.com/International/head-nsas-elite-hacking-unit-hack/story?id=36573676

In assessing the veracity and completeness of what the head of NSA Tao says here we should consider it’s important part of its agency mission that hundreds of thousands of potential mid-to-high targets, legit or not, overestimate the manual (as opposed to semi automated) resources and efforts they need to devote per person to continuously compromise them. See NSA FoxAcid and Turbine programs.

So these targets will think NSA “endpoint target list” is small and does not include them, and therefore are fine with end-2-end encryption, and merely moderate or high assurance endpoints, like Tor/Tail, Signal on iOS, or an high end cryptophone.

Aside from madness, what could the Paris Massacre terrorists, and those that support or strategize behind them, possibly have aimed to achieve?!

It can only be an increase of fear and hate among innocent civilian of 2 different religious faiths and cultures, that would lead to more war in Islamic states, and then to the coming to power of more fanatic irrational regimes that claim to represent true Islamic faith.

But more war in islamic states, with “collateral” massacres and injustices towards millions of islamic civilians, is unfortunately a goal that – for Cristian religious fanaticism and hate, political misjudgment or huge economic interests – has also been very actively promoted by some western private (oil and defense contractors) and governmental actors.

PREAMBLE

(1) Human exinction, if AI machines can be controlled at all. He said “Whereas the short-term impact of AI depends on who controls it, the long-term impact depends on whether it can be controlled at all”.

In such excerpt, Richard Stallman said that computing trustworthiness is a “practical advantage or convenience” and not a requirement for computing freedom. I opposed to that a vision by which the lack of meaningful trustworthiness turns inevitably the other four software freedoms into a disutility to their users, and to people with whom they share code. I suggest that this realization should somehow be “codified” as a 5th freedom, or at least very widely acknowledged within the free software movement.

For some time now, the US government has been ever more often stating that there will not be a mandatory technical requirements to enable remote state lawful access, but that they expect provider to somehow come up autonomously with solutions that would allow for lawful access when needed by investigating agencies.

But any company that decided to come up with some techncial and organizational processes to do so, even with extremely effective safeguards for both the citizen and the investigating agency, would appear to be, and possibly actually be, less secure than competing services or devices that do not provide such access.

This problem could be solved if the US government provided very solid and reliable incentives to those that do, and do in a proper way, i.e., they comply to a minimum of citizen-accountable extreme safeguards, that guarantee both the user and the agency. The US government could approve some solidly enforceable policies that prescribe much higher personal economic and penal consequences for official of state agencies that are found searching or implanting vulnerabilities ONLY for high-assurance IT service providers that offer socio-technical systems to comply to government request, as certified by an independent international technically-proficient and accountable certification body. Such new policies would instead exclude IT service or device providers that do not.

To get 2 beans with one stone, such international body could also certify IT services and devices that offer meaningfully high-levels of trustworthiness, something that is direly missing today. One such certification body is being promote by the Open Media Cluster (that I lead), with the name of Trustless Computing Certification Initiative.

Introduce contextual ads made exclusively of product/service comparisons made by  democratically-controlled consumer organizations. In Italy for example there is Altroconsumo org with 100s of thousands of members which regularly produces extensive comparative reports.

In practice: for each new report that comes out, a request is made to the companies producing the product/service in the top 30% to sponsor it publishing inside Wikimedia portals.
Such formula could be extended to Wikimedia video, generating huge funds, arguably without any. Proceed are shared among Wikimedia and the consumer org.

(originally written in 2011, and sent to Jimmy Whale, which found it interesting)

But maybe the best thing we can do to help reduce chances of the catastrophic risks of artificial super-intelligence explosion (and other existential risks) become a “Unabomber with flowers“.

By that I mean, we could hide out in the woods, as the Unabomber did, to live in modern off-grid eco-villages somewhere. But, instead of sending bombs to those most irresponsibly advancing general Artificial Intelligence, we’d send them flowers, letters and fresh produce, and invitations for a free travel in the woods.

Here’s what the  wrote in the Unabomber wrote in his manifesto “Industrial Society and Its Future”, published by the New York Times in 1995:  

173. If the machines are permitted to make all their own decisions, we can’t make any conjectures as to the results, because it is impossible to guess how such machines might behave. We only point out that the fate of the human race would be at the mercy of the machines. It might be argued that the human race would never be foolish enough to hand over all the power to the machines. But we are suggesting neither that the human race would voluntarily turn power over to the machines nor that the machines would willfully seize power. What we do suggest is that the human race might easily permit itself to drift into a position of such dependence on the machines that it would have no practical choice but to accept all of the machines decisions. As society and the problems that face it become more and more complex and machines become more and more intelligent, people will let machines make more of their decision for them, simply because machine-made decisions will bring better result than man-made ones. Eventually a stage may be reached at which the decisions necessary to keep the system running will be so complex that human beings will be incapable of making them intelligently. At that stage the machines will be in effective control. People won’t be able to just turn the machines off, because they will be so dependent on them that turning them off would amount to suicide.

My wife Vera and my dear friend Beniamino Minnella surely think so.

On Jan 23rd 2015, nearly the entire “who’s who” of artificial intelligence, including the leading researchers, research centers, companies, IT entrepreneurs – in addition to what are possibly the leading world scientists and IT entrepeneurs – have signed Open Letter “Research priorities for robust and beneficial artificial intelligence” with an attached detailed paper (we’ll refer to both below as “Open Letter”).

In this post, we’ll look at such Open Letter and ways in which its R&D priorities in the areas of IT security may crucially need to be corrected, and “enhanced” in future version.

We’ll also look at the possibility that short-term and long-term R&D needs of artificial intelligence “(“AI”) and information technology (“IT”) – in terms of security for all critical scenarios – may become synergic elements of a common “short to long term” vision, producing huge societal benefits and shared business opportunities. The dire short-term societal need and market demand for radically more trustworthy IT systems for citizens privacy and security and societal critical assets protection, can very much align – in a grand strategic cyberspace EU vision for AI and IT – with the medium-term market demand and societal need of large-scale ecosystems capable to produce AI systems that will be high-performing, low-cost and still provide adequately-extreme levels of security for AI critical scenarios.

But let’s start from the state of the debate on the future of AI, machine super-intelligence, and the role of IT security.

In recent years, rapid developments in AI specific components and applications, theoretical research advances, high-profile acquisitions from important global IT giants, and heart-felt declaration on the  dangers of future AI advances from leading global scientists and entrepreneurs, have brought AI to the fore as both (A) a key to economic dominance in IT, and other business sectors, as well as (B) the fastest emerging existential risk for humanity in its possible evolution into uncontrolled machine super-intelligence.

Google, in its largest EU acquisition this year acquired for 400M€ a global AI leader, DeepMind; already invested by Facebook primary initial investors Peter Thiel and Elon Musk. Private investment in AI has been increasing 62% a year, while it is not known – but presumably very large and fast increasing – the level of secret investments by multiple secretive agencies of powerful nations, such as the NSA, in a possibly already-started winner-take-all race to machine super-intelligence among public and private actors.

Global AI experts on average estimate that there is a 50% chance to achieve human-level general artificial intelligence by 2040 or 2050, while not excluding significant possibilities that it could be reached sooner. Such estimates may be strongly biased towards later dates because: (A) there is an intrinsic interest in those that are by far the largest investors in AI – global IT giants and USG – to avoid risking a major public opinion that a major political; (B) As it has happened for surveillance program and technologies of Five Eyes countries, it plausible or probable that huge advancements in AI capabilities and programs may have already happened but successfully kept hidden for many years and decades, even while involving large numbers of people.

Many and increasing numbers of experts believe that progress beyond such point may become extremely rapid, in a sort of “intelligence explosion”, posing grave questions on humans ability to control it at all. (See Nick Bostrom TED presentation). Very clear and repeated statements by Stephen Hawking (the most famous scientist alive), by Bill Gates, by Elon Musk (main global icon of enlightened tech entrepreneurship), By Steve Wozniak (co-founder of Apple), agree on the exceptionally grave risks posed by uncontrolled machine super-intelligence.

Elon Musk, shortly after having invested in DeepMind, even declared, in an erased but not retracted comment:

“The pace of progress in artificial intelligence (I’m not referring to narrow AI) is incredibly fast. Unless you have direct exposure to groups like Deepmind, you have no idea how fast-it is growing at a pace close to exponential. The risk of something seriously dangerous happening is in the five-year timeframe. 10 years at most. This is not a case of crying wolf about something I don’t understand.”

I am not alone in thinking we should be worried. The leading AI companies have taken great steps to ensure safety. The recognise the danger, but believe that they can shape and control the digital superintelligences and prevent bad ones from escaping into the Internet. That remains to be seen…”

Such Open Letter is an incredibly important and well-thought out, and important to increase the chance that the overall impact of AI in coming decades – large in the medium term and huge in the long-term by all account – will be in accordance to humanities values and priorities. Nonetheless, such document comes with what we believe to be potentially gravely erroneous assumptions about the current state-of-the-art and R&D directions in IT security of high-assurance systems, which in turn would potentially completely undermine its verification, validity and control. 

In general, the such Open Letter overestimate the levels of trustworthiness, measurability, the at-scale costs, of existing and planned highest-assurance low-level computing systems and standards. 

More in detail, here are line by line suggestions to the Short Term Research Priorities – 2.3.3 Security section, from page 5: 

2.3.3   Security

Security research can help make AI more robust.

A very insufficiently-secure AI system may be greatly “robust” in the sense of business continuity, risk management and resilience, but still be extremely weak in safety or reliability of control. This outcome may sometimes be aligned with the AI sponsor/owner goals – and those of other third parties such as state security agencies, publicly or covertly involved – but be gravely misaligned  to chances to maintain a meaningful democratic and transparent control, i.e. having transparent reliability about what the system, in actuality, is set out to do and who, in actuality, controls it.

Much more important than “robustness”, adequate security is the most crucial foundation for AI safety and actual control in the short and long terms, as well as a precondition for verification and validity. 

As AI systems are used in an increasing number of critical roles, they will take up an increasing proportion of cyber-attack surface area. It is also probable that AI and machine learning techniques will themselves be used in cyber-attacks.

There is a large amount of evidence that many AI techniques have long been and are [1] currently being used by the most powerful states intelligence agencies, to attack – often in contrast with national or international norms – end-users and IT systems, including IT systems using AI. As said above, while it is not known the levels of investment of public agencies of powerful nations such as the NSA, is presumably very large and fast increasing,  in a possibly already started race against among public and private actors. The distribution of such finding aims most likely will follow the current ratio of tens of times more resources to offensive R&D rather than defensive R&D.

Robustness against exploitation at the low-level is closely tied to verifiability and freedom from bugs. 

This is a correct although partial. Especially for use in critical and ultra-critical use cases, which will become more and more dominant.

   It is better to talk about auditability in order not get confused with (formal) IT verification. It is crucial and unavoidable to have complete public auditability of all critical HW, SW and procedural components involved in an AI systems life-cycle, from certification standards setting, to CPU design, to fabrication oversight. In fact, since 2005 US Defense Science Board has highlighted how “Trust cannot be added to integrated circuits after fabrication” as vulnerabilities introduced during fabrication can be impossible to verify afterwards. Bruce Schneier, Steve Blank, and Adi Shamir,  among others, have clearly said there is no reason to trust CPUs and SoCs (design and fabrication phases). No end-2-end IT system or standards exist today that provide such complete auditability of critcal components. 

   “Freedom from bugs” is a very improper term as it excludes voluntarily introduced vulnerabilities, or backdoors, and it should clearly differentiate between critical and non-critical bugs. Vulnerabilities may be accidental (bug) or voluntary (backdoor). It is often impossible to prove that a vulnerability was introduced voluntarily and not accidentally. We should talk of “Freedom from critical vulnerabilities”
It is impossible, and most probably will remain so, to ensure perfectly against critical vulnerabilities, given the socio-technical complexity of IT socio-technical systems even if simplified by 10 or 100 times, and with radically higher levels of auditing relative to complexity.
Nonetheless, it remains extremely crucial and fundamental that adequate research could device ways to achieve sufficiently-extreme level confidence about “freedom from critical vulnerabilities” through new paradigms to achieve sufficient user-trustworthiness that sufficient intensity and competency of engineering and auditing efforts relative to complexity have been applied, for all critical software and hardware components that are actually running on the involved device. No system or standard exist today to systematically and comparatively assess – for such target levels of assurance for a given end-2-end computing service, and its related life-cycle and supply-chain.  

As stated above, all AI systems in critical use cases – and even more crucially those in advanced AI system that will soon be increasingly approaching machine super-intelligence – will need to be so robust in terms of security so such as extent that they are resistant against multiple extremely-skilled attackers willing to devote cumulatively even tens or hundreds of millions of Euros to compromise at least one critical components of the supply chain or life-cycle, through legal and illegal subversion of all kinds, including economic pressures; while having high-level of plausible deniability, low risk of attribution, and (for some state actors) minimal risk of legal consequences if caught.

In order to reduce substantially this enormous pressure, it may be extremely useful to research socio-technical paradigms by which sufficiently-extreme level of AI systems user-trustworthiness can be achieved, while at the same time transparently enabling due legal process cyber-investigation and crime prevention. The possible solution of such dichotomy would reduce the level of pressure by states to subvert secure high-assurance IT systems in general, and possibly – through mandatory or voluntary standards international lawful access standards – improve the ability of humanity to conduct cyber-investigations on the most advanced private and public AI R&D programs.

For example, the DARPA SAFE program aims to build an integrated hardware-software system with a flexible metadata rule engine, on which can be built memory safety, fault isolation, and other protocols that could improve security by preventing exploitable flaws [20]. Such programs cannot eliminate all security flaws (since verification is only as strong as the assumptions that underly the specification), but could significantly reduce vulnerabilities of the type exploited by the recent “Heartbleed bug” and “Bash Bug”.

There is a need to avoid the risk of relying for guidance on high-assurance low-level systems standard/platform projects from defense agencies of powerful nations, such as the mentioned DARPA SAFE, NIST, NSA Trust Foundry Program, DARPA Trust in Integrated Circuits Program, when it is widely proven that their intelligence agencies (such as NSA) have gone to huge length to surreptitiously corrupt technologies and standards, even those that are overwhelmingly used internally in relatively high-assurance scenarios.

Such systems could be preferentially deployed in safety-critical applications, where the cost of improved security is justified.

The cost of radically more trustworthy low-level system for AI could become very comparable to those of current corporate-grade security IT systems, mostly used as standard in AI systems development. Those costs differentials could possibly be reduced to being insignificant through production at scale, and open innovation models to drive down royalty costs. For example, hardware parallelization of secure systems and lower unit costs, could make so that adequately secure systems could compete or even out compete in cost and performance those other generic systems. (The emerging non-profit User Verified Social Telematics consortium, for example, show the possibility of creating sufficiently-secure general-purpose computing systems running at 1-300Mhz with a cost made of cost of production (few tens of euros depending on quantity), and overall royalty costs of only 30% of the end-user cost.)

At a higher level, research into specific AI and machine learning techniques may become increasingly useful in security. These techniques could be applied to the detection of intrusions [46], analyzing malware [64], or detecting potential exploits in other programs through code analysis [11].

There is a lot of evidence to show that R&D investment on solutions to defend devices from the inside (that assume failure in intrusion prevention), could become end up increasing the attack surface if those systems life-cycle are not themselves subject to the same extreme security standards as the low-level system on which they rely upon. Much like antivirus tools, password storing application and other security tools are often used a ways to get directly to a user or end-point most crucial data. Recent scandal of NSA, Hacking Team, JPMorgan show the ability of hackers to move inside extremely crucial system without being detected, possibly for years. DARPA high-assurance program highlight how about 30% of vulnerabilities in high-assurance systems are introduced by internally security products.[2]

It is not implausible that cyber attack between states and private actors will be a risk factor for harm from near-future AI systems, motivating research on preventing harmful events.

Such likelihood is clearly higher than “not implausible”. It is not correct to say that it “will be a risk factor” as it is already a risk factor and at least one of the parties in the such cyber attacks, powerful states, are now extensively using and expectedly aggressively advancing AI tools.

As AI systems grow more complex and are networked together, they will have to intelligently manage their trust, motivating research on statistical-behavioral trust establishment [61] and computational reputation models [70].

Interoperability framework among AI systems, and among AI and IT systems, will need effective independent ways to assess the security of the other system. As stated above, current comparative standards are lacking so comprehensiveness and depth to make it impossible to compare the security of a given system.

Ultimately, it may be argued that IT security is about the nature of the organizational processes involved and the intrinsic constrains and incentives critically involve in individual within such organizations. Therefore, the most critical security factor to be researched, for critical AI systems in the short and long term, is probably will be the technical proficiency and citizen accountability of the organizational processes, that will govern the setting of key AI security certification standards or system, and the socio-technical systems, that will be deployed to ensure extremely effective and citizen-accountable oversight processes of all critical phase in the supply-chain and operational life-cycle of the AI system.

The dire short- term societal need and market demand for radically more trustworthy IT systems for citizens privacy and security and societal critical assets protection, can very much align in a grand strategic cyberspace EU vision to satisfy – in the medium and long-term – both the huge societal need and great economic opportunity of creating large-scale ecosystems able to produce AI systems that will be high-performing, low-cost and still provide adequately-extreme levels of security for AI critical scenarios.

NOTES

[1] See the National Security Analysis Center or the capabilities offered by companies like Palantir

[2] https://youtu.be/3D6jxBDy8k8?t=4m20s