OEn 2017, Alexa est devenue voyous. Lorsque Martin Josephson, qui vit à Londres, rentrait chez lui après le travail, il a entendu son assistant vocal Amazon Echo Dot cracher des commandes fragmentaires, apparemment basées sur ses précédentes interactions avec l'appareil. Il semble qu’il faille régurgiter les demandes de réservation de billets de train pour des voyages qu’il avait déjà pris et d’enregistrer des émissions de télévision qu’il avait déjà regardées. Josephson n'avait pas dit le mot de veille – "Alexa" – pour l'activer et rien de ce qu'il dit ne l'arrêterait. C'était, dit-il, «kafkaesque».

Cela était particulièrement intéressant car Josephson (prénom fictif) était un ancien employé d'Amazon. Trois ans plus tôt, il s'était proposé de s'asseoir dans une pièce pour réciter une série de phrases apparemment dénuées de sens dans un microphone, dans un but inconnu. Ce n'est que lorsque Amazon a publié Echo aux États-Unis en 2014 qu'il a réalisé ce sur quoi il travaillait. Il a acheté un Dot, le modèle plus petit et moins cher de l’Écho, après son lancement en 2016, et l’a trouvé suffisamment utile jusqu’au jour où il a été malmené. Lorsque l’explosion du Dot s’est calmée, il l’a débranché et l’a déposé à la poubelle. «Je me sentais un peu stupide», dit-il. "Après avoir travaillé chez Amazon et vu comment ils utilisaient les données des personnes, je savais que je ne pouvais pas leur faire confiance."

Le Dot n'était pas censé se comporter comme un sergent instructeur dadaiste. Là encore, les assistants vocaux font souvent des choses qu'ils ne sont pas censés faire. L’année dernière, un client d’Amazon en Allemagne a envoyé par erreur environ 1 700 fichiers audio de l’Echo d’une autre personne, fournissant suffisamment d’informations pour nommer et localiser l’infortuné et sa petite amie. (Amazon a attribué ce "malheur malheureux" à une erreur humaine.)

À San Francisco, Shawn Kinnear a affirmé que son Echo s'activait et disait avec enthousiasme: «Chaque fois que je ferme les yeux, je ne vois que des personnes en train de mourir." À Portland, dans l'Oregon, une femme a découvert que son Echo avait pris sur lui d'envoyer enregistrements de conversations privées avec l'un des employés de son mari. Dans une déclaration, Amazon a déclaré que l’Écho devait avoir mal entendu le mot de veille, une demande d’envoi de message, un nom dans sa liste de contacts, puis une confirmation d’envoi du message, le tout lors d’une conversation sur les sols en bois dur. Pas génial, Alexa.

La technologie inspire souvent l’ambivalence: nous savons que Facebook et Google en savent trop sur nous, mais nous continuons d’utiliser leurs services parce qu’ils sont si pratiques. Les assistants vocaux, cependant, sont exceptionnellement polarisants. Les personnes qui les considèrent comme sinistres et envahissantes (moi y compris) considèrent les enthousiastes comme des gens complaisants, tandis que ceux qui les trouvent utiles et bénins considèrent les sceptiques comme des technophobes paranoïaques. Il y a une question qui soulève de plus gros problèmes au sujet de notre relation avec le secteur de la technologie: devriez-vous laisser Alexa entrer chez vous?

En janvier, David Limp, vice-président directeur des appareils d'Amazon, a révélé que la société avait vendu plus de 100 millions d'appareils compatibles avec Alexa. L’année dernière aux États-Unis, où un adulte sur cinq possède un assistant vocal à domicile, Alexa détenait 70% du marché américain, contre 24% pour l’assistant Google. Il est donc le mieux placé pour devenir ce que Shoshana Zuboff, dans son best-seller, The Age of Surveillance Capitalism, appelle «One Voice»: l'écosystème dominant qui donnerait à son opérateur «la capacité d'anticiper et de monétiser tous les moments de les gens pendant tous les jours ". Zuboff appelle la naissance d’Alexa «un événement décisif».

Alexa a toutefois grandi à une époque de scepticisme croissant quant au pouvoir et à la moralité des «cinq grandes» sociétés de technologie: Amazon, Apple, Facebook, Google / Alphabet et Microsoft. Des événements tels que les fuites d’Edward Snowden et le scandale Cambridge Analytica ont terni les promesses utopiques de la Silicon Valley. Les PDG sont moins susceptibles de minimiser les problèmes de confidentialité. Les journalistes techniques sont plus susceptibles d'être critiques que les pom-pom girls. Les politiciens sont plus disposés à demander des comptes aux entreprises.

Cette année a été particulièrement difficile. Au cours des six derniers mois, Bloomberg, The Guardian, Vice News et la chaîne d'information belge VRT ont progressivement révélé que tous les cinq grands utilisaient des contractants humains pour analyser un faible pourcentage des enregistrements d'assistants vocaux. Bien que les enregistrements soient anonymisés, ils contiennent souvent suffisamment d’informations pour identifier ou gêner l’utilisateur, en particulier s’ils entendent des informations médicales confidentielles ou une sex tape par inadvertance. Les révélations ont été la dernière goutte pour de nombreux sceptiques Alexa. «Nous vivons dans une techno-dystopie de notre propre fabrication. Si vous avez toujours un Alexa ou un autre assistant vocal chez vous, vous avez été prévenu », a écrit l'écrivain Gizmodo, Matt Novak.

Après avoir travaillé chez Amazon et une autre grande entreprise, Josephson estime que cette résistance à ces entreprises est justifiée. «Ils n'ont aucun intérêt, à mon avis, à se demander quel sera l'impact de ces produits. Les traiter comme les bonnes personnes pour exercer ce pouvoir est une situation ridicule que nous ne permettrions pas dans une autre industrie. Franchement, ils ne sont pas les gardiens des données qu’ils collectent tous les jours à notre insu. »

La commande vocale a fait son entrée dans l’imagination du public dans les années 60, via HAL 9000, l’ordinateur sensible en 2001: une odyssée de l’espace et l’informatique extrêmement utile de Star Trek dans Starship Enterprise. Ce dernier était un point de référence majeur pour les équipes qui ont développé Echo d’Amazon et Google Assistant. «La lumière brillante, la lumière brillante, qui est encore dans plusieurs années, dans plusieurs décennies, doit recréer l'ordinateur Star Trek», a déclaré Limp à un auditoire de la conférence en 2017.

Dans le monde réel, la reconnaissance vocale n’était devenue une habitude que lorsque Apple a lancé son assistant vocal par téléphone, Siri, en 2011. Alexa va beaucoup plus loin en colonisant le domicile de l’utilisateur. Il y a trois décennies, l'informaticien averti Mark Weiser appelait ce type d'écosystème sans friction «informatique omniprésente». En 2015, Eric Schmidt de Google avait prévu un jour où Internet ferait «partie de votre présence tout le temps», rendant ainsi votre comportement réel plus réaliste que ce que vous faites sur votre ordinateur portable ou votre téléphone. Vous ne serez jamais déconnecté.

Le rédacteur en chef de Gizmodo, Adam Clark Estes, était initialement enthousiasmé par la première innovation matérielle majeure depuis l’iPad d’Apple quatre ans plus tôt. Cependant, plus il en apprenait sur la technologie, moins il l'aimait. Son propre Echo se réveillerait sans intervention. Les enregistrements ont commencé à apparaître comme preuve dans les affaires judiciaires. Le FBI a refusé de confirmer ou de nier qu'il utilisait Alexa à des fins de surveillance. «Il m'est devenu de plus en plus clair que les mécanismes de surveillance de la vie privée avaient raison», dit-il. "Il s'agit, à la base, d'un dispositif d'écoute électronique."

Les assistants vocaux incarnent la tension entre efficacité et confidentialité. La technologie est encore profondément imparfaite; Alexa s’est réveillée accidentellement dans plus d’une transcription sur 10 analysée par l’une des sources de Bloomberg. Interpréter avec précision les commandes vocales en tenant compte de différentes langues, accents, tonalités, contextes et degrés d’encombrement ambiant nécessite bien plus de puissance de calcul qu’un appareil unique ne peut en contenir. Par conséquent, la majeure partie du travail est effectuée dans le nuage, ce qui permet aux moniteurs humains de collecter et d'analyser les enregistrements vocaux. «Vous construisez une infrastructure que les grandes multinationales et les appareils de surveillance de l’État peuvent coopter de manière indésirable et que des pirates informatiques malveillants compromettent», a déclaré le Dr Michael Veale, conférencier en droit et réglementation numériques à la Faculté de droit de l’Université UCL à la UCL. College London.

Tous les assistants vocaux ne sont pas égaux. Apple, dont les bénéfices ne reposent pas principalement sur la collecte de données, utilise davantage le calcul et le chiffrement intégrés aux appareils aux deux extrémités. «Apple est le meilleur en matière de vie privée», déclare Estes. "En même temps, je pense que tout le monde est d’accord pour dire que Siri est nul". Amazon Echo et Google Assistant sont beaucoup plus fiables, car les modèles commerciaux de ces entreprises dépendent de connaissances supplémentaires sur votre entreprise pour pouvoir cibler avec précision la publicité. Ils aiment définir la collecte de données comme un moyen d’améliorer les services tout en minimisant les immenses avantages commerciaux.

Bien entendu, Google et Amazon pourraient choisir d’améliorer la technologie en payant les gens pour la tester – type de travail effectué par Josephson en 2012 – au lieu de traiter leurs clients comme une base de données de recherche et développement gratuite. Ou ils pourraient annoncer le fait que les humains étudient peut-être les enregistrements. «Cela devrait être sur la boîte», déclare le Dr Jeremy Gillula, directeur du projet à la Electronic Frontier Foundation, un groupe qui milite contre l'utilisation abusive de la technologie. L’interprétation généreuse des motivations des sociétés de technologie est un utopisme insouciant, mais Gillula affirme que s’ils étaient vraiment naïfs au sujet des implications de leur technologie, ils ne feraient pas tout ce qui est en leur pouvoir pour les dissimuler. «Je doute qu'ils aient pensé que personne ne s'en soucierait. Je pense qu'ils essayaient de garder le silence, car si les utilisateurs savaient ce qui se passait, ils pourraient arrêter d'acheter les appareils. C'était une décision commerciale calculée. "

En réponse, une porte-parole d'Amazon a déclaré: «La confiance du client est au centre de tout ce que nous faisons et nous prenons la confidentialité des clients très au sérieux. Nous révisons en permanence nos pratiques et procédures pour nous assurer que nous fournissons à nos clients les meilleures expériences et choix de confidentialité. Nous fournissons à nos clients plusieurs contrôles de confidentialité, notamment la possibilité de réviser et de supprimer leurs enregistrements vocaux. Pour améliorer Alexa, nous examinons manuellement un très petit échantillon de demandes Alexa afin de confirmer qu’Alexa a bien compris et a répondu correctement. Les clients peuvent choisir de ne pas inclure leurs enregistrements vocaux dans ce processus de révision. "

Pourtant, il a été démontré à maintes reprises que, dans leurs politiques de confidentialité et leur politique de confidentialité astucieuses, les entreprises de technologie occultent systématiquement l’ampleur et la nature de la collecte de données. "Google et Amazon nous ont montré qu’ils étaient enclins à prendre autant que possible jusqu’à ce que quelqu'un les attrape avec la main dans le pot de biscuits", explique Estes. «Je déteste être dramatique, mais je ne pense pas que nous nous sentirons jamais à l’abri de leurs pratiques de collecte de données. La réglementation gouvernementale est la seule chose qui va arrêter plus de dégâts. "

Le gouvernement américain a été réticent à agir. En juillet 2015, l'Electronic Privacy Information Center (Epic), une organisation à but non lucratif établie de longue date et vouée aux «valeurs démocratiques à l'ère de l'information», a appelé à une enquête sur les appareils «toujours connectés», y compris les assistants vocaux. Ils n'ont pas encore reçu de réponse. "Les solutions basées sur le marché ne fonctionnent pas dans ce domaine car les entreprises ont été autorisées à dissimuler les défauts de leurs propres produits", explique Marc Rotenberg, directeur exécutif d'Epic. Il ajoute: "Si vous ou moi devions placer un appareil chez quelqu'un d'autre avec la possibilité de capturer leurs communications privées, nous enfreindrions la loi fédérale sur l'écoute électronique."

En juillet, un membre du Congrès démocrate, Seth Moulton, a présenté la loi sur l’exploitation automatique de l’écoute, qui pénaliserait les entreprises dont les assistants vocaux et les sonnettes intelligentes (telles que Amazon Ring) enregistrent des conversations sans autorisation, mais Gillula considère qu’il s’agit d’une «législation plutôt faible». En Europe, qui a une expérience de première main amère de la surveillance de masse sous des régimes totalitaires, les régulateurs ont des dents plus pointues. Récemment, Johannes Caspar, le formidable commissaire à la protection des données de Hambourg, a contraint Google à suspendre la transcription des enregistrements vocaux dans l’ensemble de l’UE, tandis que Apple et Facebook ont ​​simultanément stoppé la transcription partout dans le monde. (Amazon a simplement autorisé les utilisateurs à ne pas participer à la surveillance humaine.) Le Bureau du Commissaire à l’information du Royaume-Uni enquête pour déterminer si le contrôle humain enfreint le règlement général sur la protection des données. «Nous avons déjà une réglementation importante dans ce domaine, mais la clé est l’application», déclare Veale. "Comme toutes les autorités européennes chargées de la protection des données, le bureau du commissaire à l'information est sous-financé et surutilisé, et nécessite des investissements et un soutien importants pour protéger les droits fondamentaux des citoyens."

Sans réglementation efficace, il n’existe aucune défense contre une exploitation plus invasive des assistants vocaux. Par définition, toujours allumés, même quand ils ne sont pas éveillés, les appareils écoutent en permanence, bien qu’ils ne transmettent pas toujours. Gillula affirme qu’aucun obstacle technique n’empêche les appareils en veille, par exemple, de suivre l’écoute de la télévision par les utilisateurs en réagissant aux signaux aigus incorporés dans les émissions et les publicités, ou d’identifier qui se trouve dans la maison à tout moment. «Cela devient essentiellement une surveillance constante», explique Gillula. "J'espère que les entreprises ne s'engageront jamais dans cette voie dystopique, mais je pouvais les voir dire:" Oh, c'est une fonctionnalité: sachez que vos enfants sont à la maison! ". Une caractéristique intéressante est la façon dont la plupart de ces choses commencent."

Le lieu où ils se retrouvent a galvanisé non seulement les observateurs de la vie privée, mais également les écrivains. Les implications dystopiques des assistants vocaux apparaissent dans la science-fiction, notamment dans le film Her, Black Mirror et Years and Years de Spike Jonze. Derrière eux se cache l’oreille jamais vue du téléfilm de George Orwell dans Nineteen Eighty Four-Four: "Vous deviez vivre – viviez, par habitude qui devenait instinctive – en supposant que chaque son que vous émettiez était entendu." Show, un assistant intelligent doté d'un écran et d'une caméra, a été largement comparé à l'écran du télescreen lors de son introduction il y a deux ans. «Alexa, montre-moi la dystopie», a plaisanté Vice. Dans le roman satirique Zed de Joanna Kavenna, l'écrivain explore «l'aspect étrange des serviteurs dysfonctionnels» d'assistants de voix réels (qui ont tous une voix féminine comme paramètre par défaut) et les conséquences sociopolitiques de One Voice: dans Zed, le monopole technologique , Coléoptère, est omniprésent et inexplicable. «L’idée démocratique est que nous sommes censés avoir des sociétés et des gouvernements transparents, tout en préservant la confidentialité des personnes», dit-elle. «Nous avons l'inverse. Les gens sont inquiets parce que cela n’est pas débattu à un niveau mature et démocratique. »

Kavenna craint que loin de légiférer pour protéger la vie privée des utilisateurs, les États américains cherchent à accéder aux enregistrements d'assistants vocaux au nom de la prévention du crime et de la sécurité nationale. L'année dernière, un juge du New Hampshire a fait la une des journaux en ordonnant à Amazon de soumettre aux enquêteurs les enregistrements Echo d'un double meurtre. «Cela les met dans une position très compliquée entre leurs clients et le gouvernement», a déclaré Kavenna. "Nous sommes très dépendants du régime politique."

Rotenberg est d’accord: «Si vous êtes un pays autoritaire, pourquoi ne pas simplement envoyer le flux audio directement à un organisme de surveillance gouvernemental et affirmer que c’est pour réduire le crime à la maison? C’est effrayant à contempler, mais concevable. "

Aujourd'hui, les assistants vocaux ne constituent pas la menace la plus urgente à la vie privée, car ils sont facultatifs. Un scanner de reconnaissance faciale peut vous espionner dans un espace public, mais Alexa, comme un vampire, doit être invitée chez vous. Le seul pouvoir réellement efficace que vous pouvez exercer sur cette technologie est de ne pas l'utiliser. Cependant, les efforts d’Amazon pour intégrer Alexa à de nombreux produits, y compris les voitures, les téléviseurs, les écouteurs, les micro-ondes, les thermostats et les horloges, compromettent le choix en connaissance de cause, tout en signant des accords avec des sociétés de construction de logements et des chaînes hôtelières. devenir la voix unique. "Le contrôle de la voix est forcé dans la gorge des consommateurs, que cela leur plaise ou non", déclare Estes.

Nous ne sommes pas encore là. Les entreprises de technologie se fondent sur le mythe de l’inévitabilité technologique pour occulter les décisions commerciales qu’elles ont prises et la possibilité d’autres modèles. Les défier, c'est se battre pour l'avenir. Nonsense, dit Kavenna. «Est-ce une conséquence inévitable de la technologie? Non, c’est une application idéologique de la technologie. Si vous construisez un bâtiment, vous n’avez pas à construire un panoptique. Il ne faut pas que ce soit ce que nous avons maintenant. Ils prétendent souvent que si vous vous y opposez, vous êtes un néo-luddite. Ce mythe a permis à beaucoup de personnes de devenir incroyablement riches. "

Aucune des personnes à qui j'ai parlé ne possède d’assistant vocal à la maison et ne conseille à personne de l’acheter, mais tous sont d’accord pour dire qu’il serait possible de développer un appareil offrant les services les plus populaires tout en respectant la vie privée de l’utilisateur. Si l’ensemble du secteur devait suivre l’innovation d’Apple en optant pour la surveillance humaine plutôt que pour la refuser, ce serait un bon début. Ensuite, à mesure que la puissance de traitement augmente, davantage de tâches peuvent être effectuées à l'intérieur de l'appareil. Mais, bien sûr, cela signifierait la perte de ces données juteuses et monétisables. «Beaucoup de choses que vous voulez vraiment faire ne devraient pas avoir besoin d’Internet, et une fois que vous avez coupé l’accès au cloud, les problèmes de confidentialité ont disparu», dit Estes. "Il y a toujours le potentiel pour que les choses s'améliorent – et il y aura toujours une lutte pour arriver à ce point."

Jeremy Gillula est tellement convaincu qu'il est possible de concevoir un assistant vocal sûr, entièrement contrôlé par l'utilisateur, à l'aide du logiciel Open-Source.

«Je vais y arriver», dit-il gaiement. "Je ne suis pas encore satisfait à 100%, mais cela allume et éteint les lumières."

Source

www.theguardian.com

Leave A Reply