Vivre dans un monde sous algorithmes

Journée d’étude organisée par CREIS-Terminal

Vivre dans un monde sous algorithmes

24 novembre 2017 9h45-16h

Télécom ParisTech 46 rue Barrault 75634 Paris Cedex 13 Amphi Grenat

Intervenants
Programme
Inscription

Pourquoi les algorithmes sont-ils en ce moment la coqueluche des média ? Un algorithme, d’après Wikipédia, est une « suite finie et non ambiguë d’opérations ou d’instructions permettant de résoudre un problème ou d’obtenir un résultat ». Pour être exécutable par un ordinateur, il est traduit par une suite d’instructions d’un langage de programmation. Divers algorithmes deviennent complexes de par le volume de données qu’ils traitent pour arriver à un résultat attendu : quel temps fera-t-il demain ? comment évolue le climat ? quels sont les potentiels futurs terroristes ? comment capter l’opinion publique ? comment attirer et fidéliser le consommateur ? Comment piloter à distance une opération ? … La technique informatique accompagne ce mouvement de complexification en traitant de gros volumes d’information de nature diverse (big data), en introduisant de l’apprentissage dans les algorithmes (machine learning), en modélisant des mécanismes de l’intelligence humaine (intelligence artificielle). Mais il ne faut pas perdre de vue que derrière les algorithmes, il y a des humains avec leurs présupposés, leurs idéologies, leurs visions du monde… Un exemple rapporté par un article de Numerama :« Beauty.AI est le premier concours de beauté jugé par des algorithmes. Problème : la grande majorité des gagnants a la peau claire »1. Cet exemple met en évidence l’importance des données et exemples qui nourrissent le système. Mais d’autres exemples sont à relever :

Les lois françaises sur le renseignement et contre le terrorisme votées sous le gouvernement précédent donnent aux services de renseignement et de police des pouvoirs exorbitants notamment en matière de collecte des données sur les réseaux. Elles autorisent la surveillance de masse et visent à prédire, via des algorithmes embarqués dans des « boîtes noires » des comportements potentiellement dangereux. Il ne fera pas bon se trouver parmi les « faux positifs » à savoir des personnes repérées à tort.

Le ministère de la Justice a autorisé, à titre expérimental, l’utilisation d’un logiciel Predictis. Il s’appuie sur un algorithme qui permet d’évaluer les chances de réussite d’une procédure ou le montant des indemnités en analysant des décisions de justice qui doivent, depuis la loi Lemaire, être accessibles en ligne dans le cadre de l’ « open data ». Le terme « justice prédictive » a accompagné le lancement de cet algorithme.

Le modèle économique des GAFAM (Google, Amazon, Facebook, Apple, Microsoft) et de tous ceux qui se sont lancés à leur suite s’appuie en partie sur l’extraction et l’exploitation des données personnelles. Pour offrir recherches et services personnalisés, il faut connaître l’utilisateur, ses habitudes, ses « amis », sa localisation, ses horaires de travail, etc. Tout devient prétexte à collecter des données, à les traiter, à les fusionner et … à les vendre. Des algorithmes, souvent compliqués et opaques, traitent du « big data ». Profilé, le consommateur est aussi manipulé. Sa navigation, par exemple, va orienter les affichages des bandeaux publicitaires. Les suggestions faites par un moteur de recherche sont souvent faites à partir de scores. Agrégateurs de données, data brokers, travaillent non seulement pour le marketing mais aussi pour la propagande politique. Sont ici en jeu les capacités de choix de l’individu, voire son autonomie et son libre-arbitre, fondements de la démocratie

La multiplication des algorithmes s’appuyant sur le « big data », l’intelligence artificielle, le « machine learning » doit être interrogée quant à son impact sociétal : limites du traitement algorithmique, conséquences sur les libertés individuelles, tant économiques que culturelles et sociales, fondements du pacte démocratique, …

C’est à cette interrogation que CREIS-Terminal entend contribuer par cette journée d’étude où seront abordées les enjeux techniques, sociaux, juridiques, économiques… des algorithmes.

1 http://www.numerama.com/tech/193524-beauty-ai-algorithme-etre-raciste.html

Intervenants

Monsieur Adrien Basdevant Associé du cabinet d’avocats Lysias Partners

La géopolitique des algorithmes

Les données – et les algorithmes qui les traitent – renversent les logiques de pouvoir existantes. L’analyse des rapports de force en présence est indispensable pour saisir cette nouvelle donne. La géopolitique du numérique met en exergue une triple problématique de souveraineté. Tout d’abord, une course effrénée que mène chaque Etat-nation pour affirmer son influence dans le cyberespace. Ensuite, la nouvelle opposition entre ces Etats-nations traditionnels et les nouveaux acteurs du numérique, que sont les Etats-plateformes. Ces derniers entretiennent des relations subtiles et ambivalentes. Le numérique devient en effet un enjeu décisif de soft power permettant d’imposer subrepticement sa norme, son pouvoir. Dans cet affrontement de titans, les individus doivent se réunir pour trouver des modalités de représentation, afin de ne pas rester tributaires ni des Etats ni des Plateformes. Tels sont les enjeux de la géopolitique des algorithmes.


Monsieur Christophe Benavent Professeur Université Paris Ouest

Gouverner les conduites : le rôle des algorithmes

Qu’il s’agisse des moteurs de recommandation, des systèmes de prix dynamiques, des systèmes de réputation, des agents interactifs, ou de la reconnaissance d’images, les algorithmes jouent un rôle essentiel et croissant dans le gouvernement des conduites des consommateurs. Ils définissent un cadre d’action, et jouent un rôle évaluatif et incitatif, généralement ajusté aux profils des utilisateurs. Leur but vise autant à obtenir des résultats spécifiques lors des interactions individuelles, qu’à obtenir des comportements généraux des populations, ce rôle est exacerbé dans l’environnement des plateformes numériques : places de marchés, réseaux sociaux, sites collaboratifs. Ces systèmes orientés vers l’action plutôt que l’étude produisent des effets parfois inattendus et peu souhaitables ( par exemple : discrimination ou bulles de filtrage),  et leur paramétrage peut être contesté par des comportements adversiaux.  Ces phénomènes conduisent à faire de l' »accountability » des algorithmes une priorité dans leur gestion.

Diaporama de présentation

Monsieur Olivier Koch  enseignant chercheur en Sciences de l’information et de la communication à l’Université de Galatasaray (Istanbul)

Prédire l’insurrection

Dans les années 2000, Big data et traitements algorithmiques ont été utilisés dans la gestion sécuritaire des populations. Sous l’occupation de l’Irak (2003-2010), l’armée américaine et la coalition internationale ont expérimenté des technologies de détection automatisée d’insurrections. L’objectif tactique étant de distinguer les « insurgés » du reste de la population et de les neutraliser. A cette fin, à partir de 2006, le département de la Défense américain finance la mise en œuvre d’une ingénierie en modélisation computationnelle des comportements socioculturels. Ces modélisations ambitionnent de détecter le plus finement possible les « insurrections », mais aussi de les prédire. L’usage actuaire des sciences sociales computationnelles est ainsi mis au service de la « stabilisation » des zones d’occupation. Comment ces prédictions sont-elles produites et utilisées ? Comment, à partir du laboratoire de la contre-insurrection en Irak, a vu le jour une industrie de la prédiction automatisée d’instabilités internationales ? On répondra à ces questions à partir de l’étude de dispositifs prédictifs en zones de conflit et à travers l’analyse de l’émergence de la nouvelle ingénierie en modélisation des comportements socioculturels.

Schémas explicatifs

Monsieur François Pellegrini Professeur d’informatique Université de Bordeaux, membre de la CNIL

Biais et conformisme des traitements algorithmiques

La possibilité de traiter efficacement des masses considérables de données accroit la tentation de faire reposer la gestion des sociétés humaines sur une gouvernance algorithmique. Dans cette vision, les traitements de données et leurs résultats seraient considérés comme immunisés contre les errements de l’âme humaine, et donc assimilés à des vérités scientifiques qu’il serait absurde de contester. Or, les traitements de données, comme tout artefact, sont des objets socio-économico-culturels, pétris de biais humains et, qui plus est, intrinsèquement conformistes.

Diaporama de présentation


NB : présentation des propos par les auteurs

Programme

 

9h45 accueil
10h François Pellegrini « Biais et conformisme des traitements algorithmiques »
11h Adrien Basdevant « La géopolitique des algorithmes »
12h-14h temps libre
14h Christophe Benavent « Gouverner les conduites : le rôle des algorithmes »
15h Olivier Koch « Prédire l’insurrection »
Chaque intervention d’une vingtaine de minutes sera suivie d’un échange avec les participants

Participation gratuite mais inscription obligatoire.

Communiqué OLN : Le numérique assigné à l’état d’urgence permanent

Le 3 octobre 2017

Le numérique assigné à l’état d’urgence permanent

L’Assemblée nationale s’apprête à adopter, lors d’un vote solennel, le projet de loi renforçant la sécurité intérieure et la lutte contre le terrorisme.
Perquisitions administratives, mesures de surveillance, boites noires : les enjeux numériques du texte sont nombreux et cruciaux. L’Observatoire des libertés et du numérique (OLN) alerte les parlementaires, notamment celles et ceux qui composeront la future commission mixte paritaire qui examinera prochainement le texte.
La dangereuse captation de pouvoirs au profit de l’Exécutif, policiers, préfets et ministre de l’Intérieur à laquelle aboutira ce texte est en marche, par l’intégration dans le droit permanent de mesures tirées de l’état d’urgence. La logique de suspicion, le déséquilibre des pouvoirs, la restriction de libertés pour tous dans l’espace public sont autant de désastres qui nourrissent une contestation large contre ce texte.
C’est par touches que le numérique apparaît dans le texte, mais à chaque fois sur des enjeux cruciaux.
Les assignations à résidence, renommées « mesures de surveillance individuelles », sont désormais agrémentées d’une mesure inédite : l’obligation de révéler l’ensemble de ses identifiants électroniques. Présentée sans succès lors des multiples prorogations de l’état d’urgence, cette mesure est aujourd’hui portée par le gouvernement et l’Assemblée nationale. Contraire au droit de ne pas s’auto-incriminer, elle porte une atteinte d’autant plus disproportionnée à la protection de la vie privée que tout défaut de déclaration est passible de 3 années d’emprisonnement. L’obligation privera les personnes concernées – auxquelles aucune infraction pénale, même en préparation, n’est reprochée – de toute faculté de communication privée, leurs identifiants devenant la cible de mesures de renseignement particulièrement larges et intrusives.
Les perquisitions administratives – devenues, dans un redoutable effort de « novlangue », des « visites de lieux » – vaudront à ceux qui les subissent la saisie et l’exploitation de l’intégralité de leurs données informatiques, hors de la procédure pénale et ses garanties. L’ampleur de l’atteinte à la vie privée est sans commune mesure avec la faiblesse des exigences du texte : des critères flous (l’appartenance à l’entourage de personnes incitant au terrorisme, l’adhésion à des idées…) quant aux personnes visées, aggravés par un laxisme probatoire consistant à s’en remettre sans ciller aux notes blanches des services de renseignement, c’est à dire à des documents non sourcés, pouvant faire état de simples rumeurs, et non à des procédures d’enquête étayées.
Enfin, l’OLN s’alarme également des prolongations que ce projet offre à la loi renseignement. La captation de données de connexion de l’entourage d’une personne soupçonnée est de retour peu après avoir été censurée par le Conseil constitutionnel (dans un procès engagé par FDN, FFDN et La Quadrature du Net). Sans aucune discussion sur les enjeux de cette mesure ou les raisons de sa censure, la commission des lois puis l’Assemblée nationale se sont bornées à suivre une option suggérée par le Conseil constitutionnel, à savoir la limitation du nombre de personnes simultanément concernées par cette technique de surveillance. Or, cette limitation étant ici unilatéralement fixée par le gouvernement, elle ne saurait offrir aucune garantie contre l’abus par ce dernier de ses pouvoirs, faisant ainsi fi des principes de nécessité et de proportionnalité, rappelés notamment par la récente jurisprudence européenne qui n’a de cesse de prohiber l’accumulation massive de données par les États.
Quant aux boîtes noires – en bref, la surveillance d’Internet via des algorithmes, forme la plus scandaleuse de la surveillance de masse -, le projet entend y redonner un nouveau souffle : la fin de l’expérimentation de la mesure et le rapport parlementaire prévu pour 2018 sont reportés à 2020. On peut aisément craindre que cette prolongation ne soit pas la dernière : le prétexte invoqué, l’absence déclarée de mise en œuvre, ne devraient en aucun cas empêcher un débat essentiel sur l’incompatibilité absolue de ce type de mesures avec les droits fondamentaux protégés dans une démocratie.
Contre les avis les plus avisés d’organisations de défense des droits et du mouvement social, de juristes, mais aussi d’instances internationales – récemment de deux Rapporteurs spéciaux des Nations unies –, on intègre dans le droit commun des mesures inspirées de l’état d’urgence.
Le numérique se retrouve au croisement d’axes centraux de ce texte. Mobilisé pour la protection de la vie privée et la lutte contre les abus de la surveillance, l’Observatoire des libertés et du numérique appelle les parlementaires à refuser ces dispositifs lors de la commission mixte paritaire, en retirant purement et simplement ces dispositions du texte du loi.

Organisations signataires membres de l’OLN : Amnesty International France, Le CECIL, Creis-Terminal, La Ligue des Droits de l’Homme, La Quadrature du Net, Le Syndicat des Avocats de France, Le Syndicat de la Magistrature).

 

Lettre ouverte au sujet de l’ouverture des annuaires de l’Education nationale aux GAFAM

Lettre ouverte signée par le CREIS-Terminal, l’association Enseignement Public et Informatique (EPI), la Fédération des conseils de parents d’élèves (FCPE), la Fédération des Parents d’Élèves de l’Enseignement Public (PEEP), la Ligue des droits de l’Homme (LDH), la Ligue de l’Enseignement et la Société Informatique de France (SIF)

 
 
                                                                                                   Monsieur Jean-Michel Blanquer
                                                                                                        110, rue de Grenelle
                                                                                                        75357 Paris SP 07
                                                                                                   Monsieur Mounir Mahjoubi
                                                                                                        35, rue Saint-Dominique
                                                                                                        75700 Paris

 

 

Réf. 459/17/MS/MA/VP                                                                                      Paris, le 7 juillet 2017

 

Monsieur le Ministre de l’Education nationale,

Monsieur le Secrétaire d’Etat chargé du Numérique,

Le numérique participe à la transformation du service public de l’éducation. C’est un levier de changement. Nul ne le conteste. Mais ce changement ne peut être garanti que s’il s’inscrit dans le respect des principes généraux qui fondent le service public de l’éducation, à savoir le principe d’égalité et ses corollaires de neutralité, de continuité et d’adaptabilité (livre I du Code de l’éducation).

La publication, dans la presse, d’une consigne de la Direction du numérique pour l’éducation (DNE) du ministère de l’Education nationale de mise à disposition des géants du Web des données personnelles et scolaires des élèves et des enseignants suscite un émoi certain dans la communauté éducative, parmi les parents d’élèves ainsi que chez tous les citoyens attachés à la protection des données personnelles. En effet, cette consigne de la DNE du 12 mai 2017 contrevient aux principes même du service public de l’éducation ainsi que l’a rappelé la Cnil, dans un avis du 23 mai 2017 : le ministère de l’Education nationale se doit de « garantir de façon effective et contraignante la protection des données personnelles traitées dans le cadre de ces services », proposés en particulier par les grands fournisseurs du Web. Compte tenu « de la sensibilité des données en jeu », la Cnil insiste sur le fait que cette protection doit se traduire par « un encadrement juridique contraignant tant en ce qui concerne la non-utilisation des données scolaires à des fins commerciales, l’hébergement de ces données en France ou en Europe, ou encore l’obligation de prendre des mesures de sécurité conformes aux normes en vigueur. Une attention particulière devrait, en outre, être portée aux droits des personnes ». Les directives données par le Directeur de la DNE sont en totale contradiction avec le respect de ces garanties demandées par la Cnil.

Dans ce contexte, nous vous demandons, monsieur le Ministre et monsieur le Secrétaire d’Etat, de nous indiquer comment vous entendez répondre à la nécessité de fixer un cadre de régulation adapté qui protège de façon effective les données personnelles des élèves et des enseignants, à la nécessité de mettre en place des solutions adaptées à l’évolution du service public du numérique éducatif.

Comptant sur le fait que vous ne laisserez pas ces questions fondamentales sans réponse, que vous serez attentifs à la protection des données sensibles des élèves et que vous montrerez votre attachement au service public de l’éducation, nous vous prions de croire, monsieur le Ministre de l’Education nationale et monsieur le Secrétaire d’Etat, à l’expression de nos salutations

appel à communication « Panorama des innovations sociales numériques »

Vous pouvez le consulter :https://terminal.revues.org/1600

– English version of the call for papers:https://terminal.revues.org/1603

– Versión española de la convocatoria de ponencias:https://terminal.revues.org/1604