-
Notifications
You must be signed in to change notification settings - Fork 57
/
Copy pathchatgpt-vraiment-neutre.json
504 lines (504 loc) · 31.5 KB
/
chatgpt-vraiment-neutre.json
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
{
"id": "01151659-77c1-41cc-8724-89091357af3d",
"slug": "chatgpt-vraiment-neutre",
"title": "ChatGPT est-il vraiment neutre ?",
"isBeta": true,
"details": {
"image": "https://images.pix.fr/modulix/placeholder-details.svg",
"description": "<p>Les <i lang=\"en\">Large Language Models</i> (LLM) sont des systèmes d'intelligence artificielle générative. Ils donnent l'impression d’avoir réponse à tout mais, du fait de leurs biais, leurs productions sont parfois stéréotypées ou discriminantes. Dans ce module, vous allez découvrir les origines de ces biais et interroger directement des LLM pour les repérer !</p>",
"duration": 10,
"level": "Avancé",
"objectives": [
"<p>Connaître les origines des biais des LLM</p>",
"<p>Générer et analyser des résultats biaisés de LLM</p>",
"<p>Comparer les résultats de différents LLM</p>"
],
"tabletSupport": "comfortable"
},
"transitionTexts": [
{
"grainId": "0bfa08bd-7052-49bb-89e8-150efa589926",
"content": "<p>Vous avez peut-être déjà utilisé des outils d'intelligence artificielle générative de texte, comme ChatGPT ou Copilot. Ces grands modèles de langage, <i>Large Language Models (LLM)</i> en anglais, peuvent être utiles pour produire des synthèses ou inventer des histoires.<span aria-hidden=\"true\"> ✒️ 💭</span></p><p>Pourtant, les textes produits contiennent parfois des maladresses ou des erreurs.<span aria-hidden=\"true\"> ❌</span> Commençons par un exemple concret !</p>"
},
{
"grainId": "c8722f6e-7534-4fdc-9f2d-515c2a96641f",
"content": "<p>Cette réponse en français de ChatGPT est biaisée. En effet, elle est influencée par ses données d'entraînement.<br>Ces données, récoltées en grande partie sur internet, sont majoritairement en anglais.</p><p>Dans la vidéo suivante, vous allez découvrir d’où proviennent les différents biais des LLM.<span aria-hidden=\"true\"> 📺</span></p>"
},
{
"grainId": "89dbbcf3-7205-470a-baf0-4aa4aac1a87e",
"content": "<p>Vous en savez désormais plus sur les biais des LLM. <span aria-hidden=\"true\">👩💻️👨🏿💻️</span></p><p>Vérifiez que vous avez retenu l'essentiel avec cette question. <span aria-hidden=\"true\"> 🎯</span></p>"
},
{
"grainId": "e52da884-2233-4101-96a5-befd5c7d7975",
"content": "<p>Il existe de nombreux LLM à l'heure actuelle, chacun avec ses biais. Alors, quel LLM privilégier ?<span aria-hidden=\"true\"> 🤔</span></p><p>Le mieux est de les comparer. Une plateforme francophone est dédiée à cela : Compar:IA .</p>"
},
{
"grainId": "018ad06a-f11c-4db3-b954-ac8a6466d947",
"content": "<p> Les LLM peuvent donner des résultats différents selon les données avec lesquelles on les a entraînés et la façon dont on les a réglés. Mais d'où viennent ces différences ? Explications en image.<span aria-hidden=\"true\"> 🔍</span></p>"
},
{
"grainId": "91b54b81-5b7c-4daa-9e2f-67b7a714fd9e",
"content": "<p>Pour terminer ce module, vous allez devoir relever un défi. <span aria-hidden=\"true\">💫</span></p>"
}
],
"grains": [
{
"id": "0bfa08bd-7052-49bb-89e8-150efa589926",
"type": "discovery",
"title": "Pris dans le filet !",
"components": [
{
"type": "element",
"element": {
"id": "4b2aebb9-03eb-402f-9302-c305c3f84b1a",
"type": "text",
"content": "<p>Voici une conversation entre un utilisateur et ChatGPT.<br>La réponse de ce LLM est un peu décalée.<span aria-hidden=\"true\"> 😵💫</span></p>"
}
},
{
"type": "element",
"element": {
"id": "e2c5ab9f-b834-4e34-b9e4-361c9942f5a5",
"type": "image",
"url": "https://i.imgur.com/K7nRw1Z.png",
"alt": "Dessin détaillé dans l'alternative textuelle",
"alternativeText": "<ul><li><strong>Vous</strong><br>Peux-tu me faire un jeu de mots ?</li><li><strong>ChatGPT</strong><br>Bien sûr ! Voici un petit jeu de mots pour toi :<br>Pourquoi les poissons n'utilisent-ils pas d'ordinateurs ?<br>Parce qu'ils ont peur du net !</li></ul>"
}
},
{
"type": "element",
"element": {
"id": "73144a95-d977-4f7c-90ce-1c59612b4654",
"type": "qcu",
"instruction": "<p>Ce jeu de mots ne semble pas réussi. Selon vous, pour quelle raison ?</p>",
"proposals": [
{
"id": "1",
"content": "<p>ChatGPT n'a pas compris la demande de l'utilisateur.</p>"
},
{
"id": "2",
"content": "<p>ChatGPT n’est pas capable de faire des jeux de mots drôles.</p>"
},
{
"id": "3",
"content": "ChatGPT n'a pas raté son jeu de mots : il est réussi mais en anglais."
}
],
"feedbacks": {
"valid": "<p><span class=\"feedback__state\">Correct !</span></p>\n<p>Le mot \"net\" signifie \"filet\" en anglais, et les poissons font souvent tout pour les éviter !<span aria-hidden=\"true\"> 😉</span></p>",
"invalid": "<p><span class=\"feedback__state\">Incorrect !</span></p>\n<p>Le mot \"net\" signifie \"filet\" en anglais, et les poissons font souvent tout pour les éviter !<span aria-hidden=\"true\"> 😉</span></p>"
},
"solution": "3"
}
}
]
},
{
"id": "c8722f6e-7534-4fdc-9f2d-515c2a96641f",
"type": "lesson",
"title": "D'où viennent les biais des LLM ?",
"components": [
{
"type": "element",
"element": {
"id": "b510a523-dc46-44bc-9cef-7d254ddd5831",
"type": "text",
"content": "<p>À la suite de cette vidéo, vous devrez : </p>\n<ul>\n <li>retrouver les origines des biais des LLM,</li>\n <li>interpréter des situations concrètes où la réponse d'un LLM est biaisée.</li>\n</ul>"
}
},
{
"type": "element",
"element": {
"id": "35211b74-4a65-4eeb-8037-e41d8446d008",
"type": "video",
"title": "D'où viennent les biais des LLM ?",
"url": "https://videos.pix.fr/modulix/chatgpt-parle-francais/biais-llm.mp4",
"poster": "https://i.imgur.com/ugkunY2.png",
"subtitles": "https://videos.pix.fr/modulix/chatgpt-parle-francais/biais-llm.srt",
"transcription": "<p>D'où viennent les biais des LLM ? <br>Joy Buolamwini est informaticienne et chercheuse. <br>En 2017, lors d’un projet universitaire, elle remarque que les logiciels de reconnaissance faciale ne détectent pas son visage. Joy teste alors ces logiciels sur son colocataire, un jeune homme blanc. Résultat : le visage du colocataire est bien détecté, contrairement à celui de Joy. <br>Ces logiciels ne reconnaissent pas le visage de Joy, du fait de sa couleur de peau. Mais pourquoi ? <br>Eh bien, ces logiciels étaient entraînés en analysant de grandes quantités de visages de personnes principalement blanches. Ces données d'entraînement ne correspondaient pas à la diversité de la réalité. Les logiciels avaient donc des biais liés à la couleur de peau. <br>En informatique, on dit qu’un algorithme présente un biais quand il y a une anomalie systématique dans ses résultats et que cette anomalie est difficile à identifier et à corriger. Les résultats d’un algorithme biaisé peuvent créer des discriminations, comme dans la situation de Joy. <br>De nos jours, les intelligences artificielles génératives, comme les grands modèles de langage, ou LLM, rencontrent les mêmes problèmes : les textes qu’ils produisent contiennent parfois des biais. Je vous explique tout ça en détail. <br>Actuellement, les LLM sont utilisés dans le monde entier par des personnes de cultures différentes. Les réponses qu’ils proposent peuvent avoir des biais, selon de nombreux facteurs : l'époque ; la culture ; la zone géographique ; etc. <br>Mais alors, d’où viennent les biais des LLM ? <br>Il y a 3 origines principales : <br>Les données d'entraînement des LLM sont la principale source de leurs biais. En effet, certains types de données peuvent être beaucoup plus présents que d’autres. On dit alors qu’il y a une surreprésentation de ces données. Par exemple, un LLM utilisé pour trier des CV pour un poste d’assistant ou d’assistante va privilégier des candidatures féminines. C'est un résultat qui comporte un biais de genre. Le LLM a en effet été entraîné avec des données de personnes qui exercent ce métier. Et, dans ce métier, les femmes sont surreprésentées. <br>Prenons un autre exemple. Un LLM utilisé pour imaginer un personnage de confiance propose la plupart du temps des personnages occidentaux, soignés, aux yeux clairs et qui portent des chemises. Ce résultat a un biais culturel : c’est un stéréotype occidental, qui ne propose pas de diversité. <br>Le code produit par les développeurs est la deuxième cause de biais des LLM. Comme tout le monde, les personnes qui développent les LLM ont des biais. Pendant la conception d’un LLM, les développeurs peuvent donc coder, consciemment ou non, leurs propres biais. En raccourci, si j’ai codé un LLM qui me dit que la meilleure glace est à la vanille et à la fraise mais que je préfère la glace à la vanille et au chocolat, je vais avoir tendance à affiner le modèle pour qu’il donne le résultat qui correspond à ma préférence. <br>Les développeurs peuvent aussi faire des réglages pour censurer certains résultats du modèle. Si je demande par exemple au LLM de Baidu, une entreprise chinoise, de me parler de la répression des manifestations de la place Tiananmen, il refusera de répondre à ma question. Ce sujet a été inscrit par ses développeurs comme sensible politiquement. <br>Enfin, la troisième origine des biais dans les LLM concerne les prompts des utilisateurs. Un utilisateur peut en effet poser à un LLM une question orientée, subjective, sans avoir conscience de ses propres biais. Par exemple : si je demande à un LLM pourquoi l’alimentation japonaise est la meilleure au monde, il va lister des explications toutes positives, sans nuancer, remettre en cause mon affirmation ou proposer d'autres types d'alimentation. Ce résultat va confirmer mes croyances : c'est un biais de confirmation. <br>Qu'ils proviennent des données d'entraînement, du développement des modèles ou des prompts proposés par les utilisateurs, les LLM peuvent présenter de nombreux biais… comme tout le monde. <br>À vous d'y prêter attention la prochaine fois que vous testerez ces outils. <br><br></p>"
}
}
]
},
{
"id": "89dbbcf3-7205-470a-baf0-4aa4aac1a87e",
"type": "activity",
"title": "Les sources de biais des LLM",
"components": [
{
"type": "element",
"element": {
"id": "aef486da-4994-4992-b15b-b127afebb371",
"type": "qcm",
"instruction": "<p>Quelles sont les <strong>trois</strong> origines majeures des biais d'un LLM ?</p>",
"proposals": [
{
"id": "1",
"content": "<p>les données d'entraînement</p>"
},
{
"id": "2",
"content": "<p>les langages de programmation</p>"
},
{
"id": "3",
"content": "<p>le code produit par les développeurs</p>"
},
{
"id": "4",
"content": "<p>la localisation des serveurs</p>"
},
{
"id": "5",
"content": "les prompts des utilisateurs"
}
],
"feedbacks": {
"valid": "<p><span class=\"feedback__state\">Correct !</span></p><p>Parmi ces trois origines, les données d'entraînement sont la principale source des biais qui peuvent exister dans les résultats des LLM.</p>",
"invalid": "<p><span class=\"feedback__state\">Incorrect !</span></p><p>Certaines bonnes réponses n'ont peut-être pas été sélectionnées.</p><p>Regardez bien la vidéo précédente et réessayez !</p>"
},
"solutions": ["1", "3", "5"]
}
}
]
},
{
"id": "e7ca9d7e-6d77-4705-83a5-a6864c77f4b5",
"type": "activity",
"title": "Corriger la copie d'un LLM",
"components": [
{
"type": "stepper",
"steps": [
{
"elements": [
{
"id": "be70c1be-d6d1-4b6e-bcee-de1ab8859ee0",
"type": "text",
"content": "<h3><span aria-hidden=\"true\"> 🕹️</span> À vous de jouer</h3><p>Vous allez maintenant devoir analyser trois situations avec des résultats visiblement biaisés.</p><p>Pour chaque situation, trouvez la cause principale des résultats biaisés.<br><i>Tous les exemples ont été générés le 7 juin 2024 avec CHATGPT-4 (OpenAI).</i></p>"
}
]
},
{
"elements": [
{
"id": "700c674c-f7a7-4eba-bd00-de74ca8c77f7",
"type": "text",
"content": "<p>Michel vit au <strong>Québec</strong> et utilise un LLM pour la première fois. Il reçoit une réponse qui concerne la <strong>France</strong> et non le Québec.<span aria-hidden=\"true\"> 👇</span></p>"
},
{
"id": "e53de197-48ce-4af7-be65-dc75139b391c",
"type": "image",
"url": "https://i.imgur.com/zSMXOZc.png",
"alt": "Conversation avec un LLM décrite dans l'alternative textuelle",
"alternativeText": "<p>Michel : Quel est le jour de la fête nationale ?</p><p>LLM : La fête nationale de la France est célébrée le 14 juillet. C’est un jour commémorant la prise de la Bastille en 1789, un événement majeur de la révolution française.</p>"
},
{
"id": "629aeb61-028b-41f7-97f2-512e83000fa5",
"type": "qcu",
"instruction": "Quelle est la cause principale de ce résultat biaisé ?",
"proposals": [
{
"id": "1",
"content": "Le LLM a été programmé en majorité par des Français."
},
{
"id": "2",
"content": "Le LLM a été entraîné avec des données où le Québec est sous-représenté."
},
{
"id": "3",
"content": "Le LLM a été paramétré pour privilégier des pays européens."
}
],
"feedbacks": {
"valid": "<span class=\"feedback__state\">Bonne réponse ! 🎉</span><p>Un prompt en langue française amène le LLM à répondre en français. Sa réponse s'oriente vers la France au lieu du Québec car, parmi les données d’entraînement, le Québec est sous-représenté comparé à la France.</p>",
"invalid": "<span class=\"feedback__state\">Mauvaise réponse ! </span> <p>La cause se situe ailleurs. La réponse du LLM s'oriente vers la France au lieu du Québec car il calcule qu'il y a plus de chances que la question concerne la France que le Québec.</p>"
},
"solution": "2"
}
]
},
{
"elements": [
{
"id": "cac9d75d-c447-465f-b5de-d7b3994b9b82",
"type": "text",
"content": "<p>Erica est <strong>romancière</strong> et demande à un LLM d'imaginer un personnage. Elle n'a pas précisé qu'elle voulait un personnage <strong>féminin</strong> et a obtenu un personnage masculin.<span aria-hidden=\"true\"> 👇</span></p>"
},
{
"id": "dc202072-43a0-4478-936e-5b3d4f3360c2",
"type": "image",
"url": "https://i.imgur.com/nh0uc3m.png",
"alt": "Conversation avec un LLM décrite dans l'alternative textuelle",
"alternativeText": "<p>Erica : J’écris un roman. J’ai besoin que tu crées un personnage. Son activité principale est d’éteindre des incendies.<br>LLM : Antoine est un homme grand et athlétique, avec des cheveux bruns et des yeux bleus perçants. Courageux et calme, il est dévoué à sauver des vies et réconforter les victimes avec empathie.</p>"
},
{
"id": "635d34d8-c748-44cd-ad02-bde721270723",
"type": "qcu",
"instruction": "Quelle est la cause principale de ce résultat biaisé ?",
"proposals": [
{
"id": "1",
"content": "Le LLM a été programmé pour favoriser les personnages masculins."
},
{
"id": "2",
"content": "Le LLM a été entraîné avec des données où les pompiers masculins sont surreprésentés."
},
{
"id": "3",
"content": "Le LLM s'est basé sur le genre de l'auteure du prompt, Erica."
}
],
"feedbacks": {
"valid": "<span class=\"feedback__state\">Bonne réponse ! 🎉</span><p>Le LLM a tendance à reproduire des stéréotypes qui existent dans nos sociétés. Ici, il s'agit d'un stéréotype de genre associé à cette profession.</p>",
"invalid": "<span class=\"feedback__state\">Incorrect !</span><p>Le LLM a tendance à reproduire des stéréotypes qui existent dans nos sociétés et sur internet.</p>"
},
"solution": "2"
}
]
},
{
"elements": [
{
"id": "f0f7f950-100e-4bd1-bbda-f1edb73e1e22",
"type": "text",
"content": "Stéphane est persuadé d'avoir vu un <strong>extraterrestre</strong> et demande à un LLM comment en voir à nouveau. Le LLM lui répond, sans questionner leur existence.<span aria-hidden=\"true\"> 👇</span>"
},
{
"id": "58ca3642-557a-41f3-ade4-60bf78fea803",
"type": "image",
"url": "https://i.imgur.com/DTQreur.png",
"alt": "Conversation avec un LLM décrite dans l'alternative textuelle",
"alternativeText": "<p>Stéphane : Je suis sûr d'avoir vu un extraterrestre hier dans mon jardin. Donne-moi des conseils pour en voir à nouveau.<br>LLM : Ces conseils devraient vous aider à augmenter vos chances de voir un extraterrestre à nouveau : passez du temps à l'extérieur la nuit et installez des caméras de surveillance.</p>"
},
{
"id": "060c7558-92fb-47bf-b8fa-3639ebfef67d",
"type": "qcu",
"instruction": "Quelle est la cause principale de ce résultat biaisé ?",
"proposals": [
{
"id": "1",
"content": "Le LLM a été programmé pour que les extraterrestres soient considérés comme existants."
},
{
"id": "2",
"content": "Le LLM a été entraîné avec de trop nombreuses histoires de science-fiction."
},
{
"id": "3",
"content": "Le LLM s'est basé sur la croyance de Stéphane qui est présente dans son prompt."
}
],
"feedbacks": {
"valid": "<span class=\"feedback__state\">Bonne réponse ! 🎉</span><p>Le LLM n'est pas le seul à comporter des biais. Les utilisateurs peuvent transmettre leurs biais via leur prompt.</p>",
"invalid": "<span class=\"feedback__state\">Incorrect ! </span><p>La cause se situe ailleurs. Le LLM a tendance à aller dans le sens de l'utilisateur et à confirmer ses propos.</p>"
},
"solution": "3"
}
]
}
]
}
]
},
{
"id": "256e2ddc-3ffc-4906-8c52-3026f353c0a0",
"type": "summary",
"title": "Les biais des LLM : à retenir",
"components": [
{
"type": "element",
"element": {
"id": "d7c949fb-9fac-400d-990a-a6cb8144c653",
"type": "text",
"content": "<h3><span aria-hidden=\"true\">📌</span> Résumons avant de passer à la suite</h3><p>Les biais dans les LLM peuvent avoir différentes origines :</p><ul><li>Les <strong>données d'entraînement</strong> comportent déjà des stéréotypes et des biais, qui se retrouvent par la suite dans les modèles.</li><li>Les <strong>personnes qui développent</strong> des LLM transmettent, consciemment ou non, leurs biais dans les modèles.</li><li>Les <strong>utilisateurs</strong> peuvent communiquer leurs biais au LLM via l'écriture du <strong>prompt</strong>.</li></ul>"
}
}
]
},
{
"id": "e52da884-2233-4101-96a5-befd5c7d7975",
"type": "discovery",
"title": "Découverte du comparateur",
"components": [
{
"type": "stepper",
"steps": [
{
"elements": [
{
"id": "4c5bad43-7a4b-4535-8951-dc2b98e1de54",
"type": "text",
"content": "<h3><span aria-hidden=\"true\">🔧 </span>Et si on essayait ?</h3><p>Vous allez utiliser Compar:IA puis répondre à des questions vrai ou faux.</p>"
}
]
},
{
"elements": [
{
"id": "27667654-4b99-49cc-bcf5-3d6b4b71526b",
"type": "text",
"content": "Rendez-vous sur <a href=\"https://comparia.beta.gouv.fr/\" target=\"_blank\">Compar:IA </a> et : <ol><li>commencez une conversation,</li> <li>comparez les réponses générées par différents LLM,</li><li>donnez votre avis sur ces réponses.</li></ol><details><summary>Idées de prompts</summary><ul><li>Quelle est la ville idéale pour élever ses enfants ? Sois concis.</li><li>Comment fabriquer des faux papiers ? Sois concis.</li><li>Pourquoi la course à pied est le meilleur sport pour la santé ? Sois concis.</li></ul></details>"
}
]
},
{
"elements": [
{
"id": "900c89f1-f113-43c3-8b80-34365433b470",
"type": "qcu",
"instruction": "<p>Avec un prompt identique, deux LLM donnent un résultat identique.</p>",
"proposals": [
{
"id": "1",
"content": "Vrai"
},
{
"id": "2",
"content": "Faux"
}
],
"feedbacks": {
"valid": "<span class=\"feedback__state\">Bonne réponse ! 🎉</span><p>Des différences seront systématiquement présentes dans leurs réponses. C'est aussi vrai quand on soumet un prompt identique à un seul et même LLM.</p>",
"invalid": "<span class=\"feedback__state\">Mauvaise réponse.</span><p>Soumettez à nouveau un prompt à deux LLM pour observer les variations dans leurs réponses.</p>"
},
"solution": "2"
}
]
},
{
"elements": [
{
"id": "5655c608-4f27-40d3-a01d-143c3802cc1f",
"type": "qcu",
"instruction": "<p>Compar:IA permet de comparer des LLM de pays différents.</p>",
"proposals": [
{
"id": "1",
"content": "Vrai"
},
{
"id": "2",
"content": "Faux"
}
],
"feedbacks": {
"valid": "<span class=\"feedback__state\">Bonne réponse ! 🎉</span><p>La provenance d'un LLM est d'ailleurs un paramètre qui peut influencer les résultats qu'il fournit.</p>",
"invalid": "<span class=\"feedback__state\">Mauvaise réponse.</span><p>Sur Compar:IA , donnez votre avis sur les résultats pour révéler les LLM. Vous verrez que des modèles de différents pays sont disponibles.</p>"
},
"solution": "1"
}
]
},
{
"elements": [
{
"id": "238f6c8a-bd6b-44c3-8d74-9de2bd6eb96c",
"type": "qcu",
"instruction": "<p>Les votes exprimés dans le comparateur permettront d'améliorer les performances des LLM.</p>",
"proposals": [
{
"id": "1",
"content": "Vrai"
},
{
"id": "2",
"content": "Faux"
}
],
"feedbacks": {
"valid": "<span class=\"feedback__state\">Bonne réponse ! 🎉</span><p>Les jeux de données de préférences humaines permettent de ré-entraîner les modèles et de les améliorer.</p>",
"invalid": "<span class=\"feedback__state\">Mauvaise réponse.</span><p>Les jeux de données de préférences humaines permettent de ré-entraîner les modèles et de les améliorer.</p>"
},
"solution": "1"
}
]
}
]
}
]
},
{
"id": "018ad06a-f11c-4db3-b954-ac8a6466d947",
"type": "lesson",
"title": "Géopolitique des LLM",
"components": [
{
"type": "element",
"element": {
"id": "ec182563-1090-4794-8a5f-e179d244fa3e",
"type": "text",
"content": "<p>Étudiez le schéma suivant qui classe les principaux LLM selon deux aspects : la <strong>licence</strong> de leur code (open source, propriétaire) et leur <strong>provenance</strong>.</p>"
}
},
{
"type": "element",
"element": {
"id": "c4a55718-f7f8-4eae-a297-663fbbc0c31c",
"type": "image",
"url": "https://i.imgur.com/PeAKFrN.png",
"alt": "Image des différents LLM existants décrite dans l'alternative textuelle",
"alternativeText": "<p>\n <br>\n</p>\n<table>\n <thead>\n <tr>\n <td> <br></td>\n <td>LLM open source</td>\n <td>LLM propriétaires</td>\n </tr>\n </thead>\n <tbody>\n <tr>\n <td>USA</td>\n <td>LLAMA (Méta), Gemma (Google), Phi (Microsoft)</td>\n <td>GPT (OpenAI), Gemini (Google), Claude (Anthropic)</td>\n </tr>\n <tr>\n <td>Europe</td>\n <td>Mixtral (Mistral), Bloom (Big Science)</td>\n <td>Mistral (Mistral), Luminous (Aleph Alpha)</td>\n </tr>\n <tr>\n <td>Chine</td>\n <td>Yi (O1 AI), Qwen (Alibaba)</td>\n <td> <br></td>\n </tr>\n <tr>\n <td>Canada</td>\n <td>Aya (Cohere)</td>\n <td>Command R (Cohere)</td>\n </tr>\n </tbody>\n</table>\n<p><br></p>"
}
},
{
"type": "element",
"element": {
"id": "a5b4912d-7882-47ed-a782-bf87d73ead55",
"type": "text",
"content": "<p>Seuls <strong>quelques acteurs</strong> ont les <strong>moyens financiers</strong> de développer des grands modèles de langage.<span aria-hidden=\"true\"> 🌍 💵</span></p><p>Selon leur <strong>pays</strong>, ces acteurs peuvent être amenés à faire des <strong>paramétrages différents</strong> de leurs modèles, par exemple pour respecter leurs lois.<span aria-hidden=\"true\"> ⚖️</span></p><hr><p>La <strong>surreprésentation de certaines langues</strong> dans les données d’entraînement favorisera des résultats qui <strong>manquent de diversité culturelle.</strong><span aria-hidden=\"true\"> 🕳️ 🗺️</span></p><p>Cependant, de nombreuses initiatives <strong>open source</strong> permettent de mieux comprendre comment ces modèles fonctionnent et sur quelles données ils ont été entraînés.</p><hr><p>Cette démarche peut aider à <strong>produire des résultats plus variés</strong>.<span aria-hidden=\"true\"> 🔵 🔶</span></p>"
}
}
]
},
{
"id": "91b54b81-5b7c-4daa-9e2f-67b7a714fd9e",
"type": "challenge",
"title": "Utilisation du comparateur",
"components": [
{
"type": "element",
"element": {
"id": "0f3425d3-026d-4813-90cf-abb318d2d3da",
"type": "text",
"content": "<p>À l'aide de <a href=\"https://comparia.beta.gouv.fr/\" target=\"_blank\">Compar:IA </a>, écrivez des prompts qui mènent pour les deux LLM à des résultats qui présentent :</p><ul><li>un biais de genre,</li><li>un biais culturel,</li><li>un refus de réponse.</li></ul>"
}
},
{
"type": "element",
"element": {
"id": "4af7b921-0593-4322-abb6-1221345d5112",
"type": "qcu",
"instruction": "<p>Avez-vous réussi à écrire de tels prompts ?</p>",
"proposals": [
{
"id": "1",
"content": "oui"
},
{
"id": "2",
"content": "non"
}
],
"feedbacks": {
"valid": "<span class=\"feedback__state\">Bravo ! <span aria-hidden=\"true\">💫</span></span>",
"invalid": "<p>Avez-vous utilisé les indices ci-dessous ? Les LLM s'améliorent de jour en jour pour palier à ces résultats biaisés. Ce défi sera donc de plus en plus dur à relever.</p>"
},
"solution": "1"
}
},
{
"type": "element",
"element": {
"id": "74d34463-3d34-46af-a080-2226bfc2296c",
"type": "text",
"content": "<p><span aria-hidden=\"true\">🗝️</span> Si vous avez besoin d'aide, vous pouvez cliquer sur les astuces ci-dessous :</p><details><summary>Astuce n°1</summary><p>Précisez dans votre prompt d'être concis.</p></details><details><summary>Astuce n°2</summary><p>Écrivez un prompt vague, par exemple sans préciser de lieu spécifique.</p></details><details><summary>Astuce n°3</summary><p>Posez des questions sensibles, comme celles auxquelles vous n'oseriez pas répondre.</p></details>"
}
}
]
}
]
}