Disposition de clavier bépo - Contributions [fr]

Fréquence des caractères

2015-06-17T15:26:20Z

Pomme : Ajout des données sur le dump de Wikipédia, formatage

{{navigation|icone=Méthodologie.png|Méthodologie|{{PAGENAME}}}}
D'un texte à un autre, on constate qu'il y a des variations sensibles de la '''fréquence des lettres''', y compris pour des textes de plus de 200 000 lettres (comme celui utilisé par Francis Leboutte). Pour obtenir des statistiques aussi représentatives que possible, on utilise le [[corpus]] de Thomas Tempé, qui vise à avoir un volume critique et à contenir des textes d'origines diverses pour dépasser ces problèmes.

La plupart des analyses fréquentielles de la langue française ne tiennent compte que des lettres et non des caractères de ponctuation. Or ces derniers sont plus fréquents que certaines lettres (,'-.:), il faut donc en tenir compte.

On remarquera que l'analyse fréquentielle du français donne a peu près les même résultats que l'anglais, l'allemand et l'espagnol<ref>http://www.apprendre-en-ligne.net/crypto/stat/freq.gif</ref>. Cela pourra servir pour placer les caractères rares en français (surtout vis-à-vis de l'anglais).

==Différentes analyses fréquentielles==
Certaines analyses regroupent les caractères portant le même diacritique, d'autres omettent les ligatures, le ponctuation ou les encore chiffres. Des analyses plus poussées devraient être faites en tenant compte de tous les caractères rencontrés, avec le moins de filtrage possible.

*100 000 caractères, [http://www.apprendre-en-ligne.net/crypto/stat/francais.html sur Ars Cryptographica] — Caractères alphabétiques seulement, textes de Flaubert, Verne et trois articles de l'Encyclopædia Universalis.
*200 000 caractères, [http://www.algo.be/ergo/frequences.html corpus de la disposition Dvorak-fr] — Cahier des exigences pour le collégien, un document du ministère de l'éducation nationale française.
*1 500 000 à 1 600 000 caractères : Tempé/Crako pour la [[version 0.1]] (pour situer)
*une analyse (./stats.py de Gaëtan) sur [http://download.wikimedia.org/frwiki/20100130/frwiki-20100130-all-titles-in-ns0.gz 1 888 595 titres et redirections d'articles de Wikipédia fr] (33 251 164 caractères en tout, 3 547 caractères différents, dump du 30 jan. 2010), on remarque :
**h 15{{e}} plus fréquent que sur les analyses de texte (juste avant p) ;
**le [[Utilisateur:Nemolivier/Tiret|tiret]] en 21{{e}} position est très présent ;
**il y a forcément beaucoup de noms propres d’où la place plus importante pour les capitales : C en 18{{e}}, de 24 à 30{{e}} S L A M D P B ;
**passé 500{{e}} on a plus que 10 occurences par lettre ;
**en fin de liste il y a plus de 2000 articles décrivant un seul caractère (on saura où les trouver…).
*482 258 462 caractères sur l’[http://www.lexique.org/listes/liste_lettres.php analyse de Jean-Luc Manguin sur lexique.org] — 106,8 millions de mots de la base [http://www.frantext.fr Frantext] catégorisée 1830-2000, mots apparaissant plus de dix fois, ponctuation et ligatures absentes, 42 occurences différentes. Les mots analysés forment un ensemble de 112345 graphies et représentent 99,4 % du corpus total qui lui, compte 361887 graphies.
*{{formatnum:950360866}} caractères sur le [http://fr.wikipedia.org/wiki/Wikip%C3%A9dia:T%C3%A9l%C3%A9charger_la_base_de_donn%C3%A9es dump] de la [http://redac.univ-tlse2.fr/corpus/wikipedia.html wikipedia francophone du 18 juin 2008] prétraité par le laboratoire CLLE-ERSS– {{formatnum:227541638}} de mots dont {{formatnum:3192864}} différents (tous en minuscules). Des traces de la syntaxe Wikipédia ont subsisté après le traitement, ce qui explique les fréquences très élevées de « | » (tableau), « { » et « } » ; la barre oblique est logiquement très fréquente puisque les URL ont été conservées. Chaque article débute par un identifiant numérique, par exemple : ''<#38>'', ce qui augmente considérablement la fréquence des caractères '<', '>' et des dix chiffres.

==Résumé sommaire==
En croisant les diverses analyses (les caractères alphabétique sont entre crochets, l'ordre exact global reste à préciser) :
*au dessus de 5% : ['''easintrulo''']
**bépo place « o » et « l » sur la 3{{e}} rangée et non sur celle de garde.
**le a est 6{{e}} avec seulement 6% sur le corpus Leboutte, cela semble étrange.
*entre 5 et 2% : ['''dcmp''']
*entre 2 et 0.5% : '''é [v] , ' [qf] . [gbhj]'''
**ces caractères ont un accès direct
*entre 0.5 et 0.1% : '''à - [x] è [y] ê " [z] : ( )'''
**à è ê " ( ) ont un accès direct
**la fréquence du guillemet " est un reliquat de l'azerty qui n'a pas les vrais «»
**- est en direct sur la touche {{tA|8}} de la rangée supérieure (voir [[Utilisateur:Nemolivier/Tiret|place du tiret]]) ;
**<nowiki>:</nowiki> est en majuscule
*entre 0.1 et 0.01% : '''ç 0 / ? ; â ô î ù û ! 1 [kw] 2 î 3 9 5 4 7 6 8'''
**[[place des chiffres]] : "«»()/ sont plus fréquents que les chiffres mais pas +@=% (le 0 sort du lot).
**le w devrait être dernier et est trop fréquent dans les corpus Tempé/Chartier ;
*moins de 0.01% (1 pour 10 000) : '''* œ ï _ = @ + > ] [ % < ¨ & | # $ ° ² ^ ë ~ © · ž ð ü ö …'''

== Corpus Wikipédia français de 2008 ==

Le laboratoire CLLE-ERSS a prétraité le dump HTML 2008 de la [http://redac.univ-tlse2.fr/corpus/wikipedia.html Wikipédia française] afin d'en extraire le contenu textuel des articles puis a établi la fréquence des mots (normalisés en minuscules). Nous avons utilisé ce résultat pour calculer la fréquence des caractères. Il est à noter que leur fichiers disponibles en téléchargement sont en ISO-8859-1, ce qui peut fausser le compte de caractères n'étant pas présent dans cette norme d'encodage (leur nombre d'occurrences étant toutefois logiquement négligeables en comparaison de caractères utilisés couramment en français). Nous ne présentons ici que les caractères ayant un pourcentage supérieur ou égal à {{formatnum:0.01}}.

{| class="wikitable" style="text-align: center;"
|+Fréquence des caractères
|-
!Rang
!Caractère
!Nombre d'occurrences
!Pourcentage
|-
| 1 || e || {{formatnum:115024205}} || {{formatnum:12.1}}
|-
| 2 || a || {{formatnum:67563628}} || {{formatnum:7.11}}
|-
| 3 || i || {{formatnum:62672992}} || {{formatnum:6.59}}
|-
| 4 || s || {{formatnum:61882785}} || {{formatnum:6.51}}
|-
| 5 || n || {{formatnum:60728196}} || {{formatnum:6.39}}
|-
| 6 || r || {{formatnum:57656209}} || {{formatnum:6.07}}
|-
| 7 || t || {{formatnum:56267109}} || {{formatnum:5.92}}
|-
| 8 || o || {{formatnum:47724400}} || {{formatnum:5.02}}
|-
| 9 || l || {{formatnum:47171247}} || {{formatnum:4.96}}
|-
| 10 || u || {{formatnum:42698875}} || {{formatnum:4.49}}
|-
| 11 || d || {{formatnum:34914685}} || {{formatnum:3.67}}
|-
| 12 || c || {{formatnum:30219574}} || {{formatnum:3.18}}
|-
| 13 || m || {{formatnum:24894034}} || {{formatnum:2.62}}
|-
| 14 || p || {{formatnum:23647179}} || {{formatnum:2.49}}
|-
| 15 || é || {{formatnum:18451937}} || {{formatnum:1.94}}
|-
| 16 || | || {{formatnum:14847201}} || {{formatnum:1.56}}
|-
| 17 || g || {{formatnum:11684140}} || {{formatnum:1.23}}
|-
| 18 || b || {{formatnum:10817171}} || {{formatnum:1.14}}
|-
| 19 || v || {{formatnum:10590858}} || {{formatnum:1.11}}
|-
| 20 || h || {{formatnum:10583562}} || {{formatnum:1.11}}
|-
| 21 || f || {{formatnum:10579192}} || {{formatnum:1.11}}
|-
| 22 || , || {{formatnum:9656092}} || {{formatnum:1.02}}
|-
| 23 || 1 || {{formatnum:9005786}} || {{formatnum:0.95}}
|-
| 24 || . || {{formatnum:7843682}} || {{formatnum:0.83}}
|-
| 25 || ' || {{formatnum:7209956}} || {{formatnum:0.76}}
|-
| 26 || 0 || {{formatnum:6358672}} || {{formatnum:0.67}}
|-
| 27 || 9 || {{formatnum:6340285}} || {{formatnum:0.67}}
|-
| 28 || q || {{formatnum:6140307}} || {{formatnum:0.65}}
|-
| 29 || <nowiki>-</nowiki> || {{formatnum:5718628}} || {{formatnum:0.6}}
|-
| 30 || 2 || {{formatnum:5462613}} || {{formatnum:0.57}}
|-
| 31 || y || {{formatnum:4351953}} || {{formatnum:0.46}}
|-
| 32 || 8 || {{formatnum:3643296}} || {{formatnum:0.38}}
|-
| 33 || ) || {{formatnum:3638248}} || {{formatnum:0.38}}
|-
| 34 || ( || {{formatnum:3624542}} || {{formatnum:0.38}}
|-
| 35 || x || {{formatnum:3588990}} || {{formatnum:0.38}}
|-
| 36 || 3 || {{formatnum:3459061}} || {{formatnum:0.36}}
|-
| 37 || 5 || {{formatnum:3396449}} || {{formatnum:0.36}}
|-
| 38 || 6 || {{formatnum:3376188}} || {{formatnum:0.36}}
|-
| 39 || 4 || {{formatnum:3326019}} || {{formatnum:0.35}}
|-
| 40 || j || {{formatnum:3276064}} || {{formatnum:0.34}}
|-
| 41 || 7 || {{formatnum:3244260}} || {{formatnum:0.34}}
|-
| 42 || : || {{formatnum:3155250}} || {{formatnum:0.33}}
|-
| 43 || è || {{formatnum:2969466}} || {{formatnum:0.31}}
|-
| 44 || à || {{formatnum:2966029}} || {{formatnum:0.31}}
|-
| 45 || k || {{formatnum:2747547}} || {{formatnum:0.29}}
|-
| 46 || ? || {{formatnum:2188127}} || {{formatnum:0.23}}
|-
| 47 || w || {{formatnum:1653435}} || {{formatnum:0.17}}
|-
| 48 || z || {{formatnum:1433913}} || {{formatnum:0.15}}
|-
| 49 || ê || {{formatnum:802211}} || {{formatnum:0.08}}
|-
| 50 || " || {{formatnum:759384}} || {{formatnum:0.08}}
|-
| 51 || / || {{formatnum:623640}} || {{formatnum:0.07}}
|-
| 52 || ç || {{formatnum:544509}} || {{formatnum:0.06}}
|-
| 53 || > || {{formatnum:499481}} || {{formatnum:0.05}}
|-
| 54 || # || {{formatnum:493596}} || {{formatnum:0.05}}
|-
| 55 || < || {{formatnum:476762}} || {{formatnum:0.05}}
|-
| 56 || · || {{formatnum:429085}} || {{formatnum:0.05}}
|-
| 57 || || {{formatnum:402911}} || {{formatnum:0.04}}
|-
| 58 || ; || {{formatnum:379874}} || {{formatnum:0.04}}
|-
| 59 || ô || {{formatnum:357197}} || {{formatnum:0.04}}
|-
| 60 || « || {{formatnum:338547}} || {{formatnum:0.04}}
|-
| 61 || » || {{formatnum:332970}} || {{formatnum:0.04}}
|-
| 62 || â || {{formatnum:320837}} || {{formatnum:0.03}}
|-
| 63 || î || {{formatnum:280201}} || {{formatnum:0.03}}
|-
| 64 || ] || {{formatnum:243399}} || {{formatnum:0.03}}
|-
| 65 || <nowiki>{</nowiki> || {{formatnum:243170}} || {{formatnum:0.03}}
|-
| 66 || [ || {{formatnum:241191}} || {{formatnum:0.03}}
|-
| 67 || } || {{formatnum:229128}} || {{formatnum:0.02}}
|-
| 68 || ° || {{formatnum:214463}} || {{formatnum:0.02}}
|-
| 69 || û || {{formatnum:164516}} || {{formatnum:0.02}}
|-
| 70 || ù || {{formatnum:151236}} || {{formatnum:0.02}}
|-
| 71 || ï || {{formatnum:138221}} || {{formatnum:0.01}}
|-
| 72 || = || {{formatnum:121994}} || {{formatnum:0.01}}
|-
| 73 || % || {{formatnum:121163}} || {{formatnum:0.01}}
|-
| 74 || <nowiki>+</nowiki> || {{formatnum:109254}} || {{formatnum:0.01}}
|-
| 75 || ! || {{formatnum:104109}} || {{formatnum:0.01}}
|-
| 76 || _ || {{formatnum:87702}} || {{formatnum:0.01}}
|-
| 77 || á || {{formatnum:73751}} || {{formatnum:0.01}}
|-
| 78 || & || {{formatnum:67507}} || {{formatnum:0.01}}
|-
| 79 || ü || {{formatnum:55172}} || {{formatnum:0.01}}
|-
| 80 || ² || {{formatnum:54500}} || {{formatnum:0.01}}
|-
| 81 || * || {{formatnum:54224}} || {{formatnum:0.01}}
|-
| 82 || ë || {{formatnum:53862}} || {{formatnum:0.01}}
|-
| 83 || ö || {{formatnum:51020}} || {{formatnum:0.01}}
|-
| 84 || í || {{formatnum:48391}} || {{formatnum:0.01}}

|}

== Corpus de Thomas Tempé ==
http://gpl.insa-lyon.fr/Dvorak-Fr/CorpusDeThomasTempé
1 616 343 caractères (72 différents)

{| border="1"
|-
|e||225947||13.980
|-
|s||121895||7.542
|-
|a||117110||7.246
|-
|i||115465||7.144
|-
|t||111103||6.874
|-
|n||108812||6.732
|-
|r||100500||6.218
|-
|u||96785||5.988
|-
|l||83668||5.177
|-
|o||82762||5.121
|-
|d||56269||3.481
|-
|c||50003||3.094
|-
|p||46335||2.867
|-
|m||45521||2.816
|-
|é||29206||1.807
|-
|v||24975||1.545
|-
|,||22173||1.372
|-
|'||21958||1.359
|-
|q||20889||1.292
|-
|f||16351||1.012
|-
|.||13921||0.861
|-
|b||13822||0.855
|-
|g||13288||0.822
|-
|h||11298||0.699
|-
|j||8351||0.517
|-
|à||7449||0.461
|-
|<nowiki>-</nowiki>||6887||0.426
|-
|x||5928||0.367
|-
|y||4725||0.292
|-
|è||4160||0.257
|-
|ê||3445||0.213
|-
|"||3326||0.206
|-
|z||2093||0.129
|-
|:||1922||0.119
|-
|w||1747||0.108
|-
|)||1616||0.100
|-
|(||1506||0.093
|-
|ç||1306||0.081
|-
|0||1173||0.073
|-
|/||1141||0.071
|-
|?||1093||0.068
|-
|;||942||0.058
|-
|ù||890||0.055
|-
|!||877||0.054
|-
|1||782||0.048
|-
|k||745||0.046
|-
|2||725||0.045
|-
|î||695||0.043
|-
|3||488||0.030
|-
|9||284||0.018
|-
|5||281||0.017
|-
|4||235||0.015
|-
|7||199||0.012
|-
|6||198||0.012
|-
|8||183||0.011
|-
|*||148||0.009
|-
|œ||108||0.006
|-
|ï||84||0.005
|-
|=||81||0.005
|-
|@||72||0.004
|-
|<nowiki>+</nowiki>||68||0.004
|-
|>||64||0.004
|-
|]||56||0.003
|-
|[||54||0.003
|-
|%||48||0.003
|-
|<||47||0.003
|-
|&||20||0.001
|-
|<nowiki>|</nowiki>||12||0.001
|-
|#||11||0.001
|-
|$||10||0.001
|-
|ë||7||0.000
|-
|~||5||0.000
|}

== Corpus de Nicolas C. ==

Statistiques des fréquences des symboles

Ces statistiques ont été calculées en vue d'être utilisés pour le placement des touches, donc ne correspondent pas exactement à des stats pures du corpus utilisés.
Liste des traitements effectués :
* regroupement majuscules/minuscules (on cumule les stats de E et de e) ;
* il n'y a pas de notion de majuscules/minuscules pour la ponctuation, donc on effectue les regroupements suivants (ce sont pas ceux que j'ai utilisé à l'origine, mais ceux qui ont été fait ensuite, j'ai refait les stats en fonction pour avoir des stats à jour pour l'argumentation des permutations) :
* @@':' -> '.'@@ ;
* @@'?' -> ','@@ ;
* @@';' -> "'"@@ ;
* @@'!' -> @@dead-^ ;
* PAS de regroupement chiffres/symboles ;
* report des stats de âêûîôäëïöü sur aeuio, dead-^ et dead-diaresis

Ce qui donne donc :

<pre>
lettre rang occurence

e 1 229143
s 2 121895
a 3 117758
i 4 116225
t 5 111103
n 6 108812
r 7 100500
u 8 97632
l 9 83668
o 10 83229
d 11 56269
c 12 50003
p 13 46335
m 14 45521
é 15 29206
v 16 24975
, 17 23266
' 18 22965
q 19 20889
f 20 16351
. 21 15843
b 22 13822
g 23 13288
h 24 11298
j 25 8351
à 26 7449
dead-^ 27 7225
- 28 6887
x 29 5928
y 30 4725
è 31 4160
" 32 3326
z 33 2093
w 34 1747
) 35 1616
( 36 1506
ç 37 1306
0 38 1173
/ 39 1141
ù 40 890
1 41 782
k 42 745
2 43 725
3 44 488
9 45 284
5 46 281
œ 47 256
4 48 235
7 49 199
6 50 198
« 51 191
» 52 187
8 53 183
* 54 148
_ 55 107
dead-¨ 56 101
= 57 81
@ 58 72
+ 59 68
> 60 64
] 61 56
[ 62 54
% 63 48
< 64 47
¨ 65 20
& 66 20
| 67 12
# 68 11
$ 69 10
70 8
° 71 8
² 72 7
^ 73 5
~ 74 5
© 75 4
· 76 2
ž 77 1
ð 78 1
</pre>

== Références==
<references />

== Liens externes ==
* [http://www.lexique.org/listes/liste_lettres.php Fréquence des lettres] sur lexique.org
* [http://undows.lexique.org/undows/ Undows] — Outil libre pour l'analyse de texte
* [http://www.apprendre-en-ligne.net/crypto/stat/francais.html Fréquence des lettres et des bigrammes] sur apprendre-en-ligne.net
* [http://fr.wikipedia.org/wiki/Fréquence_d'apparition_des_lettres_en_français Fréquence d'apparition des lettres en français] sur Wikipédia (à mettre à jour quand cette page sera plus dév.)
* [http://redac.univ-tlse2.fr/corpus/wikipedia.html Fréquence des mots, corpus Wikipédia français, 262 millions de mots répartis dans 664982 articles, juin 2008] 

[[Catégorie:Bépo]]
[[Catégorie:Corpus]]

Discussion:Fréquence des caractères

2015-06-17T15:22:57Z

Pomme : /* Dump de wikipedia */ Première analyse effectuée, discussion des paramètres

==Liens vers les corpus==
Le lien vers le corpus de Thomas Tempé est mort et il n'y a pas de lien vers celui de Nicolas Charlier… Quelqu'un pourrait-il les raffraichir? [[Utilisateur:Lawrent|Lawrent]] 24 juillet 2013 à 10:55 (UTC)

:Le corpus de Thomas Tempé ne semble plus en ligne nulle part : j'ai envoyé un courriel à l'auteur pour voir s'il le remettrait en ligne (ou nous l'enverrait pour hébergement). L'archive de la [http://web.archive.org/web/20080213211515/http://gpl.insa-lyon.fr/Dvorak-Fr/CorpusDeThomasTemp%C3%A9 description du corpus] montre qu'on ne pourra pas le refaire à l'identique (quels courriels des liste de diffusion avait-il choisis ?) mais je peux en refaire un s'en approchant sinon. [[Utilisateur:Pomme|Pomme]] ([[Discussion utilisateur:Pomme|discussion]]) 17 juin 2015 à 17:16 (CEST) .

==Statistiques chiffres==
(de l'ancien pmwiki Données)

Sur les stats que j'ai fait de mon coté j'ai ca pour les chiffres :
(symbole / position dans le classement / nb d'occurence)
<pre>
1 41 15618
2 45 14538
0 48 14154
3 52 8744
5 55 5182
4 57 4835
6 58 3566
8 59 3345
</pre>

== Dump de wikipedia ==
« (Crako prépare une analyse fréquentielle basée sur l'encyclopédie wikipédia francophone qui devrait permette de trancher.) »
Wikipedia ne comportant que des articles encyclopédique, il doit logiquement y avoir moins de « je » et de future qu'une discussion IRC, on pourrait citer d'autres exemples. Bref ça sera mieux, mais toujours pas parfait. [[Utilisateur:Olympi|Olympi]] 18 janvier 2009 à 17:06 (CET)
:J'ai réalisé une première analyse fréquentielle sur le corpus de Wikipédia (celui prétraité par un laboratoire et hébergé chez eux) afin de pouvoir présenter des fréquences vérifiables ; mon script sera mis-en-ligne une fois qu'il sera fini. En effet :
:- Prenons-nous tous les mots ou seulement ceux présents au moins 10 fois (comme suggéré en commentaire du code de l'article) ? Je n'y suis pas favorable si on veut garder l'ampleur du nombre de mots différents de la Wikipédia par rapport aux autres corpus : il y a {{formatnum:347998}} mots différents ayant au moins 10 occurrences (pour {{formatnum:3192864}} mots différents, loi de Zipf…) ;
:- Effectuons-nous un formatage sur le corpus disponible pour supprimer les identifiants numériques ajoutés par le laboratoire ayant prétraité le corpus ? j'y suis favorable parce ce que cet identifiant fait grimper les occurrences des chiffres (et de « < », « > ». ce qui représente un pourcentage non négligeable de la fréquence. Je modifie le script en ce sens puis poste les fréquences ici pour comparaison.
:J'ai regardé et il est possible de partir d'un dump (encodé en UTF-8) que l'on prétraiterait nous-mêmes mais c'est vraiment beaucoup de travail (enlever la syntaxe wiki) et nos résultats ne seraient pas vérifiables de façon pérenne, sauf si on héberge le dump brut : Wikipéda ne les conserve pas plus [http://dumps.wikimedia.org/frwiki/ d'une année en ligne]. [[Utilisateur:Pomme|Pomme]] ([[Discussion utilisateur:Pomme|discussion]]) 17 juin 2015 à 17:22 (CEST) .

Discussion:Fréquence des caractères

2015-06-17T15:16:33Z

Pomme : /* Liens vers les corpus */ lien mort, auteur contacté