Fréquence en millier d'occurrences ? about openlexicon

[chrplr]

Pour autant que je me souviennes, les frequences sont exprimées en nombre d'occurences *par million* de mots dans le corpus (qui faisait 17 millions de mots). Il est vrai que le chiffre 39000 pour `de` parait tout de même un peu elevé (pratiquement 4% du corpus). A noter: si vous faites la somme des frequences, elle sera inferieure à 1 million car de nombreux "mots" n'ont pas été integrés a lexique (mots etrangers, typos, etc.)

…

On Sat, Jun 22, 2019 at 6:05 PM Christian glacet ***@***.***> wrote: Quand on va à la page 11 du manuel <https://chrplr.github.io/openlexicon/datasets-info/Lexique383/Manuel_Lexique.3.pdf>, on peut lire que la colonne freqLivres indique une fréquence en million d'occurrences. Or le mot le plus fréquent semble être *de* avec une valeur de *38928.92*, soit 38 milliards d'occurence. Cependant on peut aussi lire dans le manuel que le nombre total de mot est de 17 millions. Où est l'erreur ? Est-ce que freqLivres ne serait pas en millier d'occurrences plutôt qu'en million ? La même chose semble se vérifier pour les autres formes de fréquences. — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub <#4?email_source=notifications&email_token=AALVWMU5UGUFWTU7DTRA2ATP3ZEVZA5CNFSM4H2XCYKKYY3PNVWWK3TUL52HS4DFUVEXG43VMWVGG33NNVSW45C7NFSM4G3DHIKA>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AALVWMQ4VZAKFBDVGCJEZRTP3ZEVZANCNFSM4H2XCYKA> .

-- -- Christophe Pallier <[email protected]> INSERM-CEA Cognitive Neuroimaging Lab, Neurospin, bat 145, 91191 Gif-sur-Yvette Cedex, France Tel: [phone] Personal web site: http://www.pallier.org Lab web site: http://www.unicog.org https://www.chronicle.com/interactives/is-email-making-professors-stupid?

[cglacet]

Ahhh, je comprends mon erreur. Ce qui est sous-entendu par par million veut en fait dire : "dans un texte d'un million de mots, le mot de apparait (statistiquement) 39000 fois". J'avais interprété "dans le corpus, le mot de apparaît 39000 million de fois", en gros à chaque fois qu'on vois 1M de fois un mot on fait +1 dans le compteur. Tout cela n'avait aucun sens pour moi (nombre total de mots inférieur au nombre total d'occurrences du mot de). Mais maintenant tout est clair.

Pourquoi ne pas plutôt donner une probabilité d'occurrence pour chaque mot, du genre "la probabilité d'obtenir le mot de en prenant un mot au hasard dans le corpus est de 4/100". Peut être que ça serait moins ambigüe ? Ou peut être que je suis le seul à mal avoir interprété cette explication.

En tout cas merci pour la réponse rapide.

[chrplr]

En fait ce n'est rien de autre que la probabilité, exprimée par million plutôt que par centaine. C'est simplement plus lisible. Le sam. 22 juin 2019 19:27, Christian glacet <[email protected]> a écrit :

…

Ahhh, je comprends mon erreur. Ce qui est sous-entendu par *par million* veut en fait dire : "dans un texte d'un million de mots, le mot *de* apparait (statistiquement) 39000 fois". J'avais interprété "dans le corpus, le mot de apparaît 39000 million de fois" ce qui n'avait aucun sens pour moi (nombre total de mots inférieur au nombre total d'occurrences du mot *de*). Mais maintenant tout est clair. Pourquoi ne pas plutôt donner une probabilité d'occurrence pour chaque mot, du genre "la probabilité d'obtenir le mot *de* en prenant un mot au hasard dans le corpus est de 4/100". Peut être que ça serait moins ambigüe ? Ou peut être que je suis le seul à mal avoir interprété cette explication. En tout cas merci pour la réponse rapide. — You are receiving this because you commented. Reply to this email directly, view it on GitHub <#4?email_source=notifications&email_token=AALVWMR4PPGN2NNMTAQ6ZATP3ZOIPA5CNFSM4H2XCYKKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODYKN4BI#issuecomment-504684037>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AALVWMVYRAKH4JQ3DR43QX3P3ZOIPANCNFSM4H2XCYKA> .