Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

La version 12.0 du standard Unicode est disponible, apporte 554 nouveaux caractères
Et prend en charge les langues moins utilisées

Le , par Bill Fassinou

532PARTAGES

13  0 
Unicode Inc. a annoncé hier dans un billet de blog que la version 12.0 du standard Unicode est maintenant disponible. Il comporte un ajout de 554 nouveaux caractères, portant le total de caractères dans la norme à 137 912. Ces ajouts incluent également quatre nouveaux scripts, pour un total de 150 scripts, ainsi que 61 nouveaux caractères emoji. Selon le site, la norme Unicode fournit un numéro unique pour chaque caractère, quels que soient la plateforme, le périphérique, l'application et la langue. Il a été adopté par tous les fournisseurs de logiciels modernes et permet désormais le transport des données sur de nombreux plateformes, appareils et applications différents sans aucune corruption.

La prise en charge d'Unicode constitue le fondement de la représentation des langues et des symboles dans les principaux systèmes d'exploitation, moteurs de recherche, navigateurs, ordinateurs portables et téléphones intelligents, ainsi qu'Internet et le Web (URL, HTML, XML, CSS, JSON, etc.). La prise en charge de l’Unicode est un moyen de mettre en œuvre ISO/CEI 10646. L'émergence de la norme Unicode et la disponibilité des outils qui la prennent en charge comptent parmi les tendances les plus récentes de la technologie logicielle mondiale. Dans le billet, le consortium a indiqué que les nouveaux scripts et caractères de la version 12.0 prennent en charge les langues moins utilisées dans le monde entier.


On peut citer parmi elles l’Elymaic qui est historiquement utilisé pour écrire l'araméen achéménide dans la partie sud-ouest de l'Iran moderne, le Nyiakeng Puachue Hmong utilisé pour écrire des langues modernes en Hmong au Laos, en Thaïlande, au Vietnam, en France, en Australie, au Canada et aux États-Unis. Il y a également le Wancho utilisé pour écrire la langue moderne wancho en Inde, au Myanmar et au Bhoutan, et pour finir le Nandinagari historiquement pour écrire en sanscrit et en kannada dans le sud de l'Inde. Un soutien supplémentaire pour les langues moins utilisées et les travaux universitaires a été étendu dans le monde entier, notamment :

  • des ajouts au script Miao pour écrire plusieurs dialectes Miao et Yi en Chine ;
  • hiragana et Katakana en petites lettres, utilisées pour écrire le japonais archaïque ;
  • les fractions et les symboles historiques tamouls utilisés en Inde du Sud ;
  • les lettres laotiennes utilisées pour écrire le Pali ;
  • les lettres latines utilisées dans la translittération égyptologique et ougaritique ;
  • les contrôles du format des hiéroglyphes, permettant le formatage complet des quadrats pour les hiéroglyphes égyptiens.

Dans Unicode 12.0, les ajouts de symboles populaires incluent 61 nouveaux personnages d’emojis, dont plusieurs nouveaux emojis pour l’accessibilité, les symboles d'échecs hétérodoxes et féeriques, etc. De plus, les annexes standards Unicode suivantes présentent des modifications notables liées aux modifications apportées aux propriétés des caractères. En particulier, il y a des changements dans :

  • UAX n° 14 : algorithme de rupture de ligne Unicode ;
  • UAX n° 29 : segmentation du texte Unicode ;
  • UAX n° 31 : identificateur Unicode et syntaxe des motifs ;
  • UAX n° 38 : base de données Unicode Han (Unihan) ;
  • UAX n° 45 : U-Source Ideographs.

Une autre nouvelle qu'apporte l'annonce est la mise à jour de trois autres spécifications Unicode. Il s’agit de :

  • UTS n° 10 : algorithme de classement Unicode - tri du texte Unicode ;
  • UTS n ° 39 : mécanisme de sécurité Unicode - réduction de l’usurpation d'identité Unicode ;
  • UTS n° 46 : traitement de compatibilité IDNA Unicode - traitement compatible des URL non-ASCII.

Certains parmi les internautes se disent émerveillés de voir les nouveaux changements dans la norme Unicode, mais déplorent le fait que les systèmes d’exploitation les plus utilisés sont en retard dans la prise en charge des spécifications Unicode et notamment Linux. « Google a cessé de travailler sur son initiative de polices Noto et les versions modernes d'Android sont bloquées avec la version antérieure à Unicode 10. Apple a très bien réussi à ajouter Emoji sur iOS, mais Mac OS semble être laissé pour compte.

Quant à Linux, l'installation d'Unifont donne une couverture, mais la plupart des distributions ne semblent pas avoir le moyen de mettre à jour les polices de base. Il semble que la majorité des systèmes ne s'en soucient pas, car leurs scripts natifs sont déjà supportés », a déclaré l’un d’eux. Pour plus d’informations sur les nouveautés et les apports de la version 12.0 d’Unicode, vous pouvez consulter sa note de version sur le site Web du consortium.

Source : Billet de blog

Et vous ?

Que pensez-vous des nouveautés apportées dans cette version d'Unicode ?

Voir aussi

La version 9.0 du standard Unicode est disponible et apporte 7500 nouveaux caractères parmi lesquels 72 emojis

Le standard Unicode (traitement de données XML)

Java : le JDK 12 est disponible en version bêta, il prend en charge Unicode 11 et dispose d'un nouveau format de clé privée codé x25519 et x448

Unicode donne la liste finale des emoji avec la version Emoji 12.0 l'un d'eux est bien parti pour s'ajouter dans la liste des emoji suggestifs

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de esperanto
Membre expérimenté https://www.developpez.com
Le 12/03/2020 à 10:21
Citation Envoyé par Steinvikel Voir le message
Par " support des idéogrammes unifiés chinois, japonais et coréens (CJK) ", qu'entends-t-on ?
Un support unifié, ou l'unification d'une part commune de leur système d'écriture ?
Unicode a décidé depuis ses débuts que puisqu'on leur attribuait déjà une grande plage de valeurs disponibles, on n'allait pas en plus attribuer un code différent si un caractère d'origine chinoise s'écrit différemment en japonais ou en coréen (ce n'est pas le cas de tous les caractères mais il y en a quelques-uns). "Vous n'avez qu'à avoir des polices de caractères différentes", qu'ils disent. Le souci c'est que du coup, ça devient compliqué d'avoir une citation en chinois au milieu d'un texte en japonais, ou l'inverse.
Ce n'est pas nouveau, c'est le cas depuis les toutes premières versions d'Unicode, et ils ne semblent pas avoir décidé d'en changer depuis, même de façon optionnelle (dans l'article ils disent qu'ils ont ajouté des caractères dans le plan 3, réservé aux caractères chinois rares, mais ils ne semblent toujours pas décidés à y ajouter des variantes coréennes ou japonaises par exemple). Quelques exemples ici (ici les exemples marchent bien parce qu'on a spécifié la langue dans une balise HTML; mais si tu veux écrire en texte brut alors aucun moyen...)
Entre ce choix historique controversé et l'obstination des occidentaux à préférer UTF-8 (qui nécessite 3 octets pour les caractères chinois!) plutôt qu'UCS-2 ou UTF-16, on comprend pourquoi Unicode reste assez peu utilisé dans les pays asiatiques (le plus souvent ils continuent d'utiliser les encodages spécifiques qui existaient avant Unicode). En fait quand un programme utilisé en Asie fonctionne avec Unicode, il y a de grandes chances qu'il ait été conçu en occident...
2  0 
Avatar de ndjpoye
Membre du Club https://www.developpez.com
Le 07/03/2019 à 15:15
comptent parmi les tendances les plus récentes de la technologie logicielle mondiale
He tendance récente ?
Le temps passe !
1  0 
Avatar de Volgaan
Membre confirmé https://www.developpez.com
Le 07/03/2019 à 16:26
Citation Envoyé par ndjpoye Voir le message
He tendance récente ?
Le temps passe !
La première publication de la norme Unicode date de 1991 et le premier système Microsoft qui implémentait Unicode (dans le codage UCS-2) était Windows NT, sorti en 1993. Puis UTF-16 depuis Windows 2000.

Pas de doutes, c'est récent
0  0 
Avatar de Steinvikel
Membre émérite https://www.developpez.com
Le 10/03/2019 à 18:28
Citation Envoyé par la publication
L'émergence de la norme Unicode et la disponibilité des outils qui la prennent en charge comptent parmi les tendances les plus récentes de la technologie logicielle mondiale.
Combien de langage de programmation offre enfin un support fiable et complet d'Unicode (ne serait-ce que UTF-8 ou 16) ?
Combien de logiciels le supportent, les CMS, les framework, les extensions de correcteur orthographique, de reconnaissance de caractère (OCR), combien de font familly, etc.

Oui, il y a des parties logicielles qui le supportent depuis les 90', mais cette généralité est toute récente. ^^' ...ce sont les propos de l'article --> "tendances les plus récentes de la technologie logicielle mondiale".

Sans le support d'Unicode par l'OS, je doute qu'UTF-8 ce serait déployé aussi "rapidement". On aurait surement attendu 5-10 ans de plus.
0  0 
Avatar de Steinvikel
Membre émérite https://www.developpez.com
Le 11/03/2020 à 19:08
Par " support des idéogrammes unifiés chinois, japonais et coréens (CJK) ", qu'entends-t-on ?
Un support unifié, ou l'unification d'une part commune de leur système d'écriture ?
0  0 
Avatar de Steinvikel
Membre émérite https://www.developpez.com
Le 13/03/2020 à 2:40
Va-t-on finir par déboucher sur un Unicode "latin", + un Unicode remanié "Asicode" ?
...c'est la sensation que ça me laisse. ^^'
Quel joyeux bordel... et on a même pas abordé les polices d'écritures ! x)
0  0 
Avatar de esperanto
Membre expérimenté https://www.developpez.com
Le 13/03/2020 à 8:16
Citation Envoyé par Steinvikel Voir le message
Va-t-on finir par déboucher sur un Unicode "latin", + un Unicode remanié "Asicode" ?
Même pas, parce qu'en plus ces pays ne s'apprécient pas trop et donc ne collaborent pas entre eux!
Du coup on a un encodage spécifique en Chine, un autre au Japon, un autre en Corée, encore un à Taiwan... bref, tout le contraire d'une unification.
Et bien sûr les encodages japonais ne contiennent pas les caractères n'existant qu'en Chine et inversement.

Quand on y pense, hors de toute considération politique, l'initiative UniHan n'est pas stupide mais le problème est plutôt qu'Unicode refuse toute indication contextuelle (idée: qu'un numéro ait une signification différente suivant les caractères ou octets qui le précèdent) et ne propose pas pour autant une solution quand il faut réellement faire la distinction (cas de la phrase en japonais au milieu d'un texte en chinois). Pourtant ils l'avaient fait pour l'écriture arabe (voir "formes de présentation arabe" dans Unicode).
0  0 
Avatar de Steinvikel
Membre émérite https://www.developpez.com
Le 13/03/2020 à 20:02
L'idée d'Unicode, c'est d'avoir un répertoire exhaustif de caratère unique, je comprend donc leur position.
Ce qu'il faudrait ajouter, c'est à l'image d'un dictionnaire, plusieurs sens à un unique caractères, pour avoir une interprétation contextuelle.
Et il me semble que c'est déjà le cas ...mais pas pour tout les caractères. ^^'
0  0 
Avatar de esperanto
Membre expérimenté https://www.developpez.com
Le 15/03/2020 à 19:14
Citation Envoyé par Steinvikel Voir le message
L'idée d'Unicode, c'est d'avoir un répertoire exhaustif de caractère unique, je comprend donc leur position.
Hélas ce n'est pas si simple car tout dépend de la définition du mot caractère. Même la définition proposée par Unicode (au chapitre 1 de la spécification) est sujette à interprétation, et comme tu le verras dans les exemples qui suivent, ils ne s'en privent pas.

Même sans s'intéresser aux caractères chinois, on peut déjà parler de caractères français, comme par exemple notre ê. Une première approche est de le considérer comme un caractère unique, et c'est ce qu'a initialement fait Unicode en lui attribuant le numéro 00EA.
Maintenant, pense au fait que pour taper ce caractère il faut actuellement utiliser deux touches, la première étant qualifiée de "touche morte". On pourrait faire remonter ça à l'époque des machines à écrire, certaines touches frappant le papier sans entraîner de mouvement juste après. Mais en fait ça remonte même aux débuts de l'imprimerie: à l'époque on appelait "caractères mobiles" des plaques qu'on mettait les unes à côté des autres pour former le texte, et parfois au dessus ou en dessous des autres. Notre ê était alors généralement formé de 2 caractères mobiles posés un au dessus de l'autre. Donc le ê, ce n'était pas un caractère, mais deux.
Au risque de surprendre, Unicode supporte également cette deuxième forme qu'il appelle forme canonique: le ê peut aussi s'écrire avec les deux caractères 0065 0302: le premier code un e, le second un ^ mais avec la particularité de se superposer au caractère qui le précède. On obtient alors ê et en principe on ne doit pas voir la différence, même si certaines polices de caractère risquent de mal l'interpréter (bizarrement chez moi ça marche sous linux mais pas sous windows!).
Beaucoup de gens préfèrent la forme originale, soit pour des raisons historiques soit parce qu'elle occupe moins de mémoire; mais en réalité, la forme canonique a aussi des avantages: elle rend bien plus facile l'écriture de nombreux algorithmes, tels qu'une recherche sans tenir compte des accents, ou le classement alphabétique.
D'ailleurs, même d'un point de vue linguistique ça se tient: en français le ê n'est pas considéré comme une lettre distincte du e, la preuve en est que quand tu tries par ordre alphabétique, on est sensé le considérer comme identique (du moins en première passe). Après je ne généralise pas, certaines langues considèrent les lettres accentuées comme des lettres à part entière (en espéranto, ĉ sera entre c et d; en suédois, å vient après le z; etc.) mais généralement, c'est bien plus facile d'implémenter l'ordre alphabétique, quelle que soit la règle, quand on utilise des formes canoniques.
Tout ça pour dire que même en se limitant à l'alphabet latin, l'unicité promise par Unicode en prend déjà un coup. En réalité la seule unicité de cet encodage, c'est sa volonté de supplanter tous les autres!!!

Citation Envoyé par Steinvikel Voir le message
Ce qu'il faudrait ajouter, c'est à l'image d'un dictionnaire, plusieurs sens à un unique caractères, pour avoir une interprétation contextuelle.
Pour en revenir aux caractères chinois, ici c'est plutôt le contraire: dans cette page, tous les caractères d'une même ligne ont la même signification (celle qui est donnée sur la dernière colonne), c'est plutôt la forme qui varie d'un pays (ou plus exactement d'une langue) à l'autre.
Il faudrait donc, justement, ajouter des contextes, c'est à dire un moyen d'indiquer que le caractère qui suit doit être écrit sous sa forme chinoise ou japonaise. Mais la notion de contexte, c'est à dire l'idée qu'une suite d'octets ne code pas un caractère mais le contexte à utiliser pour le caractère qui va suivre, est justement l'idée qu'Unicode refuse depuis le début.
Après tout pourquoi pas, mais le problème c'est qu'ils n'offrent aucune alternative. J'aurais bien voulu écrire dans ce message la question « est-ce que 今 et 今 sont deux caractères distincts ou pas? » mais comme le forum ne permet pas de mettre une balise HTML autre que celles prédéfinies (ou alors je n'ai pas trouvé comment) ils risquent fort d'apparaître identiques chez toi. Donc tu vois, même sans écrire en chinois, le seul fait de vouloir donner un exemple suffit à illustrer le problème!

Citation Envoyé par Steinvikel Voir le message
Et il me semble que c'est déjà le cas ...mais pas pour tout les caractères. ^^'
Il y a bien des solutions pour d'autres caractères, mais pas un système de contextes.
Un bon exemple est l'écriture arabe. Dans cet alphabet, chaque lettre a jusqu'à 4 formes différentes suivant la position dans le mot. Unicode propose deux manières de traiter le problème (et hop encore un cas où l'unicité des caractères en prend un coup!)
A l'origine, ISO-8859-6 n'encodait pas le contexte, c'était à l'ordinateur de déterminer tout seul quelle forme était adéquate. Unicode a utilisé cette méthode dans le bloc "arabe". Puis ils se sont rendus compte que dans certains cas il est impossible de déterminer le contexte (par exemple dans ce texte, avec le bloc original je serais incapable d'écrire la phrase « ﭑ et ﭐ sont deux variantes d'une même lettre », ce qui peut être utile dans un manuel scolaire. Alors ils ont créé les « formes de présentation arabe ». Mais évidemment pas question d'utiliser un contexte: chaque forme de chaque caractère a un numéro différent, ce qui fait qu'on passe de 20 lettres arabes à 611 valeurs distinctes!
Alors pourquoi le faire pour l'arabe et pas pour les caractères chinois? Trop nombreux ou pas assez utilisés?
0  0 
Avatar de Steinvikel
Membre émérite https://www.developpez.com
Le 16/03/2020 à 15:17
Citation Envoyé par esperanto Voir le message
D'ailleurs, même d'un point de vue linguistique ça se tient: en français le ê n'est pas considéré comme une lettre distincte du e, (...)
Tout ça pour dire que même en se limitant à l'alphabet latin, l'unicité promise par Unicode en prend déjà un coup. En réalité la seule unicité de cet encodage, c'est sa volonté de supplanter tous les autres!!!
(...)
Il faudrait donc, justement, ajouter des contextes, c'est à dire un moyen d'indiquer que le caractère qui suit doit être écrit sous sa forme chinoise ou japonaise. Mais la notion de contexte, c'est à dire l'idée qu'une suite d'octets ne code pas un caractère mais le contexte à utiliser pour le caractère qui va suivre, est justement l'idée qu'Unicode refuse depuis le début.
--> pour moi ê ne devrait pas être codé comme un caractère unique, mais comme deux caractère uniques, à savoir : la lettre 'e' suivis de la diacritique '^' qui la précise. Car c'est l'accent et son contexte qui a du sens, non la lettre. L’hébreu et l'arabe est composé de nombreuses diacritiques à usage canonique.
Comme tu l'évoques, ce que je trouve compliqué, c'est qu'une même lettre peux présenter plusieurs graphies bien distinctes suivant le pays qui l'emploie (lorsque le système d'écriture, voir la langue, est commune).

...et va savoir la différence qu'il subsiste entre certaine graphies vraisemblablement identique en latin --> ^ = U+02C6 +0302

Citation Envoyé par esperanto Voir le message
Alors pourquoi le faire pour l'arabe et pas pour les caractères chinois? Trop nombreux ou pas assez utilisés?
--> trop nombreux... quand ils ont virés les point de clonage, ils se sont privé des 2/3 de leur espace technique. Je pense que depuis cela affecte certains de leurs choix /vision.
0  0