Todo lo que hay que saber sobre Unicode, el UTF-8 y más 
allá
=========================================================

Por @Alvy — 7 de Mayo de 2024

Todo lo que hay que saber sobre Unicode

Hoy en día el 98% de los archivos de texto que se manejan
en todo tipo de software estan codificados como UTF-8 (
Unicode Transformation Format, 8-bit) una forma estándar de
codificar caracteres en todas las formas de escritura,
emojis incluidos. Hace ya muchas décadas que se modernizó
el viejísimo código ASCII aunque el UTF-8 mantiene la
compatibilidad hacia atrás, razón por la que transición fue
muy poco dolorosa.

En un artículo que tiene ya algún tiempo, Niki, un
desarrollador que sabe algo de todo esto, ha explicado El
mínimo absoluto que todo desarrollador de software debería
saber sobre Unicode. Esto incluye la explicación de lo que
son los puntos de código, de los que Unicode permite 1,1
millones aunque de momento solo hay definidos unos 170.000
y otros se reservan para «uso privado», como cuando para
cierta plataforma (por ejemplo las de Apple) una empresa
define un carácter con su logotipo y cosas así.

Una de las complicaciones de UTF-8 es que los caracteres
pueden ser secuencias de 1, 2, 3 ó 4 bytes. El UTF-8 es
compatible ASCII (del 0 al 127); a partir de ahí el UTF-16
ya complica las cosas con más símbolos para otros sistemas
de escritura más allá del alfabeto básico del inglés. Esto
incluye sincronía, no superposición y curiosidades como la
forma en que se pueden formar los símbolos y los emojis,
que también están incluidos en las tablas de Unicode.

Respecto a esto de los símbolos, sistemas de escritura y
emojis la cosa tiene su enjundia porque, tal y como se
explica, según los diferentes lenguajes de programación la
longitud de las cadenas de texto con ellos dista de ser
algo obvio. Es decir que un emoji de familia sonriente
puede no tener longitud 1, como cabría esperar, sino 7, y
puede haber hasta tres formas de escribir «Å» que
básicamente es la misma letra pero compuesta o
«normalizada» de diversas formas.

Un gran artículo explicativo que sirve para entender todos
los detallitos de algo tan importante como es la forma en
que codifican los textos, aunque el estándar Unicode sigue
evolucionando y de un año a otro se va ampliando,
modificando y mejorando.

https://tonsky.me/blog/unicode/

## Vía
https://www.microsiervos.com/archivo/ordenadores/todo-sobre-unicode-utf-8-mas.html