유니코드

[목차]

Unicode

개요

전 세계의 모든 문자를 다루도록 설계된 표준 문자 전산 처리 방식. 이것을 규율하는 단체는 유니코드 콘소시엄(Unicode Consortium)이다. 주요 구성 요소는 ISO/IEC 10646 Universal Character Set과 UCS, UTF 등의 인코딩 방식, 문자 처리 알고리즘 등이다. 전 세계의 모든 문자를 담는 ISO/IEC 10646 코드표를 사용함으로써, 각 언어와 문자 체계에 따른 충돌 문제를 해결하였다. 따라서 유니코드를 사용하면 한글과 신자체·간체자, 아랍 문자 등을 통일된 환경에서 깨뜨리지 않고 사용할 수 있다.

초창기에는 문자 코드는 ASCII의 로마자 위주 코드였고, 1바이트의 남은 공간에 각 나라가 자국 문자를 할당하였었다. 하지만 이런 상황에서 다른 국가에 이메일을 보냈더니 글자가 와장창 깨졌던 것(...) 인터넷 웹페이지도 마찬가지였다. 이에 따라 2~3바이트의 넉넉한 공간에 세상의 모든 문자를 할당한 결과물이 이것이다. 다만 로마자(혹은 프로그래밍, url 등의 통신 포함) 입장에서는 용량이 두배가 되어 이래저래 비효율인 셈이 되었고, 가변길이 문자 인코딩(UTF-8)을 도입해서 기존 ASCII와 호환되는 규격도 도입했다. 흔히 우리가 웹 브라우저의 인코딩을 설정하면서 자주 보는 UTF-8이라는 말이 이것이고, 바로 유니코드에 기반한 인코딩 방식 중 하나를 가리키는 것이다.

현재의 유니코드는 지구상에서 통용되는 대부분의 문자들을 담고 있다. 여기에는 언어를 표기할 때 쓰는 문자는 물론, 악보 기호, 이모티콘 ʕ•ᴥ•ʔ, 태그, 마작이나 도미노 기호, પ નુલુંગ લસશ~~니 엉덩이 더러워~~, ℳα℘ίɕ 같은 것들도 포함된다.

모든 문자 체계를 담고 있는 것은 아니라서, 과거에 사용된 문자 체계나 자료가 많이 남아 있지 않은 문자 체계는 등록이 되어있지 않아 유니코드로 표현할 수 없다. 물론 아직 유니코드에 없다 뿐이지 어지간한 문자 체계는 유니코드에 집어 넣으려는 계획이 진행중이다. 앞으로 유니코드에 뭘 넣을지 보여 주는 http://www.unicode.org/roadmaps/smp/ 로드맵이 있는데 꽤 알차게 차 있다. ~~선형문자 A는 해독도 안 되었는데 들어가 있다~~ 물론 빈 공간도 꽤 있어 앞으로 유니코드 공간이 부족한 일이 생기려면 한참 남았다.

키보드에 없는 유니코드 문자를 입력하는 다양한 방법이 있다.

특수 문자 입력은 보통 한글 자음+한자키로 쉽게 입력할 수 있다.
Alt 키와 숫자 키패드 조합으로도 입력 가능하다. http://www.fileformat.info/tip/microsoft/enter_unicode.htm
웹에서 Ctrl CV를 할 수 있다.

옛한글이나 제2외국어의 경우 사전 사이트 검색창에서 제공하는 소프트웨어 키보드를 이용해 입력할 수 있다.
유니코드 정보 사이트 http://www.fileformat.info/info/unicode/char/search.htm 에서 검색 후 복사/붙여넣기 할 수 있다.
코드를 안다면 나무위키의 틀:유니코드에서 찾아볼 수도 있다.
HTML에 입력시, ‮ 같이 http://www.ascii.cl/htmlcodes.htm html 코드를 이용해서 입력할 수 있다.
https://en.wikipedia.org/wiki/Character_Map_(Windows) 문자표를 이용한다. HiDPI 환경에서는 UI가 와장창 깨지기 때문에 고해상도 모니터를 쓴다면 http://www.babelstone.co.uk/Software/BabelMap.html Babelmap을 사용한다.
"유니코드 이모티콘"으로 검색해보면 다양한 이모티콘 문자들을 찾을 수 있다.

잘 알아두면 유니코드 문자를 입력하지 못해 籾 대신 "米+刃", 畠 대신 "白밑에田", 栃 대신 "又 아닌 万이 들어간 板" 같이 표현하는 안쓰러운 일을 피할 수 있다. 연합뉴스 홈페이지 등에서는 유니코드를 지원하는데도 한자 표기를 원칙적으로 한국에서만 쓰는 한자로 표기하고 있다. 유니코드를 쓰면 다른 한자 사용국의 한자도 표기할 수 있는데도 굳이 한자를 억지로 파자해 놓았는데, 기사 송고 시스템이 유니코드 이전의 EUC-KR을 강제하고 있다는 등 다른 이유가 있을 가능성이 높다.

현재 유니코드에는 완성형 현대 한글이 모두 들어있으며, 총 11,172자가 등록되어 있다. 한자는 7만자가 들어있다. 라틴 알파벹의 경우 소문자 26자, 대문자 26자로 모두 52자에 불과한 것에 비교하면 동아시아 문자들이 얼마나 공간을 많이 차지하는 지 알 수 있다. 대신 한국어에는 조합형 한글도 들어있다. 옛한글 완성형도 포함하면 100만자가 넘기 때문에 유니코드에 배당된 공간을 넘어서기 때문이다. 그래서 유니코드 문자 공간에 적게 배당해줘도 되는 조합형도 쓸 수 있도록 하여 옛한글도 표기할 수 있도록 한 것이다.

한글은 원래 자음과 모음의 낱자를 조합하여 하나의 음절 문자를 만들기 때문에 조합형으로 하는 것이 생성 원리상 맞으나, 완성형 한글은 한 글자에 유니코드 한 문자가 배당되어있지만, 조합형 한글은 초성, 중성, 종성마다 각각 유니코드 글자가 하나씩 배당되어 용량이 3배로 늘어나므로 옛한글을 쓸 때 외에는 잘 쓰지 않는다. 조합형이 유니코드 문자 배당 공간은 조금만 차지하지만, 문자로 만들어져서 컴퓨터에 저장될 때는 낱자 하나씩을 합쳐야 하므로 완성형보다 더 많은 공간이 필요하다.

키보드에서도 한글의 원리에 맞는 세벌식이 두벌식보다 낫다. 일단 ㅇ와는 음가가 전혀 다른 옛한글 ㆁ부터 살려서 종성에 써야 한다.

조합형 완성형 논쟁, 한글 인코딩

역사

유니코드는 1991년 10월에 최초 버전(1.0.0)이 발표됐으며, 2019년 3월 현재 최신 버전은 2019년 3월 5일에 발표된 12.0이다. 자세한 것은 [위키백과의 Unicode#Versions] 참고. [지원하는 이모지.]

표기 관례

유니코드 문자의 경우 해당 글자의 코드를 표기할 때 U+(16진수 숫자)[* 주로 네 자리로 표기한다.]라고 쓴다. 예를 들면 한글 '가' 자는 유니코드에서 16진수로 AC00(10진수의 44032)라는 코드 넘버를 가지는데, 이것을 U+AC00이라고 적는 식이다.

문자 표기 관례는 아니지만 16진수 표기의 관례를 따라 0x 를 붙여 0xAC00라고 표기된 경우도 간혹 있으니 참고하면 좋다. 레지스트리 편집 등의 컴퓨터에서의 수 표현 영역으로 넘어가면 AC 00 이라 적힌 것을 볼 수 있고, Endian에 따라 00 AC로 적히기도 한다.

유니코드 테이블

유니코드의 구조 및 블록 목록

[include(틀:유니코드)]

유니코드는 대개 기본 문자가 들어 있는 BMP(Basic Multilingual Plane), BMP에 없는 옛글자 등을 넣는 SMP(Supplementary Multilingual Plane), 한자를 더 넣기 위해 별도로 정의한 SIP(Supplementary Ideographic Plane), 앞의 영역에 포함되지 않는 기타 문자 등이 들어가는 SSP(Supplementary Special-purpose Plane), 자유 영역인 PUA(Private Use Area) 등이 정의되어 있다.[* SIP와 SSP 사이에 TIP라는 영역이 정의되어 있지만, 아직 여기에 속하는 글자가 없다.]

자세한 구조는 다음 표와 같다.

||<#CCEEFF> 평면 ||<#CCEEFF> 블록 시작 ||<#CCEEFF> 블록 끝 ||<#CCEEFF> 블록 크기 ||<#CCEEFF> 블록 이름 ||<#CCEEFF> UTF-8 바이트 수 || ||<|162><#FF8080> BMP || U+0000 || U+007F || 128자 || Basic Latin ||<:><#808080> 1[* 아스키 코드와 완벽히 호환되기 때문에 영미권 사용자는 일찌감치 UTF-8로 갈아탔다.] || || U+0080 || U+00FF || 128자 || Latin-1 Supplement ||<|16><:><#A0A0A0> 2 || || U+0100 || U+017F || 128자 || Latin Extended-A || || U+0180 || U+024F || 208자 || Latin Extended-B || || U+0250 || U+02AF || 96자 || IPA Extensions || || U+02B0 || U+02FF || 80자 || Spacing Modifier Letters || || U+0300 || U+036F || 112자 || Combining Diacritical Marks || || U+0370 || U+03FF || 144자 || Greek and Coptic || || U+0400 || U+04FF || 256자 || Cyrillic || || U+0500 || U+052F || 48자 || Cyrillic Supplement || || U+0530 || U+058F || 96자 || Armenian || || U+0590 || U+05FF || 112자 || Hebrew || || U+0600 || U+06FF || 256자 || Arabic || || U+0700 || U+074F || 80자 || Syriac || || U+0750 || U+077F || 48자 || Arabic Supplement || || U+0780 || U+07BF || 64자 || Thaana || || U+07C0 || U+07FF || 64자 || NKo || || U+0800 || U+083F || 64자 || Samaritan ||<|145><:><#C0C0C0> 3 || || U+0840 || U+085F || 32자 || Mandaic || || U+0860 || U+086F || 16자 || Syriac Supplement || || U+08A0 || U+08FF || 96자 || Arabic Extended-A || || U+0900 || U+097F || 128자 || Devanagari || || U+0980 || U+09FF || 128자 || Bengali || || U+0A00 || U+0A7F || 128자 || Gurmukhi || || U+0A80 || U+0AFF || 128자 || Gujarati || || U+0B00 || U+0B7F || 128자 || Oriya || || U+0B80 || U+0BFF || 128자 || Tamil || || U+0C00 || U+0C7F || 128자 || Telugu || || U+0C80 || U+0CFF || 128자 || Kannada || || U+0D00 || U+0D7F || 128자 || Malayalam || || U+0D80 || U+0DFF || 128자 || Sinhala || || U+0E00 || U+0E7F || 128자 || Thai || || U+0E80 || U+0EFF || 128자 || Lao || || U+0F00 || U+0FFF || 256자 || Tibetan || || U+1000 || U+109F || 160자 || Myanmar || || U+10A0 || U+10FF || 96자 || Georgian || || U+1100 || U+11FF || 256자 || Hangul Jamo[* 옛한글이 포함된 조합형.] || || U+1200 || U+137F || 384자 || Ethiopic || || U+1380 || U+139F || 32자 || Ethiopic Supplement || || U+13A0 || U+13FF || 96자 || Cherokee || || U+1400 || U+167F || 640자 || Unified Canadian Aboriginal Syllabics || || U+1680 || U+169F || 32자 || Ogham || || U+16A0 || U+16FF || 96자 || Runic || || U+1700 || U+171F || 32자 || Tagalog || || U+1720 || U+173F || 32자 || Hanunoo || || U+1740 || U+175F || 32자 || Buhid || || U+1760 || U+177F || 32자 || Tagbanwa || || U+1780 || U+17FF || 128자 || Khmer || || U+1800 || U+18AF || 176자 || Mongolian || || U+18B0 || U+18FF || 80자 || Unified Canadian Aboriginal Syllabics Extended || || U+1900 || U+194F || 80자 || Limbu || || U+1950 || U+197F || 48자 || Tai Le || || U+1980 || U+19DF || 96자 || New Tai Lue || || U+19E0 || U+19FF || 32자 || Khmer Symbols || || U+1A00 || U+1A1F || 32자 || Buginese || || U+1A20 || U+1AAF || 144자 || Tai Tham || || U+1AB0 || U+1AFF || 80자 || Combining Diacritical Marks Extended || || U+1B00 || U+1B7F || 128자 || Balinese || || U+1B80 || U+1BBF || 64자 || Sundanese || || U+1BC0 || U+1BFF || 64자 || Batak || || U+1C00 || U+1C4F || 80자 || Lepcha || || U+1C50 || U+1C7F || 48자 || Ol Chiki || || U+1C80 || U+1C8F || 16자 || Cyrillic Extended-C || || U+1CC0 || U+1CCF || 16자 || Sundanese Supplement || || U+1CD0 || U+1CFF || 48자 || Vedic Extensions || || U+1D00 || U+1D7F || 128자 || Phonetic Extensions || || U+1D80 || U+1DBF || 64자 || Phonetic Extensions Supplement || || U+1DC0 || U+1DFF || 64자 || Combining Diacritical Marks Supplement || || U+1E00 || U+1EFF || 256자 || Latin Extended Additional || || U+1F00 || U+1FFF || 256자 || Greek Extended || || U+2000 || U+206F || 112자 || General Punctuation || || U+2070 || U+209F || 48자 || Superscripts and Subscripts || || U+20A0 || U+20CF || 48자 || Currency Symbols || || U+20D0 || U+20FF || 48자 || Combining Diacritical Marks for Symbols || || U+2100 || U+214F || 80자 || Letterlike Symbols || || U+2150 || U+218F || 64자 || Number Forms || || U+2190 || U+21FF || 112자 || Arrows || || U+2200 || U+22FF || 256자 || Mathematical Operators || || U+2300 || U+23FF || 256자 || Miscellaneous Technical || || U+2400 || U+243F || 64자 || Control Pictures || || U+2440 || U+245F || 32자 || Optical Character Recognition || || U+2460 || U+24FF || 160자 || Enclosed Alphanumerics || || U+2500 || U+257F || 128자 || Box Drawing || || U+2580 || U+259F || 32자 || Block Elements || || U+25A0 || U+25FF || 96자 || Geometric Shapes || || U+2600 || U+26FF || 256자 || Miscellaneous Symbols || || U+2700 || U+27BF || 192자 || Dingbats || || U+27C0 || U+27EF || 48자 || Miscellaneous Mathematical Symbols-A || || U+27F0 || U+27FF || 16자 || Supplemental Arrows-A || || U+2800 || U+28FF || 256자 || Braille Patterns || || U+2900 || U+297F || 128자 || Supplemental Arrows-B || || U+2980 || U+29FF || 128자 || Miscellaneous Mathematical Symbols-B || || U+2A00 || U+2AFF || 256자 || Supplemental Mathematical Operators || || U+2B00 || U+2BFF || 256자 || Miscellaneous Symbols and Arrows || || U+2C00 || U+2C5F || 96자 || Glagolitic || || U+2C60 || U+2C7F || 32자 || Latin Extended-C || || U+2C80 || U+2CFF || 128자 || Coptic || || U+2D00 || U+2D2F || 48자 || Georgian Supplement || || U+2D30 || U+2D7F || 80자 || Tifinagh || || U+2D80 || U+2DDF || 96자 || Ethiopic Extended || || U+2DE0 || U+2DFF || 32자 || Cyrillic Extended-A || || U+2E00 || U+2E7F || 128자 || Supplemental Punctuation || || U+2E80 || U+2EFF || 128자 || CJK Radicals Supplement || || U+2F00 || U+2FDF || 224자 || Kangxi Radicals || || U+2FF0 || U+2FFF || 16자 || Ideographic Description Characters || || U+3000 || U+303F || 64자 || CJK Symbols and Punctuation || || U+3040 || U+309F || 96자 || Hiragana || || U+30A0 || U+30FF || 96자 || Katakana || || U+3100 || U+312F || 48자 || Bopomofo || || U+3130 || U+318F || 96자 || Hangul Compatibility Jamo || || U+3190 || U+319F || 16자 || Kanbun || || U+31A0 || U+31BF || 32자 || Bopomofo Extended || || U+31C0 || U+31EF || 48자 || CJK Strokes || || U+31F0 || U+31FF || 16자 || Katakana Phonetic Extensions || || U+3200 || U+32FF || 256자 || Enclosed CJK Letters and Months || || U+3300 || U+33FF || 256자 || CJK Compatibility || || U+3400 || U+4DBF || 6592자 || CJK Unified Ideographs Extension A || || U+4DC0 || U+4DFF || 64자 || Yijing Hexagram Symbols || || U+4E00 || U+9FFF || 20992자 || CJK Unified Ideographs[* 유니코드 1.0에서 U+4E00(一)부터 U+9FA5(龥) 20902자가 처음으로 배당된 이후, 2019년 3월 현재 유니코드 12.0에 이르기까지 U+9FA6(龦)부터 U+9FEF(鿯)에 한자 74자가 새로 추가되었다. 추가할 한자 수가 적으면 새로 한자 확장 영역을 만들지 않고 그냥 이 영역에다가 몇 글자씩 추가하는 듯하다. 이 영역의 마지막인 U+9FFF까지는 빈 코드 포인트 16개가 남아 있는 상황.] || || U+A000 || U+A48F || 1168자 || Yi Syllables || || U+A490 || U+A4CF || 64자 || Yi Radicals || || U+A4D0 || U+A4FF || 48자 || Lisu || || U+A500 || U+A63F || 320자 || Vai || || U+A640 || U+A69F || 96자 || Cyrillic Extended-B || || U+A6A0 || U+A6FF || 96자 || Bamum || || U+A700 || U+A71F || 32자 || Modifier Tone Letters || || U+A720 || U+A7FF || 224자 || Latin Extended-D || || U+A800 || U+A82F || 48자 || Syloti Nagri || || U+A830 || U+A83F || 16자 || Common Indic Number Forms || || U+A840 || U+A87F || 64자 || Phags-pa || || U+A880 || U+A8DF || 96자 || Saurashtra || || U+A8E0 || U+A8FF || 32자 || Devanagari Extended || || U+A900 || U+A92F || 48자 || Kayah Li || || U+A930 || U+A95F || 48자 || Rejang || || U+A960 || U+A97F || 32자 || Hangul Jamo Extended-A || || U+A980 || U+A9DF || 96자 || Javanese || || U+A9E0 || U+A9FF || 32자 || Myanmar Extended-B || || U+AA00 || U+AA5F || 96자 || Cham || || U+AA60 || U+AA7F || 32자 || Myanmar Extended-A || || U+AA80 || U+AADF || 96자 || Tai Viet || || U+AAE0 || U+AAFF || 32자 || Meetei Mayek Extensions || || U+AB00 || U+AB2F || 48자 || Ethiopic Extended-A || || U+AB30 || U+AB6F || 64자 || Latin Extended-E || || U+AB70 || U+ABBF || 80자 || Cherokee Supplement || || U+ABC0 || U+ABFF || 64자 || Meetei Mayek || || U+AC00 || U+D7AF || 11184자 || Hangul Syllables || || U+D7B0 || U+D7FF || 80자 || Hangul Jamo Extended-B || || U+D800 || U+DB7F || 896자 || High Surrogates || || U+DB80 || U+DBFF || 128자 || High Private Use Surrogates || || U+DC00 || U+DFFF || 1024자 || Low Surrogates || || U+E000 || U+F8FF || 6400자 || Private Use Area[* 말 그대로, 글꼴 제작자의 입맛에 따라 어떤 글자를 넣어도 터치를 안 하는 영역이다. 그래서 이 부분은 보통 비어 있다.] || || U+F900 || U+FAFF || 512자 || CJK Compatibility Ideographs || || U+FB00 || U+FB4F || 80자 || Alphabetic Presentation Forms || || U+FB50 || U+FDFF || 688자 || Arabic Presentation Forms-A || || U+FE00 || U+FE0F || 16자 || Variation Selectors || || U+FE10 || U+FE1F || 16자 || Vertical Forms || || U+FE20 || U+FE2F || 16자 || Combining Half Marks || || U+FE30 || U+FE4F || 32자 || CJK Compatibility Forms || || U+FE50 || U+FE6F || 32자 || Small Form Variants || || U+FE70 || U+FEFF || 144자 || Arabic Presentation Forms-B[* 아랍 문자의 isolated, initial, medial, final form들이 들어 있는 영역이지만, 이 영역의 마지막 문자는 다름 아닌 BOM. 생뚱맞게 Specials가 아니라 이 영역에 할당되었다.] || || U+FF00 || U+FFEF || 240자 || Halfwidth and Fullwidth Forms || || U+FFF0 || U+FFFF || 16자 || Specials || ||<|108><#80FF80> SMP || U+10000 || U+1007F || 128자 || Linear B Syllabary ||<|118><:><#E0E0E0> 4 || || U+10080 || U+100FF || 128자 || Linear B Ideograms || || U+10100 || U+1013F || 64자 || Aegean Numbers || || U+10140 || U+1018F || 80자 || Ancient Greek Numbers || || U+10190 || U+101CF || 64자 || Ancient Symbols || || U+101D0 || U+101FF || 48자 || Phaistos Disc || || U+10280 || U+1029F || 32자 || Lycian || || U+102A0 || U+102DF || 64자 || Carian || || U+102E0 || U+102FF || 32자 || Coptic Epact Numbers || || U+10300 || U+1032F || 48자 || Old Italic || || U+10330 || U+1034F || 32자 || Gothic || || U+10350 || U+1037F || 48자 || Old Permic || || U+10380 || U+1039F || 32자 || Ugaritic || || U+103A0 || U+103DF || 64자 || Old Persian || || U+10400 || U+1044F || 80자 || Deseret || || U+10450 || U+1047F || 48자 || Shavian || || U+10480 || U+104AF || 48자 || Osmanya || || U+104B0 || U+104FF || 80자 || Osage || || U+10500 || U+1052F || 48자 || Elbasan || || U+10530 || U+1056F || 64자 || Caucasian Albanian || || U+10600 || U+1077F || 384자 || Linear A || || U+10800 || U+1083F || 64자 || Cypriot Syllabary || || U+10840 || U+1085F || 32자 || Imperial Aramaic || || U+10860 || U+1087F || 32자 || Palmyrene || || U+10880 || U+108AF || 48자 || Nabataean || || U+108E0 || U+108FF || 32자 || Hatran || || U+10900 || U+1091F || 32자 || Phoenician || || U+10920 || U+1093F || 32자 || Lydian || || U+10980 || U+1099F || 32자 || Meroitic Hieroglyphs || || U+109A0 || U+109FF || 96자 || Meroitic Cursive || || U+10A00 || U+10A5F || 96자 || Kharoshthi || || U+10A60 || U+10A7F || 32자 || Old South Arabian || || U+10A80 || U+10A9F || 32자 || Old North Arabian || || U+10AC0 || U+10AFF || 64자 || Manichaean || || U+10B00 || U+10B3F || 64자 || Avestan || || U+10B40 || U+10B5F || 32자 || Inscriptional Parthian || || U+10B60 || U+10B7F || 32자 || Inscriptional Pahlavi || || U+10B80 || U+10BAF || 48자 || Psalter Pahlavi || || U+10C00 || U+10C4F || 80자 || Old Turkic || || U+10C80 || U+10CFF || 128자 || Old Hungarian || || U+10E60 || U+10E7F || 32자 || Rumi Numeral Symbols || || U+11000 || U+1107F || 128자 || Brahmi || || U+11080 || U+110CF || 80자 || Kaithi || || U+110D0 || U+110FF || 48자 || Sora Sompeng || || U+11100 || U+1114F || 80자 || Chakma || || U+11150 || U+1117F || 48자 || Mahajani || || U+11180 || U+111DF || 96자 || Sharada || || U+111E0 || U+111FF || 32자 || Sinhala Archaic Numbers || || U+11200 || U+1124F || 80자 || Khojki || || U+11280 || U+112AF || 48자 || Multani || || U+112B0 || U+112FF || 80자 || Khudawadi || || U+11300 || U+1137F || 128자 || Grantha || || U+11400 || U+1147F || 128자 || Newa || || U+11480 || U+114DF || 96자 || Tirhuta || || U+11580 || U+115FF || 128자 || Siddham || || U+11600 || U+1165F || 96자 || Modi || || U+11660 || U+1167F || 32자 || Mongolian Supplement || || U+11680 || U+116CF || 80자 || Takri || || U+11700 || U+1173F || 64자 || Ahom || || U+118A0 || U+118FF || 96자 || Warang Citi || || U+11A00 || U+11A4F || 80자 || Zanabazar Square || || U+11A50 || U+11AAF || 96자 || Soyombo || || U+11AC0 || U+11AFF || 64자 || Pau Cin Hau || || U+11C00 || U+11C6F || 112자 || Bhaiksuki || || U+11C70 || U+11CBF || 80자 || Marchen || || U+11D00 || U+11D5F || 96자 || Masaram Gondi || || U+12000 || U+123FF || 1024자 || Cuneiform || || U+12400 || U+1247F || 128자 || Cuneiform Numbers and Punctuation || || U+12480 || U+1254F || 208자 || Early Dynastic Cuneiform || || U+13000 || U+1342F || 1072자 || Egyptian Hieroglyphs || || U+14400 || U+1467F || 640자 || Anatolian Hieroglyphs || || U+16800 || U+16A3F || 576자 || Bamum Supplement || || U+16A40 || U+16A6F || 48자 || Mro || || U+16AD0 || U+16AFF || 48자 || Bassa Vah || || U+16B00 || U+16B8F || 144자 || Pahawh Hmong || || U+16F00 || U+16F9F || 160자 || Miao || || U+16FE0 || U+16FFF || 32자 || Ideographic Symbols and Punctuation || || U+17000 || U+187FF || 6144자 || Tangut || || U+18800 || U+18AFF || 768자 || Tangut Components || || U+1B000 || U+1B0FF || 256자 || Kana Supplement || || U+1B100 || U+1B12F || 48자 || Kana Extended-A || || U+1B170 || U+1B2FF || 400자 || Nushu || || U+1BC00 || U+1BC9F || 160자 || Duployan || || U+1BCA0 || U+1BCAF || 16자 || Shorthand Format Controls || || U+1D000 || U+1D0FF || 256자 || Byzantine Musical Symbols || || U+1D100 || U+1D1FF || 256자 || Musical Symbols || || U+1D200 || U+1D24F || 80자 || Ancient Greek Musical Notation || || U+1D300 || U+1D35F || 96자 || Tai Xuan Jing Symbols || || U+1D360 || U+1D37F || 32자 || Counting Rod Numerals || || U+1D400 || U+1D7FF || 1024자 || Mathematical Alphanumeric Symbols || || U+1D800 || U+1DAAF || 688자 || Sutton SignWriting || || U+1E000 || U+1E02F || 48자 || Glagolitic Supplement || || U+1E800 || U+1E8DF || 224자 || Mende Kikakui || || U+1E900 || U+1E95F || 96자 || Adlam || || U+1EE00 || U+1EEFF || 256자 || Arabic Mathematical Alphabetic Symbols || || U+1F000 || U+1F02F || 48자 || Mahjong Tiles || || U+1F030 || U+1F09F || 112자 || Domino Tiles || || U+1F0A0 || U+1F0FF || 96자 || Playing Cards[* 일반적인 플레잉 카드 외에 게임용 타로 카드(타로 누보)의 트럼프(메이저 아르카나) 21장, 그리고 궁정 카드의 기사 카드 4장 등을 더 포함한다.] || || U+1F100 || U+1F1FF || 256자 || Enclosed Alphanumeric Supplement || || U+1F200 || U+1F2FF || 256자 || Enclosed Ideographic Supplement || || U+1F300 || U+1F5FF || 768자 || Miscellaneous Symbols and Pictographs || || U+1F600 || U+1F64F || 80자 || Emoticons || || U+1F650 || U+1F67F || 48자 || Ornamental Dingbats || || U+1F680 || U+1F6FF || 128자 || Transport and Map Symbols || || U+1F700 || U+1F77F || 128자 || Alchemical Symbols || || U+1F780 || U+1F7FF || 128자 || Geometric Shapes Extended || || U+1F800 || U+1F8FF || 256자 || Supplemental Arrows-C || || U+1F900 || U+1F9FF || 256자 || Supplemental Symbols and Pictographs || ||<|6><:><#8080FF> SIP || U+20000 || U+2A6DF || 42720자 || CJK Unified Ideographs Extension B || || U+2A700 || U+2B73F || 4160자 || CJK Unified Ideographs Extension C || || U+2B740 || U+2B81F || 224자 || CJK Unified Ideographs Extension D || || U+2B820 || U+2CEAF || 5776자 || CJK Unified Ideographs Extension E || || U+2CEB0 || U+2EBEF || 7488자 || CJK Unified Ideographs Extension F || || U+2F800 || U+2FA1F || 544자 || CJK Compatibility Ideographs Supplement || ||<|2><:><#FFFF80> SSP || U+E0000 || U+E007F || 128자 || Tags || || U+E0100 || U+E01EF || 240자 || Variation Selectors Supplement || ||<|2><:><#FF80FF> PUA || U+F0000 || U+FFFFF || 65536자 || Supplementary Private Use Area-A || || U+100000 || U+10FFFF || 65536자 || Supplementary Private Use Area-B ||

* [내 글자 보기 (영어)]
* [내 글자 보기 (영어)]
* [내 글자 보기 (영어)]
* [내 글자 보기 (영어)]
* [내 글자 보기 (영어)]

CJK Unified Ideographs는 정확히 말하면 CJKV Unified Ideographs라고 해야 맞다. 유니코드의 CJK Unified Ideographs에는 근대 이전에 베트남어의 고유어를 표기하기 위해 사용하던 쯔놈 글자들도 섞여 있기 때문이다. 그런데 이미 유니코드 초창기(1.0)부터 CJK Unified Ideograph(s)로 불렀고(당시에는 한국, 중국, 대만, 일본의 표준 문자 코드만을 고려했고, 쯔놈은 상대적으로 나중에 추가됐다), 영역 이름과 문자 이름은 한 번 정해지면 절대로 고칠 수 없기 때문에 이를 CJKV로 고치기에는 이미 너무 늦었다.

유니코드와 한글

[include(틀:한글 전산화)]

* 한글 인코딩 문서도 참고할 것.

유니코드에서 한글은 한자[* 유니코드에 등록된 한자는 무려 7만 자가 넘는다.] 다음으로 많은 코드를 차지하고 있는 문자다. 이것은 동아시아권에서 사용하는 문자로서는 두 번째로 많은 영역을 차지하는 것이다. 왜 저렇게 많냐면 현대 한국어 음절 조합과 한글 자모를 모두 집어넣었기 때문이다. 한글의 경우, 현대 한국어의 자모 조합으로 나타낼 수 있는 모든 완성형 한글 11,172자(가, 각, 갂, 갃, …, 힠, 힡, 힢, 힣)이 모두 들어가 있다. 그래서 쿈이나 슌처럼 KS X 1001에서는 쓸 수 없는 글자들도 전혀 문제없이 쓸 수 있다.

또한 U+1100 ~ U+11FF, U+A960 ~ U+A97F, U+D7B0 ~ U+D7FF에 배당된 한글 자모는 한글을 조합형으로 구현할 수 있게 초·중·종성을 일일이 배당한 것이며, 여기에는 옛한글 낱자들도 같이 포함되어 있다. 그래서 ᄒᆞᆫ과 같은 옛한글도 옛한글 전용 글꼴만 있으면 문제없이 쓸 수 있다.

따라서 유니코드 환경이라면 현대 한글은 완성형으로도 조합형으로도 표현할 수 있지만, 조합형은 데이터 크기가 3배로 커지기 때문에 별로 사용되지 않는다. 보통 조합형은 옛한글을 표현할 때 쓰인다. 옛한글을 완성형으로 하나하나 배당하면 유니코드 전체를 뒤덮고도 남기 때문에 조합형으로 표현할 수밖에 없다.[* 한글의 특성상 자모 하나가 추가되면 조합 가능한 글자 수는 배로 늘어나고, 실제로 유니코드에 배당된 조합형 낱자들로 조합 가능한 글자 수는 백만 개 이상이다. ~~실현된다면 한자를 능가하는 민폐~~]

한글 전산화의 잔혹사(?)

대한민국의 한국어 컴퓨터 환경에서는 유니코드가 도입되기 전에는 KS C 5601(완성형, 이후 KS X 1001로 개칭됨)이라는 코드와 이에 기반한 EUC-KR 인코딩을 사용하였다. 그러나 완성형의 한글 글자 수는 2,350자로, 현대 한글이 표현할 수 있는 글자 중 빈도가 높은 일부분만 수록되어 있는 상태였다. 이것 때문에 쿈을 쿈이라 쓰지 못하는 일이 있기도 했다. 이를 해결한 CP949/UHC(통합 완성형)라는 코드도 있는데 완성형에 없는 글자를 억지로 구겨 넣었기 때문에 코드가 자모 순으로 구성되지 않을 뿐만 아니라 코드 표준에 맞지 않게 구현한 프로그램이 많아서 자잘한 문제가 많았다.

유니코드는 1991년 발표된 1.0 버전부터 KS C 5601에 포함된 완성형 2,350자 한글을 지원하였다. 1993년 발표된 1.1 버전에는 KS C 5657(이후 KS X 1002)에 포함된 1,930자 및 중국에서 요청한 6글자를 포함한 2,376자를 추가해 총 6,656자가 수록되었다. 믿기 어렵겠지만 유니코드 1.1에는 옛한글까지 고려한 조합형 한글 낱자도 포함되어 있었고(U+1100 - U+11FF) 실제로 이걸로 넘어가자는 제안도 있었다.[* 출처: 단일문자 표준 연구, 한국전산원, 1993년 6월.] 그러나 당시 한국에서는 2,350자를 벗어난 현대 한글을 사용하려면 그냥 조합형을 사용하면 되었기 때문에 이렇게 추가된 6,656자만으로는 유니코드 기반 완성형을 사용할 이유가 없었다. 조합형이라고 해서 상황이 나은 것도 아닌게 첫가끝 기반 조합형은 90년대 초반까지 한국에서 사용한 조합형과는 달랐고, 지금도 OS X과 윈도우 사이에서 파일을 복사할 때 자주 글자가 풀려 버리는 등 이걸 제대로 지원하는 플랫폼은 흔치 않다. 완성형 한글도 한 번에 일괄적으로 추가되지 않았고 빠진 글자들이 단계별로 추가되었기 때문에 배열 순서가 CP949/UHC보다도 개판이었고 나머지 4,516자를 추가하려고 해도 제대로 추가할 수가 없었다. 한편 유니코드 1.1을 지원했다가 한국에서 한동안 피를 본 프로그램 중 하나가 오라클 DB이었다. 자세한 사항은 해당 문서를 참고할 것.

그래서 대한민국 대표는 유니코드 2.0 제정 시 완성형 현대 한글 11,172자를 가나다순으로 새 영역에 배당할 것을 요청했다. 이때 각국 대표들 사이에서 논쟁이 오갔지만, 결국 대한민국 대표의 요청이 받아들여져서 1996년 발표된 유니코드 2.0에서 1.1 때까지 U+3400 ~ U+4DFF[* 참고로 현재 이 부분에는 한자와 Yijing Hexagram Symbols가 들어 있다.]에 배당되어 있던 한글 6,656자를 없애고 새 영역(U+AC00 ~ U+D7A3)에 가나다순으로 11,172자를 배당했다. 그리고 이 '한글 대이동 사건'을 계기로 2.0부터는 한 번 배당한 문자는 절대 옮기거나 없애지 않는다는 정책을 세웠다. 그리고 이렇게 배당된 11,172자가 2.0부터 현재까지 한글·한국어 처리에 쓰이고 있다. 이로 인해 유니코드 2.0 이상과 그 이전 버전은 서로 호환되지 않는다.

당연하게도 이 11,172자는 남한의 가나다순으로 배당되었다. 남한과 북한은 한글 낱자의 정렬 순서가 다른데[* 남한은 광복 이전부터 쓰던 것을 그대로 쓰고 있지만, 북한은 자체적으로 순서를 새로 짰다. 굳이 정통을 따지자면 남한이 정통인 셈. 북한 문화어의 한글 정렬 순서는 정렬/순서 문서의 '북한 문화어' 부분을 참고할 것.], 북한이 이것을 문제 삼아 이 11,172자를 북한식으로 재배열해 줄 것을 2000년경에 요구했으나, 이미 한글은 코드 위치가 한 번 대이동한 전례도 있고 문자를 절대 옮기거나 없애지 않는다는 정책에도 위배되기 때문에 보기 좋게 씹혔다. 그리고 북한은 코드 순으로 정렬하면 북한식으로 제대로 정렬이 되지 않는다는 것을 문제 삼았는데, 단순 코드 순 정렬은 어차피 그 어떤 언어에서도 적절하지 않으며, 정렬은 따로 테이블을 만들거나 알고리즘을 짜서 해야 한다. 영어조차도 코드 순으로 정렬하면 대문자 Z가 소문자 a보다 앞에 온다. 물론 코드에서 이미 정렬이 되어 있으면 정렬 테이블 및 알고리즘 제작이 쉬워지고 받침에 따라 바뀌는 조사 붙이기가 용이해진다는 장점은 있다. 과거 확장완성형이나 유니코드 1.1이 문제가 됐던 것도 배열 순서가 너무 심하게 뒤죽박죽이었기 때문이다.

그래서 한때 북한에서는 자기네들 순서를 기준으로 한글 영역을 쓴 적이 있었다. 남북한 한글 코드의 충돌 문제 문서 참고. 지금 북한은 울며 겨자 먹기로 남한 순으로 배당된 11,172자를 쓰고 있다.

북한은 이것만이 아니라 자기들이 우상화 목적으로 특수 문자 영역에 볼드 처리한 '김, 일, 성, 김, 정, 일'도 그대로 유니코드에 넣고자 했으나 당연히 퇴짜 맞았다. 그래서 북한에서 만들어진 폰트에서는 볼드 처리한 김, 일, 성, 김, 정, 일, 김, 정, 은을 PUA 코드에 할당하기도 하며, 북한제 운영체제의 입력기에서도 이걸 감안하여 김일성, 김정일, 김정은 이름을 쓰면 자동으로 PUA 내 볼드 처리된 글자로 변환한다고 한다. PUA, 문화어 문서 참조.

조합형 낱자들로 만들 수 있는 한글 완성자의 수

유니코드에 있는 모든 한글 낱자는 다음과 같다. 자음의 경우 위의 것이 초성, 아래의 것이 종성이다.

width=500px

|| 없음 || 종류 ||<-7> 낱자 || 개수 || || [* 한글 초성 채움 문자(HANGUL CHOSEONG FILLER; HCF), U+115F.] || A[br]초성 || ᄀ || ᄁ || ᅚ || ~ || ᅘ || ᅙ || ꥼ || 125 || || [* 한글 중성 채움 문자(HANGUL JUNGSEONG FILLER; HJF), U+1160.] || B[br]중성 || ᅡ || ᅶ || ᅷ || ~ || ᆠ || ᆡ || ᆢ || 95 || || [* 공백.] || C[br]종성 || ᆨ || ᆩ || ᇺ || ~ || ᇷ || ᇸ || ᇹ || 138 ||

일단 단순 계산으로만 125×95×138=1,638,750자가 나온다(!). 여기서 125, 95, 138은 각각 초성, 중성, 종성이 비어 있는 경우도 포함한 수치이다. 즉 '가'와 같이 종성이 없는 글자(A+B+공백)도, 'ᅟᅡᆨ'과 같이 초성이 없는 글자(HCF+B+C)도[* 실제로 중성과 종성만으로 이뤄진 글자도 문헌에 있다.], 'ᄀᅠᆨ'과 같이 중성이 없는 글자(A+HJF+C)도 들어간 것이다.

다만, 여기서 다음 수만큼 빼야 한다.

* 1: 1,638,750자 중에서 한 글자는 초성, 중성, 종성이 모두 없는 글자(HCF+HJF+공백)다. 즉 그냥 단순한 빈 칸과 다를 바가 없다.
* 16988: 초성과 종성만으로 이뤄진 글자(A+HJF+C). 대한민국의 KS X 1026-1 규격(정보교환용 한글 처리지침)은 'ᄀᅠᆨ'과 같은 초성과 종성만의 결합은 허용하지 않는다. 즉 124×1×137=16988자가 된다.

즉 KS X 1026-1 규격상으로 허용되는 모든 한글 완성자는 1638750−(1+16988)=1621761자가 된다.

여기에는 초성, 중성, 종성 중 한 자모만 드러나고 나머지는 HCF나 HJF, 공백인 것도 있는데 이들을 단순히 낱자로 치고 완성자로 치지 않는다면, 위 1621761자에서 다음 수만큼 또 빼야 할 것이다.

* 124: 초성만으로 이뤄진 글자(A+HJF+공백) 124×1×1
* 94: 중성만으로 이뤄진 글자(HCF+B+공백) 1×94×1
* 137: 종성만으로 이뤄진 글자(HCF+HJF+C) 1×1×137

즉 1621761−(124+94+137)=1621406자가 될 것이다.

이 1621406자에 초성과 종성만으로 이뤄진 글자(A+HJF+C)를 다시 더한다면 1621761−(124+94+137)+16988=1638394자가 될 것이다. 즉 초성, 중성, 종성 중 두 개 이상의 자모가 쓰여 만들어진 완성자 개수가 된다.

물론 어디까지나 '이론적으로' 160만 자 정도 나오는 것이고, 실제로 고문헌에 등장하는 글자 수는 5천여 자 정도밖에 안 된다고 한다. 현대 한글 낱자로 조합 가능한 11,172자 중에서 실제로 쓰이는 건 2천 ~ 3천 자 정도밖에 안 되는 것과 비슷하다고 보면 된다. 물론 이런 안일(?)한 생각 때문에 초기 완성형과 같은 문제가 생겼고, 디지털 문서화된 중세국어 문헌이 많지 않아서 얼마든지 기존에 보이지 않았던 조합이 생길 수 있다는 점도 고려해야 한다.[* 조선시대의 공식 문서는 한자를 사용한 관계로 한글 문서는 대부분 왕족과 양반 가문, 상민 계층이 사적으로 남긴 기록이다. 그런데 이것이 국가가 관리하는 문화재가 아니고 등록 의무가 없다보니 공식 집계에 오르지 않은 자료가 부지기수로 많고 지금도 더러는 밀유통, 망실되기도 한다.]

참고로 저 1,638,750자를 빠짐없이 모두 나열한 곳이 [[1]](!). 혹시 전체 리스트가 필요하다면 저곳을 참고할 것.

유니코드와 한자

CJK 통합 한자(Unified Ideographs)와 CJK 호환용 한자(Compatibility Ideographs)의 차이

유니코드에서 가장 많은 코드를 점유하고 있는 문자는 한자이다. 일반적으로 쓰이는 것은 CJK 통합 한자 및 그 확장판들이며, 웬만하면 이 코드만 사용하는 것이 권장된다. 그러나 동아시아의 기존 국가 표준 인코딩에서는 동일한 한자에 중복된 코드가 할당돼 있는 경우가 있어서 이들을 CJK 호환용 한자에 수록하였다. 실수로 중복 배당된 문자(대만 Big5 코드에 중복 배당된 두 글자), 일부러 중복시킨 문자(대한민국 KS 코드[* 자주 쓰이는 한자가 음이 여러 개 있을 경우 발음에 따라 한자를 중복 할당했다(완성형/중복 한자 참고). 유니코드에서는 중복된 글자들 중 하나만 대표로 CJK 통합 한자에 대응시키고, 나머지는 CJK 호환용 한자에 대응시켰다.], 일본의 IBM 확장 한자와 일부 JIS X 0213 한자[* 획에 미세한 차이만 있는 이체자 몇 가지를 중복 수록했는데, 그 중에 너무 미세한 차이만 있는 경우 또는 이미 통합 한자에서 통합된 글자는 유니코드에서 CJK 호환용 한자에 대응시켰다.]) 등이 CJK 호환용 한자에 들어갔다. CJK 호환용 한자는 기존 동아시아 문자 코드와 왕복 변환을 위해 마련되었다.

호환용 문자는 다른 코드 체계와의 왕복 변환이 필요하지 않을 경우 웬만하면 안 쓰는 게 깔끔하기 때문에, 일부 소프트웨어는 CJK 호환용 한자가 입력되면 자동으로 거기에 해당되는 CJK 통합 한자로 자동 변환되는 기능을 내장하기도 한다. 예를 들어 미디어위키는 CJK 호환용 한자를 CJK 통합 한자로 자동 변환시키기 때문에, 정 CJK 호환용 한자를 문서에 쓰려면 편집 화면에서 李[* 이런 표기를 numeric character reference라고 부른다.] 식으로 돌려 써야 한다.

미세한 이체자 처리 문제

현재 한자는 나라마다 표준이 다른데, 모양이 많이 다른 이체자[* 훈·음은 같지만 형태가 다른 한자.]들은 각각 코드를 할당해 주고 있다. 예를 들어 '나라 국' 자의 경우 國과 国이 각각 다른 코드를 가진다.

유니코드의 한자 통일(Han Unification)의 기본 철학은, 한자를 X축(뜻), Y축(추상화된 형상), Z축(자형)의 기준에 따라 배열한 뒤, X축과 Y축이 각각 차이나는 글자만 유니코드에 다른 코드로 구분해서 싣고, Z축만 다른 한자는 하나로 통합하는 것이다. 예를 들어 國과 国은 X축(뜻: 나라)이 동일하지만 Y축(추상화된 형상)이 다르므로 다른 코드에 할당되었다. 반면 {{{#!html 納󠄁}}}(糸+内)와 納(糸+內)은 X축(뜻), Y축(추상화된 형상) 모두 일치하고 Z축(자형)만 약간 차이를 보이므로 같은 코드에 통합되었다.

문제는 모양이 크게 다르지 않은 이체자를 이체자로 인정할까 말까 하는 것인데, 이 중에 일부는 그냥 한 코드로 합병한 경우가 많다. 예를 들어 '평평할 평(平)'자의 경우 干에다 ／＼를 덧붙인 듯한 자형도 있고, 干에다 ＼／를 덧붙인 듯한 자형도 있는데, 둘 다 U+5E73으로 하되 구체적인 형태는 폰트에 따라 구분하게 하고 있다.[* 이렇게 비슷하게 생긴 문자를 같은 코드로 병합하고 폰트에 따라 알아서 만들게 하는 경우는 한자 외에도 있다. 예를 들어 말 줄임표로 쓰는 점 세 개(…, U+2026)의 경우, 동아시아 언어용으로 제작된 폰트들은 거의 다 가운뎃점(·)이 세 개가 연달아 있는 형태로 렌더링되지만, 서양 언어용으로 제작된 폰트에서는 그냥 점(.) 세 개가 연달아 있는 형태로 렌더링되는 경우가 많다.] 그러나 이런 식으로 차이가 크지 않은 이체자들을 한 코드로 합병하여 CJK 통합 한자에 추가한 글자 중에는, 그 글자에 대응되는 일부 이체자를 위해 CJK 호환용 한자에 중복 추가한 경우도 있다(주로, 일본 문자코드 내에 등록된, 자형이 비슷한 이체자와의 왕복 변환을 위해 할당됨). 예를 들어 '바다 해' 자의 경우 CJK 통합 한자에 海(U+6D77)가 등록돼 있는데, 이 글자의 마지막 구성요소가 母(어미 모) 형태로 렌더링돼도 되고(한국어, 중국어 정체·간체, 일본 구자체) 毋(말 무) 형태로 렌더링돼도 된다(일본 신자체). 그래서 Windows에서 한국어·중국어(정체/간체) 입력기로 바다 해를 입력하든 일본어(신자체) 입력기로 바다 해를 입력하든 유니코드의 海(U+6D77)에 해당되는 문자가 입력되며 글자 형태는 폰트에 따라 결정되므로, 언어별 폰트를 적절히 지정해 줘야 해당 언어에 적절한 한자체로 표시된다. 반면에 CJK 호환용 한자에 추가된 海(U+FA45)는 해당 부분이 반드시 母(어미 모)의 형태로 렌더링돼야 한다. CJK 호환용 한자의 海(U+FA45)는 본래 일본 문자 코드에서 구자체를 정확히 렌더링할 때를 위해 추가된 '바다 해' 자와 연동돼 있는 듯한데, 꼭 필요한 경우가 아니라면 사용하지 않는 게 좋을 듯 하다.

결국 언어마다 선호하는 한자의 형태가 조금씩 다르기 때문에, 번거롭더라도 각 언어에 맞는 폰트 지정까지 해줘야 적합한 렌더링을 보장할 수 있을 것이다. 그런데 이렇게 폰트를 통해 이체자 처리를 할 경우 폰트 지정이 곤란한 텍스트 문서에서는 구분이 불가능한 문제가 생긴다. 특히 일본의 경우 호적 전산화 등에서 이체자 처리를 정밀하게 하고 있어서 폰트를 지정하지 않고 문자 코드만 사용하여 이체자를 정확히 변별할 수 있는 기술에 대한 수요[* 국가 표준은 아니지만 일본 일각에서 쓰이고 있는 몇몇 문자 코드 체계(예를 들면 TRON 코드[[2]]나 금석문자경[[3]] 등)들은 유니코드에서 다른 코드로 할당하지 않는 미세한 이체자들을 별도의 문자 코드로 할당한다. 일본은 한자로 된 고유명사에 대해 특정 형태의 이체자를 쓰고 고유명사의 주체가 다른 이들에게 자신이 정한 이체자대로 표기해달라고 하는 경우가 많다. 그래서 일본에서는 이체자의 세밀한 전산화에 대한 수요가 어느 정도 있고 관련 제품들도 거의 일본제가 많다. 심지어 TRON 코드를 채용한 [[4]]라는 독자적인 운영 체제도 있다. 다만 현실적으로 호스트 OS로 깔아 놓고 쓰는 사람이 드물어서인지 최신판인 초한자 V(로마 숫자 5)부터는 Windows용 VMware Player(또는 VMware Workstation) 위에서 돌아가는 가상화를 전제로 한 운영 체제로 개발되었다.]가 있다. 그래서 유니코드에서도 뒤늦게 이에 대응되는 기술의 필요성이 대두되어 현재 유니코드 내에 이체자 선택자(Ideographic Variation Selector, IVS)[* [컨소시엄의 설명](영어), [위키백과의 설명]. 확실히 이체자 전산화에 일본인들의 관심이 지대하다는 점이 위키백과에서도 확인된다. 2008년에 일본어판에서는 위키백과 내에서 처음으로 IVS에 대한 독립적인 위키백과 문서를 신설했다. 그리고 2014년 11월 현재 일본어판 위키백과의 IVS 문서는 내용이 매우 상세한 상태인데 다른 언어판으로는 독립적인 IVS 문서가 아예 없는 상황이다. 일본어판 혼자 IVS 문서가 있으면서 내용이 상세하기까지 하니 이 부분에 대한 일본인들의 관심이 얼마나 큰지 짐작할 수 있다.]라는 특수 문자 코드를 덧붙이는 방법도 도입돼 있고, 계속 구체적인 표준을 정하기 위해 작업 중인 듯하다. 이 방식은 한자용 문자와 IVS(화면상에 개별 문자로 표시되진 않음)를 연달아 입력하면 화면에 의도한 한자 한 글자가 지정한 이체자대로 표시되게 하는 식이다. 코드 상으로는 문자를 2개 입력했지만 실제 화면에는 1글자로 보이는 식.[* 이렇게 여러 문자를 한데 조합해서 출력해주는 방식은 한자 외의 문자에도 여럿 있다. 옛한글이나 보조 부호가 붙은 로마자, 그리스 문자, 키릴 문자 등을 종종 이런 방식으로 입력하기도 한다.]

그러나 아직은 많은 소프트웨어·폰트들이 IVS에 대응되지 못하고 있는 상황인 데다가 IVS를 이용한 이체자 처리 규격 자체도 불완전한 상태이다. IVS 출력이 확실한 경우라면 상관 없겠지만, IVS 지원이 미흡한 기종에서도 열어볼 가능성이 큰 문서를 작성할 경우 이 방식의 사용을 지양하는 게 좋을 듯하다. 정 이체자를 정확히 표기해야 한다면 IVS 없이 해당 국가용으로 제작된 폰트로 지정해준다든가, 그것도 정상 작동을 보장할 수 없을 것 같으면 이미지 파일을 동원하는 게 좋을 듯하다. 참고로 현재까지 유니코드에 포섭된 IVS를 대부분 지원하는 폰트들은 [[5]](일본어)를 참고할 것.

이런 이체자들을 정리하는 사이트들도 있는데 그 중 하나가 [[6]](일본어)라는 사이트다.[* 각 이체자(글리프)마다 문서를 만드는데 문서 제목은 유니코드의 고유 코드를 기준으로 한다. 하지만 아직 유니코드에 수록되지 않은 자형들도 한데 정리한다. 참고로 이 사이트는 미디어위키를 수정한 엔진을 사용하는 위키위키 사이트다.] 일본어로 된 사이트이지만 한국어를 비롯한 다른 언어로 된 안내문들이 만들어져 있고([[7]]) 회원 가입 시 옵션에서 일본어 외 다른 언어로 시스템 메시지를 바꿀 순 있다(현재 한국어 지원 중).

아무튼 유니코드에서 미세한 이체자를 무신경하게 한데 통합하는 바람에 문제가 많다. IVS는 나중에 땜질 처방으로 도입된 것이고... 그래서 일각에서는(주로 일본에서) 유니코드가 아시아 각국의 문화를 파괴한다는 비난도 나오고 있을 정도다.

유니코드의 인코딩

유니코드 인코딩은 UTF-8, UTF-16, UTF-32 등이 있다. 유니코드와 유니코드 인코딩을 가장 쉽게 설명하는 방법은 유니코드는 각 글자에 숫자를 지정하는 방식을 말하면 인코딩은 유니코드 숫자를 저장하는 방식, 표현이라고 보면 된다.

예를 들어 A라는 글자를 숫자 65에 배당하는 것이 유니코드의 개념이고, 이 65라는 숫자를 2진수 8자릿수로 표현해서 0100 0010 이라고 쓰거나, 혹은 16자릿수로 표현해서 0000 0000 0100 0010 이라고 쓸 수도 있는데 이것을 결정하는 것이 인코딩의 종류다.

참고로 유니코드의 인코딩 방식 종류로는 위에서 언급된 것을 포함하여 대략 다음과 같은 것들이 있다.

> UTF-7, UTF-8, UTF-16, UTF-32, UTF-16BE, UTF-16LE, UTF-32BE, UTF-32LE

많은 서적이나 자료에서 유니코드를 두고 아직까지 "2바이트 인코딩"이라는 표현을 사용하고 있는데, 유니코드 2.0 (1996년 발표) 부터는 맞지 않는 말이다. 현대의 유니코드 표준에는 여러 인코딩 체계가 정의되어 있으며, 과거 유니코드 1.x 시절의 UCS-2를 제외하고는 고정 2바이트 인코딩이라고 할 수 있는 것은 없다. 게다가 유니코드에 할당된 문자의 수가 이미 (2바이트로 표현할 수 있는 최대 수치인) 65,535개를 넘어선 지 오래되었기 때문에...

UTF-8

전문적 지식을 요하지 않는 분야에서 그냥 유니코드라고 했을 때는 십중팔구 이 인코딩이라 생각하면 될 정도로 가장 표준적인 인코딩이다. 자세한 사항은 문서 참조.

UTF-16

코드 페이지 1200. UTF-8과 마찬가지로 가변 길이 인코딩이다. 일반적인 이용에서 U+10000부터의 문자를 접할 일이 별로 없어서 대부분 2바이트로 표시할 수 있기 때문에 고정 길이라는 인식이 퍼져 있을 뿐. U+10000 및 이후의 문자는 값에서 U+10000을 뺀 후 문자값을 10비트씩 쪼갠 후 각각 U+D800, U+DC00의 하위 10비트에 끼워 넣는 식으로 총 4바이트로 표현한다. 코드 중간에 '상위/하위 대체 영역'이라는 문자가 정의되지 않은 부분이 있는 것이 이를 위한 것이다. 이 방법을 이용하면 U+10000부터 U+10FFFF까지 4바이트를 이용하여 표현할 수 있다.

또한 기본적으로 2바이트의 순서가 정해진 것이 아니기에 시스템에 따라 BOM이 앞에 붙는다. 바이트 순서가 순차적인 것은 빅 엔디안, 역순인 것은 리틀 엔디안이라고 하며, 걸리버 여행기에서 소인국 사람들이 달걀을 어느 쪽으로 깨먹는가라는 주제로 전쟁(...)을 벌인 내용에서 착안했다.

바이트의 순서가 정해진 것이 아니라는 점은 이 인코딩에서 문제를 초래하는데, 빅 엔디안을 사용하는 대부분의 시스템은 아예 BOM을 붙이지 않고, 리틀 엔디안을 사용하는 시스템은 이런 문서를 기본적으로 리틀 엔디안으로 읽는다. 반대로 리틀 엔디안을 사용하는 시스템은 항상 BOM을 붙이는데, 빅 엔디안만 사용하는 대부분의 시스템은 앞의 BOM을 BOM으로 인식하지 않고 문자로 읽어들여서 에러를 낼 가능성이 높다.[* 일이 이렇게 된 것은 컴퓨터 환경이 8비트에서 16비트로 넘어갈 때, 일부 제조사는 기존 8비트와의 호환성 향상을 목적으로 16비트(2바이트) 데이터의 뒤쪽 바이트를 앞 바이트보다 빠른 주소에 넣도록 시스템을 구성(이것을 리틀 엔디안이라고 함)했기 때문이다. 참고로 이렇게 만들어진 가장 대표적인 시스템이 x86이다.] 이런 이유로 인터넷에서 정보 교환용으로 UTF-16이나 UCS-2 등 16비트 기반 인코딩은 사용하지 말라는 권고를 쉽게 접할 수 있다.

PHP가 버전 6에서 UTF-16을 사용하려고 하다가 개발에 난항을 겪고 취소되었다. 이미 웹 환경이 UTF-8이 대세가 된 것이 주 원인. 결국 PHP 6은 취소되고 2012년 3월 PHP 5.4에 가서야 UTF-8을 사용하게 된다. Java와 .NET Framework는 UTF-16을 기본으로 사용한다. {{{char}}} 타입은 기본적으로 2바이트를 쓰기 때문에 이모지처럼 4바이트를 사용해야 하는 문자의 경우 배열로, 즉 {{{char[2] thinking = "🤔";}}}처럼 써야 한다.[* 반대로 1바이트 자료형이 필요한 경우에는 {{{byte}}}를 쓰면 된다.]

Microsoft Windows가 사용하는 기본 인코딩이기도 하다. 원래는 UCS-2를 사용했으나, Windows 2000에 적용된 NT 커널부터 UTF-16(리틀 엔디안)으로 변경되었다.

UCS-2

UCS는 Unicode 이전에 사용된 국제 인코딩 규격으로 International Standard ISO/IEC 10646에 정의되어 있다. UCS-2는 UTF-16에 대응되는 규격으로 U+FFFF까지는 UTF-16과 동일하나, 가변길이 부호화를 지원하지 않으므로 U+10000 이후의 문자열을 사용할 수 없다.

전송을 위한 문서들의 경우 UTF-8을 사용하지만 프로그램 내에서 사용하는 코드로는 UCS-2(혹은 UTF-16이라고는 부르나 U+FFFF까지만 사용하니 사실상 UCS-2라고 봐도 좋은)를 사용하는 경우도 많은데, 이는 가변 길이 부호화를 지원하지 않기 때문에 array상에서 인덱스 = 해당 문자로 바로 접근이 가능해 그런 식으로 사용해야 하는 코드에 유리하기 때문이다. 따라서 UTF-8로 전송받은 문서를 UCS-2로 변환해 저장해 사용하는 방식 등을 사용한다.

UTF-32

유니코드 문자 하나에 32비트를 이용하는 고정 길이 인코딩이다. 인터넷에서 정보 교환용으로는 거의, 아니 사실상 전혀 이용되지 않는데 이는 낭비되는 용량이 너무 크기 때문이다. 유니코드 문자가 U+10FFFF까지 있으므로 총 21비트를 이용하는데, 이는 32비트 중 11비트는 전혀 쓰일 일이 없다는 것이다. 그나마도 현재 이용되는 대부분의 문자가 U+FFFF 아래에 있으므로 16비트로도 거의 충분하므로 실제 낭비는 더 크다. 라틴 문자나 유럽 문자를 주로 쓴다면 거의 3/4가 낭비되는 셈이다. 또한 실제로 데이터가 저장될 때는 문자들의 위치가 32비트 단위로 딱딱 정렬되지 않는 경우가 많기 때문에[* 문자가 4바이트(32비트)를 차지하므로 파일에서 각 문자가 0, 4, 8, 12, 16...같이 4의 배수로 배열되면 좋겠지만 실제로는 0, 6, 10, 14, 18...같은 식으로 4의 배수 형태가 아닌 경우가 생길 수 있다.] 처리 속도가 그리 빨라지지도 않는다. 게다가 HTML5에서는 UTF-16과의 구별에 문제가 생길 수 있다는 이유로 쓰지 말 것을 권고받는 굴욕도 받고 있다.

하지만 프로그램 내부적으로는 UTF-32가 자주 이용되는데, 이는 UTF-32에서는 가변 길이 부호화를 고려할 필요가 없어서 처리가 간단해지고, 현재의 컴퓨터 환경에서는 가장 기본적인 데이터 크기가 32비트이기 때문에 8비트나 16비트를 이용하는 것에 비해 성능 저하가 없으며 메모리 용량도 충분하기 때문이다. 예를 들어 Python 3.3 이상에서 내부적으로 UTF-32를 이용한다. 위의 UTF-16이 사용되는 것과 비슷한 논리.

UTF-32의 경우 고정 길이이기 때문에 <math>2^{32}</math> = 약 43억 개의 문자를 인코딩하는 것이 가능하다. 만에 하나 미래에 인류가 43억 개의 문자 이상의 코드를 부여해야 하는 사태가 발생하면 UTF-32로 표현 불가능한 문자들이 생겨나게 되는데, 이는 당분간은 상당한 미래 이야기일 것이다. 글자의 개수가 점점 줄어들고 있는 시대에 미래에도 필요할지 의문일 수도 있으나 실제론 늘어나고 있다. 현재 쓰이지 않는 고대의 모든 문자들도 유니코드의 일부로 포섭하고 있기 때문이다.

유니코드 정규화

[Normalize 공식 페이지]

같은 모양의 글자를 서로 다른 코드로 표현이 가능할 때, 유일한 코드로 '정규화'하여 이용하는 것. 대표적으로,

* 한글의 첫가끝: '뷁'과 'ㅂㅞㄺ'을 '뷁'(NFC 방식) 또는 'ㅂㅞㄺ'(NFD 방식) 중 하나로 바꿔 사용. 이것이 꼬이면 자소 문자 깨짐이 발생한다. 특히 macOS와 Windows 사이에서 파일 교환 시 한글이 분리되는 사례는 널리 알려져 있다. 해결을 위해 일괄적으로 수정해주는 프로그램이 웹 곳곳에 돌아다니는 듯하다. 현대 한글 NFC ↔ NFD 변환 테이블은 현대 한글 NFC ↔ NFD 변환 테이블 문서를 참고할 것.
* CJK 호환용 한자를 CJK 통합 한자로 바꿔 사용. 대표적 사례로 樂이나, 樂 또는, 樂을 樂으로 바꿔 사용. ~~즐길 락, 즐길 낙, 노래 악, 좋아할 요~~

정규화 되지 않고 섞여서 쓰게 되면 정렬 순서가 꼬이고, 검색이 안 되는 사태가 발생한다. ~~樂을 검색했는데 樂이 안 나와~~

변종 문자(위 첨자·아래 첨자·작은 대문자 등) 사용 시 권장 사항

유니코드 콘소시엄에서는 수학 식의 경우 본래 문자를 사용하여 HTML이나 XML 등에서 제공하는 마크업 문법으로 표현하고, 국제음성기호(IPA) 같은 음성·음운 기호의 경우 유니코드에 실린 변종 문자를 사용하는 게 낫다고 권고하고 있다. 절대적인 건 아니지만 권고를 따르는 게 유리하다.

예를 들어 수학 식의 경우 2의 제곱은 2² 식으로 유니코드 내 위 첨자 ²를 쓰기보다는 그냥 본래의 문자 2만 사용하여 마크업 문법을 활용해 <math>2^2</math> 식으로 표현하는 쪽이 낫다. 이게 유리한 이유는 <math>{2^2}^2</math> 식으로 무한히 제곱을 올려 쓰는 경우 등 다양한 사용 방식이 있기 때문에 유니코드 내 위 첨자 ²를 안 쓰는 게 대부분의 경우 편리하다. 하지만 음성·음운 기호의 경우 [pʰ]처럼 유니코드 내 위 첨자(ʰ 등)를 쓰는 게 낫다. 음성·음운 기호는 수학 식처럼 첨자를 계속 올려 쓰는 경우가 없으니 이 쪽이 편리하다.

유니코드 지원 폰트

유니코드를 바탕으로 각종 문자들을 지원하는 폰트에 대한 정보는 백괴사전의 [특수문자 도움말]이 상세하게 기록되어 있으니 관심 있는 사람들은 찾아 보기 바란다. 백괴사전에서 백괴사전:, 도움말:로 시작하는 문서는 각종 드립이 생략된 순수 정보 제공 문서다.

개별 문서가 있는 유니코드 문자

*  !  (U+0021)
*  #  (U+0023)
*  %  (U+0025)
*  &  (U+0026)
*  *  (U+002A)
*  ,  (U+002C)
*  -  (U+002D)
*  .  (U+002E)
* [[..//| / ]] (U+002F)
*  ;  (U+003B)
*  ?  (U+003F)
*  @  (U+0040)
*  \\  (U+005C)
* [[_| _ ]] (U+005F)
* \ (U+007C)
*  ~  (U+007E)
* NBSP (U+00A0)
* SHY (U+00AD)
* ° (U+00B0)
*  ·  (U+00B7)
* † (U+2020), ‡ (U+2021) 
* RLO (U+202E)
*  ‰  (U+2030)
* ※ (U+203B)
*  ∇  (U+2207)
*  √  (U+221A)
*  ⑨  (U+2468)
*  ☆  (U+2606)
*  ♡  (U+2661)
*  々  (U+3005)
*  ㆍ  (U+318D)
*  ㉾  (U+327E)
* BOM (U+FEFF)
* [[�]] (U+FFFD)