新キャラクタセット cp932 / eucjpms

技術情報/開発事例

　　←戻る

■新キャラクタセット cp932 / eucjpms
MySQL-5.0.3-alphaより追加された新しいキャラクタセット「cp932」、及び「eucjpms」

MySQL-5.0.3-alphaより、新しいキャラクタセット「cp932」、及び「eucjpms」が追加されました。以下ではこの新しいキャラクタセットが追加された背景、及びその特徴を解説していきます。

1. 背景 - 従来の問題点

　　 1.1 MySQLのsjis

MySQLでサポートされている主な日本語キャラクタセットの一つとしてsjisがあります。これはIANA(Internet Assigned Numbers Authority)にShift_JISという名称で登録されているキャラクタセットに対応しています。このキャラクタセットがカバーしている文字はjisx0201、jix0208の文字集合です。よって、NEC特殊文字、NEC選定IBM拡張文字、IBM拡張文字（以降ベンダ定義文字）はShift_JISの範囲外の文字であり、MySQLのsjisでは正式には対応していません。

しかしながら、一般的にシフトJISと呼ばれている言葉の解釈がMySQLでの日本語の使用にあたって多くの誤解を招いていました。というのも、IANAに登録されているShift_JIS以外にも各ベンダがこのShift_JISを独自に拡張したものが各種存在し、それらが全てシフトJISという名称で一般化されてしまっているからです。特に日本語版Windows環境でシフトJISと呼ばれているものはShift_JISをマイクロソフト社が独自に拡張した文字が含まれており、厳密には正規のShift_JISとは異なるのです。このキャラクタセットは、Shift_JISで対応している文字集合に上記ベンダ定義文字を追加し、マイクロソフト社がMicrosoft Windows Codepage : 932として定義しています（以降、cp932）。なお、IANAにはWindows-31Jという名称でShift_JISとは別のキャラクタセットとして登録されています。シフトJISという公式ではない名称が氾濫している為Shift_JISとcp932は混同されがちですが、これら2つは別のキャラクタセットであり、 MySQLのsjisはShift_JISに対応していることを留意する必要があります。

表1 - sjis とcp932の比較
sjis	cp932
JISX0201*1	JISX0201
JISX0208*2	JISX0208
	NEC 特殊文字
	NEC選定IBM特殊文字
	IBM特殊文字

*1 JISX0201: JISローマ字、半角カナ文字
*2 JISX0208: 記号類、全角数字、ラテン文字、平仮名、片仮名、ギリシャ文字、キリル文字、罫線、JIS第一水準漢字、JIS第二水準漢字、他

　　1.2 キャラクタセットの自動変換

キャラクタセットsjisでは定義されていないベンダ定義文字とUnicode間のマッピングが、キャラクタセットcp932では定義されています*3。同時に、キャラクタセットujisを拡張し、ベンダ定義文字のUnicodeへのマッピングを定義したキャラクタセットeucjpmsも追加しています*4。これによって、従来sjis - ujis間ではできなかったベンダ定義文字の変換がcp932-eucjpms間であれば可能になります。

　　　・クライアント側のキャラクタセットとテーブルのキャラクタセットが異なる場合には
　　　テーブルのキャラクタセットに合わせて、自動的にキャラクタセット変換が自動的に行われる
　　　・キャラクタセット変換はUnicode（ucs2）を介して行われる
　　　・Unicodeに変換する際のマッピングは各キャラクタセットごとに個別に定義されている

ここで問題になるのがベンダ定義文字の変換なのですが、先に述べた「MySQLのsjisはベンダ定義文字に正式には対応いない」というのは厳密に言うと、Unicodeへのマッピングが定義されていないということを意味します。つまり、キャラクタセットの変換はUnicodeを介して行われるのに、Unicodeへのマッピングが定義されていないため、ベンダ定義文字のキャラクタセット変換が発生すると正しく変換できず、文字化けが起こってしまうのです。

2. 新キャラクタセットの特徴

上記の問題を解決すべく新しく導入されたキャラクタセットがcp932、及びeucjpmsです。以下にこれらキャラクタセットの特徴を紹介します。

　　 2.1 ベンダ定義文字とUnicode間のマッピング定義

MySQLでサポートされている主な日本語キャラクタセットの一つとしてsjisがあります。これはIANA(Internet Assigned Numbers Authority)にShift_JISという名称で登録されているキャラクタセットに対応しています。このキャラクタセットがカバーしている文字はjisx0201、jix0208の文字集合です。よって、NEC特殊文字、NEC選定IBM拡張文字、IBM拡張文字（以降ベンダ定義文字）はShift_JISの範囲外の文字であり、MySQLのsjisでは正式には対応していません。

なお、cp932（eucjpms）に含まれる文字集合には異なるコードポイントに重複した文字が割り当てられている為、Unicodeからcp932（eucjpms）に戻す場合にどちらのコードポイントを使うかが問題になります。ここでは、マイクロソフト社のサポートオンラインで提示されている方法に従い、以下の通りに変換しています。

* JISX0208とNEC特殊文字が重複している場合にはJISX0208のコードポイントを選択する
* NEC特殊文字とIBM拡張文字が重複している場合にはNEC特殊文字のコードポイントを選択する
* IBM拡張文字とNEC選定IBM拡張文字が重複している場合にはIBM拡張文字のコードポイントを選択する

また、IANAのWindows-31Jでは定義されていませんが、 cp932では0xF040から0xF9FCをユーザー定義領域として使えるようになっている為、これらユーザー定義文字のUnicodeへのマッピングも定義してある。マッピング定義についてはTOG/JVC CDE/Motif 技術検討 WGによる Unicode とユーザ定義文字・ベンダ定義文字に関する問題点と解決策を参考にしています。

*3 参考:　Microsoft Windows Codepage : 932
*4 参考:　ベンダ定義文字の割り当てについては、TOG/JVC CDE/Motif 技術検討 WGの定義を参照
　　　　　　Unicode とユーザ定義文字・ベンダ定義文字に関する問題点と解決策
　　　　　　OSF 日本ベンダ協議会 (OSF/JVC) 推奨日本語 EUC ・シフト JIS 間コード変換仕様とコード系実態調査

　　2.2 Unicode 変換の差異

キャラクタセットcp932とキャラクタセットsjis、及びeucjpmsとujisではUnicodeへのマッピング定義が異なる文字がいくつかあります。以下、これらマッピングの差異を表にまとめます。

表2 - sjisとcp932でのUnicode変換の差異
sjis/cp932 での文字	sjis でのUnicode変換	cp932 でのUnicode変換
0x5C(YEN SGIN)	U+005C(REVERSE SOLIDUS)	U+005C(REVERSE SOLIDUS)
0x7E(OVERLINE)	U+007E(TILDE)	U+007E(TILDE)
0x815C(EM DASH)	U+2015(HORIZONTAL BAR)	U+2015(HORIZONTAL BAR)
0x815F(REVERSE SOLIDUS)	U+005C(REVERSE SOLIDUS)	U+FF3C(FULLWIDTH REVERSE SOLIDUS)
0x8160(WAVE DASH)	U+301C(WAVE DASH)	U+FF5E(FULLWIDTH TILDE)
0x8161(DOUBLE VERTICAL LINE)	U+2016(DOUBLE VERTICAL LINE)	U+2225(PARALLEL TO)
0x817C(MINUS SIGN)	U+2212(MINUS SIGN)	U+FF0D(FULLWIDTH HYPHEN-MINUS)
0x8191(CENT SIGN)	U+00A2(CENT SIGN)	U+FFE0(FULLWIDTH CENT SIGN)
0x8192(POUND SIGN)	U+00A3(POUND SIGN)	U+FFE1(FULLWIDTH POUND SIGN)
0x81CA(NOT SIGN)	U+00AC(NOT SIGN)	U+FFE2(FULLWIDTH NOT SIGN)

表3 - ujisとeucjpmsでのUnicode変換の差異
ujis/eucjpms での文字	ujis でのUnicode変換	eucjpms でのUnicode変換
0x5C(YEN SGIN)	U+005C(REVERSE SOLIDUS)	U+005C(REVERSE SOLIDUS)
0x7E(TILDE)	U+007E(TILDE)	U+007E(TILDE)
0xA1B1(OVERLINE)	U+FFE3(FULLWIDTH MACRON)	U+FFE3(FULLWIDTH MACRON)
0xA1BD(EM DASH)	U+2015(HORIZONTAL BAR)	U+2015(HORIZONTAL BAR)
0xA1C0(REVERSE SOLIDUS)	U+005C(REVERSE SOLIDUS)	U+FF3C(FULLWIDTH REVERSE SOLIDUS)
0xA1C1(WAVE DASH)	U+301C(WAVE DASH)	U+FF5E(FULLWIDTH TILDE)
0xA1C2(DOUBLE VERTICAL LINE)	U+2016(DOUBLE VERTICAL LINE)	U+2225(PARALLEL TO)
0xA1DD(MINUS SIGN)	U+2212(MINUS SIGN)	U+FF0D(FULLWIDTH HYPHEN-MINUS)
0xA1F1(CENT SIGN)	U+00A2(CENT SIGN)	U+FFE0(FULLWIDTH CENT SIGN)
0xA1F2(POUND SIGN)	U+00A3(POUND SIGN)	U+FFE1(FULLWIDTH POUND SIGN)
0xA1EF(YEN SIGN)	U+FFE5(FULLWIDTH YEN SIGN)	U+FFE5(FULLWIDTH YEN SIGN)
0xA2CC(NOT SIGN)	U+00AC(NOT SIGN)	U+FFE2(FULLWIDTH NOT SIGN)
0x8FA2B7(TILDE)	U+007E(TILDE)	U+FF5E(FULLWIDTH TILDE)
0x8FA2C3(BROKEN BAR)	U+00A6(BROKEN BAR)	U+FFE4(FULLWIDTH BROKEN BAR)

NEC特殊文字(0x8740 - 0x879C)

	0	1	2	3	4	5	6	7	8	9	A	B	C	D	E	F
8740	①	②	③	④	⑤	⑥	⑦	⑧	⑨	⑩	⑪	⑫	⑬	⑭	⑮	⑯
8750	⑰	⑱	⑲	⑳	Ⅰ	Ⅱ	Ⅲ	Ⅳ	Ⅴ	Ⅵ	Ⅶ	Ⅷ	Ⅸ	Ⅹ		㍉
8760	㌔	㌢	㍍	㌘	㌧	㌃	㌶	㍑	㍗	㌍	㌦	㌣	㌫	㍊	㌻	㎜
8770	㎝	㎞	㎎	㎏	㏄	㎡									㍻
8780	〝	〟	№	㏍	℡	㊤	㊥	㊦	㊧	㊨	㈱	㈲	㈹	㍾	㍽	㍼
8790	≒	≡	∫	∮	∑	√	⊥	∠	∟	⊿	∵	∩	∪
87A0
87B0
87C0
87D0
87E0
87F0

NEC選定IBM拡張文字(0xED40 - 0xEEFC)

	0	1	2	3	4	5	6	7	8	9	A	B	C	D	E	F
ED40	纊	褜	鍈	銈	蓜	俉	炻	昱	棈	鋹	曻	彅	丨	仡	仼	伀
ED50	伃	伹	佖	侒	侊	侚	侔	俍	偀	倢	俿	倞	偆	偰	偂	傔
ED60	僴	僘	兊	兤	冝	冾	凬	刕	劜	劦	勀	勛	匀	匇	匤	卲
ED70	厓	厲	叝	﨎	咜	咊	咩	哿	喆	坙	坥	垬	埈	埇	﨏
ED80	塚	增	墲	夋	奓	奛	奝	奣	妤	妺	孖	寀	甯	寘	寬	尞
ED90	岦	岺	峵	崧	嵓	﨑	嵂	嵭	嶸	嶹	巐	弡	弴	彧	德	忞
EDA0	恝	悅	悊	惞	惕	愠	惲	愑	愷	愰	憘	戓	抦	揵	摠	撝
EDB0	擎	敎	昀	昕	昻	昉	昮	昞	昤	晥	晗	晙	晴	晳	暙	暠
EDC0	暲	暿	曺	朎	朗	杦	枻	桒	柀	栁	桄	棏	﨓	楨	﨔	榘
EDD0	槢	樰	橫	橆	橳	橾	櫢	櫤	毖	氿	汜	沆	汯	泚	洄	涇
EDE0	浯	涖	涬	淏	淸	淲	淼	渹	湜	渧	渼	溿	澈	澵	濵	瀅
EDF0	瀇	瀨	炅	炫	焏	焄	煜	煆	煇	凞	燁	燾	犱
EE40	犾	猤	猪	獷	玽	珉	珖	珣	珒	琇	珵	琦	琪	琩	琮	瑢
EE50	璉	璟	甁	畯	皂	皜	皞	皛	皦	益	睆	劯	砡	硎	硤	硺
EE60	礰	礼	神	祥	禔	福	禛	竑	竧	靖	竫	箞	精	絈	絜	綷
EE70	綠	緖	繒	罇	羡	羽	茁	荢	荿	菇	菶	葈	蒴	蕓	蕙
EE80	蕫	﨟	薰	蘒	﨡	蠇	裵	訒	訷	詹	誧	誾	諟	諸	諶	譓
EE90	譿	賰	賴	贒	赶	﨣	軏	﨤	逸	遧	郞	都	鄕	鄧	釚	釗
EEA0	釞	釭	釮	釤	釥	鈆	鈐	鈊	鈺	鉀	鈼	鉎	鉙	鉑	鈹	鉧
EEB0	銧	鉷	鉸	鋧	鋗	鋙	鋐	﨧	鋕	鋠	鋓	錥	錡	鋻	﨨	錞
EEC0	鋿	錝	錂	鍰	鍗	鎤	鏆	鏞	鏸	鐱	鑅	鑈	閒	隆	﨩	隝
EED0	隯	霳	霻	靃	靍	靏	靑	靕	顗	顥	飯	飼	餧	館	馞	驎
EEE0	髙	髜	魵	魲	鮏	鮱	鮻	鰀	鵰	鵫	鶴	鸙	黑			ⅰ
EEF0	ⅱ	ⅲ	ⅳ	ⅴ	ⅵ	ⅶ	ⅷ	ⅸ	ⅹ	￢	￤	＇	＂

IBM拡張文字(0xFA40 - 0xFC4B)

	0	1	2	3	4	5	6	7	8	9	A	B	C	D	E	F
FA40	ⅰ	ⅱ	ⅲ	ⅳ	ⅴ	ⅵ	ⅶ	ⅷ	ⅸ	ⅹ	Ⅰ	Ⅱ	Ⅲ	Ⅳ	Ⅴ	Ⅵ
FA50	Ⅶ	Ⅷ	Ⅸ	Ⅹ	￢	￤	＇	＂	㈱	№	℡	∵	纊	褜	鍈	銈
FA60	蓜	俉	炻	昱	棈	鋹	曻	彅	丨	仡	仼	伀	伃	伹	佖	侒
FA70	侊	侚	侔	俍	偀	倢	俿	倞	偆	偰	偂	傔	僴	僘	兊
FA80	兤	冝	冾	凬	刕	劜	劦	勀	勛	匀	匇	匤	卲	厓	厲	叝
FA90	﨎	咜	咊	咩	哿	喆	坙	坥	垬	埈	埇	﨏	塚	增	墲	夋
FAA0	奓	奛	奝	奣	妤	妺	孖	寀	甯	寘	寬	尞	岦	岺	峵	崧
FAB0	嵓	﨑	嵂	嵭	嶸	嶹	巐	弡	弴	彧	德	忞	恝	悅	悊	惞
FAC0	惕	愠	惲	愑	愷	愰	憘	戓	抦	揵	摠	撝	擎	敎	昀	昕
FAD0	昻	昉	昮	昞	昤	晥	晗	晙	晴	晳	暙	暠	暲	暿	曺	朎
FAE0	朗	杦	枻	桒	柀	栁	桄	棏	﨓	楨	﨔	榘	槢	樰	橫	橆
FAF0	橳	橾	櫢	櫤	毖	氿	汜	沆	汯	泚	洄	涇	浯
FB40	涖	涬	淏	淸	淲	淼	渹	湜	渧	渼	溿	澈	澵	濵	瀅	瀇
FB50	瀨	炅	炫	焏	焄	煜	煆	煇	凞	燁	燾	犱	犾	猤	猪	獷
FB60	玽	珉	珖	珣	珒	琇	珵	琦	琪	琩	琮	瑢	璉	璟	甁	畯
FB70	皂	皜	皞	皛	皦	益	睆	劯	砡	硎	硤	硺	礰	礼	神
FB80	祥	禔	福	禛	竑	竧	靖	竫	箞	精	絈	絜	綷	綠	緖	繒
FB90	罇	羡	羽	茁	荢	荿	菇	菶	葈	蒴	蕓	蕙	蕫	﨟	薰	蘒
FBA0	﨡	蠇	裵	訒	訷	詹	誧	誾	諟	諸	諶	譓	譿	賰	賴	贒
FBB0	赶	﨣	軏	﨤	逸	遧	郞	都	鄕	鄧	釚	釗	釞	釭	釮	釤
FBC0	釥	鈆	鈐	鈊	鈺	鉀	鈼	鉎	鉙	鉑	鈹	鉧	銧	鉷	鉸	鋧
FBD0	鋗	鋙	鋐	﨧	鋕	鋠	鋓	錥	錡	鋻	﨨	錞	鋿	錝	錂	鍰
FBE0	鍗	鎤	鏆	鏞	鏸	鐱	鑅	鑈	閒	隆	﨩	隝	隯	霳	霻	靃
FBF0	靍	靏	靑	靕	顗	顥	飯	飼	餧	館	馞	驎	髙
FC40	髜	魵	魲	鮏	鮱	鮻	鰀	鵰	鵫	鶴	鸙	黑
FC50
FC60
FC70
FC80
FC90
FCA0
FCB0
FCC0
FCD0
FCE0
FCF0