- 多位元組字元
什麼是多位元組字元,其實就是顧名思義,對于ASCII碼編碼的字元,像英文的字母,一個字元占用一個位元組,而漢字就需要多個位元組來表示了。
1.1什麼是ASCII碼
ASCII 碼其實就是字母對應二進制的一個編碼,下面的表格就是部分ASCII表。
1.2什麼是ASCII碼擴充編碼
上面我們沒有詳細的講編碼的具體是什麼,一個位元組是8位,但是一開始标準的ASCII表隻用了低7位,高位是0.後來又加入了一些特殊的字元,就把高位也用上
也就是擴充的ASCII碼表。但是即使是這樣也不夠啊,這也就是2的8次個字元。
1.3什麼是GB2312
看到GB 當然是國标了。
基于标準ASCII碼表,用倆個位元組,也就是16位來表示一個漢字,注意:這倆個位元組的高位都是為1,這是為了不破壞标準ASCII碼。
注意哦,其實外國人也是這樣設計的,比如日本人的字元也是基于此,這樣就有問題了,那就是有可能亂碼。出現亂碼其實就是 多對1。
1.4 UNICODE編碼
該編碼是使用了倆個位元組,UNICODE把世界上絕大部分國家的常用文字設計成一個表。
ASCII編碼:
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsISOwkTM1YDNyEzMwkDM3EDMy8CX0Vmbu4GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.jpg)
GB2312簡體中文編碼表:
2.寬字元
2.1用多個位元組來代表的字元稱之為寬字元。似乎聽着和多位元組沒什麼差別,其實本質上是沒有差別的。
Char叫多位元組字元,一個char占一個位元組,之是以叫多位元組字元是因為它表示一個字時可能是一個位元組也可能是多個位元組。
Wchar_t被稱為寬字元,一個wchar_t占2個位元組。之是以叫寬字元是因為所有的字都要用兩個位元組(即一個wchar_t)來表示,不管是英文還是中文
wchar_t是C/C++的字元類型,是一種擴充的存儲方式。Wchar_t類型主要用在國際化程式的實作中,但它不等同于uni編碼。Uni編碼的字元一般以wchar_t類型存儲。
"中"字編碼:
在 GB2312: D6 D0
在 Unicode :4E 2D
Char x = '中'
Wchar_t= '中'
Wchar_t=L'中'
我們來談談上面這三個差別是什麼:第一個x隻能存儲一個位元組,裡面是0XD0,而下面的Wchar_t在記憶體中存儲的是D6D0也就是說
預設情況下指派是基于GB2312的,如果我們想用Unicode,那麼就要在指派的時候,前面加一個L。加上L後,記憶體中存儲的就是
4E2D。
2.2 wchar_t的使用
Char text[]="中國"; //d6 d0 b9 fa 00 多位元組存儲
Wchar_t text[]=L"中國"; //2d 4e fd 56 00 00 寬字元存儲
差別是什麼,我們知道Unicode一般是2個位元組,是以以前的字元末尾的/0也就是(00)變成了00 00.
3.各種應用
3.1、在控制台列印
char x[] = "中國";
wchar_t x1[] = L"中國";
printf("%s\n",x); //使用控制台預設的編碼
wprintf(L"%s\n",x1); //預設使用英文
告訴編譯器,使用控制台預設的編碼格式,原因是:控制台環境編碼是固定的,我們輸出,需要轉換為控制台編碼。
程式輸出時将Unicode編碼的字串轉成系統的預設編碼(Windows下是ANSI),而Windows系統預設編碼一般都與控制台環境編碼一緻,OK~正常輸出了.
(1) 包含頭檔案 #include <locale.h>
(2) setlocale(LC_ALL,""); //使用控制台預設的編碼
3.2、字元串長度(頭檔案:#include<string.h>)
char x[] = "中國";
wchar_t x1[] = L"中國";
strlen(x); //取得多位元組字元串中字元長度,不包含 00
wcslen(x1); //取得多位元組字元串中字元長度,不包含 00 00
3.3、字元串複制
char x[] = "china";
char x1[] = "123";
strcpy(x,x1);
wchar_t y[] = L"中國";
wchar_t y1[] = L"好";
wcscpy(y,y1);
C語言中的寬字元和多字元
char wchar_t //多位元組字元類型 寬字元類型
printf wprintf //列印到控制台函數
strlen wcslen //擷取長度
strcpy wcscpy //字元串複制
strcat wcscat //字元串拼接
strcmp wcscmp //字元串比較
strstr wcsstr //字元串查找
4.WIN32 API
API我就不解釋了,ABI倒是可以說說。
Win32API的函數主要集中在c:\WINDOWS\system32下面的dll中
Kernel32.dll:最核心的功能子產品,比如管理記憶體、程序和線程相關的函數等.
User32.dll:是Windows使用者界面相關應用程式接口,如建立視窗和發送消息等.
GDI32.dll:全稱是Graphical Device Interface(圖形裝置接口),包含用于畫圖和顯示文本的函數
比如要顯示一個程式視窗,就調用了其中的函數來畫這個視窗
特别說明的是:這些看似牛逼的東西,其實在windows下僅僅是個殼,也是說上面dll實作的這些功能僅僅是在dll内部再次調用函數,真正的實作不在dll中。是以我們也可以通過手段繞過這些dll提供的函數接口,調用核心。
5、Win32 API中的寬字元和多位元組字元
Windows是使用C語言開發的,Win32 API同時支援寬字元與多位元組字元.
(1) 字元類型 (2) 字元串指針
char CHAR PSTR(LPSTR) 指向多位元組字元串
wchar_t WCHAR PWSTR(LPWSTR) 指向寬字元串
宏 TCHAR 宏 PTSTR(LPTSTR) 這個是個套路,那就是通過該宏可以更具目前來自動設定是多位元組還是寬位元組
字元數組指派
CHAR cha[] = "中國";
WCHAR chw[] = L"中國";
TCHAR cht[] = TEXT("中國"); TEXT 宏的套路一樣,就是通過宏的二次封裝來實作符合目前的轉換
為字元串指針指派:
PSTR pszChar = "china"; //多位元組字元
PWSTR pszWChar = L"china"; //寬字元
PTSTR pszTChar = TEXT("china"); //如果項目是ASCII的 相當于"china" UNICODE 相當于L"china"
4、各種版本的MessageBox
MessageBoxA(0,"内容多位元組","标題",MB_OK);
MessageBoxW(0,L"内容寬位元組",L"标題",MB_OK);
MessageBox(0,TEXT("根據項目字元集決定"),TEXT("标題"),MB_OK);
Windows提供的API 凡是需要傳遞字元串參數的函數,都會提供兩個版本和一個宏.
6,錯誤調試
在win32中,傳統的控制台調試錯誤,是不好使的,需要引入新的東西。
.h 頭檔案
void __cdecl OutputDebugStringF(const char *format, ...);
#ifdef _DEBUG
#define DbgPrintf OutputDebugStringF
#else
#define DbgPrintf
#endif
.cpp 源檔案
void __cdecl OutputDebugStringF(const char *format, ...)
{
va_list vlArgs;
char *strBuffer = (char*)GlobalAlloc(GPTR, 4096);
va_start(vlArgs, format);
_vsnprintf(strBuffer, 4096 - 1, format, vlArgs);
va_end(vlArgs);
strcat(strBuffer, "\n");
OutputDebugStringA(strBuffer);
GlobalFree(strBuffer);
return;
}
上面的代碼加入你的項目就可以調試列印,列印是在下面輸出編譯資訊的地方。
當然還有方法二:
TCHAR szContent[] = TEXT("内容");
TCHAR szTitle[] = TEXT("标題");
MessageBox((HWND)0,szContent,szTitle,MB_OK);
DWORD errorCode = GetLastError();
這個函數的使用就是在執行完捕獲錯誤。
當然:這裡懶得打那麼多字了:轉下知乎
作者:于洋
連結:https://www.zhihu.com/question/23374078/answer/69732605
來源:知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請注明出處。
=============很久以前儲存的,别人寫的但是很明了=============
很久很久以前,有一群人,他們決定用8個可以開合的半導體來組合成不同的狀态,以表示世界上的萬物。他們看到8個開關狀态是好的,于是他們把這稱為"位元組"。再後來,他們又做了一些可以處理這些位元組的機器,機器開動了,可以用位元組來組合出很多狀态,狀态開始變來變去。他們看到這樣是好的,于是它們就這機器稱為"計算機"。
開始計算機隻在美國用。八位的位元組一共可以組合出256(2的8次方)種不同的狀态。 他們把其中的編号從0開始的32種狀态分别規定了特殊的用途,一但終端、列印機遇上約定好的這些位元組被傳過來時,就要做一些約定的動作。遇上0×10, 終端就換行,遇上0×07, 終端就向人們嘟嘟叫,例好遇上0x1b, 列印機就列印反白的字,或者終端就用彩色顯示字母。他們看到這樣很好,于是就把這些0×20以下的位元組狀态稱為"控制碼"。他們又把所有的空 格、标點符号、數字、大小寫字母分别用連續的位元組狀态表示,一直編到了第127号,這樣計算機就可以用不同位元組來存儲英語的文字了。大家看到這樣,都感覺 很好,于是大家都把這個方案叫做 ANSI 的"Ascii"編碼(American Standard Code for Information Interchange,美國資訊互換标準代碼)。當時世界上所有的計算機都用同樣的ASCII方案來儲存英文文字。
後來,就像建造巴比倫塔一樣,世界各地的都開始使用計算機,但是很多國家用的不是英文,他們的字母裡有許多是ASCII裡沒有的,為了可以在計算機 儲存他們的文字,他們決定采用 127号之後的空位來表示這些新的字母、符号,還加入了很多畫表格時需要用下到的橫線、豎線、交叉等形狀,一直把序号編到了最後一個狀态255。從128 到255這一頁的字元集被稱"擴充字元集"。從此之後,貪婪的人類再沒有新的狀态可以用了,美帝國主義可能沒有想到還有第三世界國家的人們也希望可以用到計算機吧!
等中國人們得到計算機時,已經沒有可以利用的位元組狀态來表示漢字,況且有6000多個常用漢字需要儲存呢。但是這難不倒智慧的中國人民,我們不客氣 地把那些127号之後的奇異符号們直接取消掉, 規定:一個小于127的字元的意義與原來相同,但兩個大于127的字元連在一起時,就表示一個漢字,前面的一個位元組(他稱之為高位元組)從0xA1用到 0xF7,後面一個位元組(低位元組)從0xA1到0xFE,這樣我們就可以組合出大約7000多個簡體漢字了。在這些編碼裡,我們還把數學符号、羅馬希臘的 字母、日文的假名們都編進去了,連在 ASCII 裡本來就有的數字、标點、字母都統統重新編了兩個位元組長的編碼,這就是常說的"全角"字元,而原來在127号以下的那些就叫"半角"字元了。 中國人民看到這樣很不錯,于是就把這種漢字方案叫做 "GB2312"。GB2312 是對 ASCII 的中文擴充。
但是中國的漢字太多了,我們很快就就發現有許多人的人名沒有辦法在這裡打出來,特别是某些很會麻煩别人的國家上司人。于是我們不得不繼續把 GB2312 沒有用到的碼位找出來老實不客氣地用上。 後來還是不夠用,于是幹脆不再要求低位元組一定是127号之後的内碼,隻要第一個位元組是大于127就固定表示這是一個漢字的開始,不管後面跟的是不是擴充字 符集裡的内容。結果擴充之後的編碼方案被稱為 GBK 标準,GBK包括了GB2312 的所有内容,同時又增加了近20000個新的漢字(包括繁體字)和符号。 後來少數民族也要用電腦了,于是我們再擴充,又加了幾千個新的少數民族的字,GBK擴成了 GB18030。從此之後,中華民族的文化就可以在計算機時代中傳承了。 中國的程式員們看到這一系列漢字編碼的标準是好的,于是通稱他們叫做 "DBCS"(Double Byte Charecter Set 雙位元組字元集)。在DBCS系列标準裡,最大的特點是兩位元組長的漢字字元和一位元組長的英文字元并存于同一套編碼方案裡,是以他們寫的程式為了支援中文處 理,必須要注意字串裡的每一個位元組的值,如果這個值是大于127的,那麼就認為一個雙位元組字元集裡的字元出現了。那時候凡是受過加持,會程式設計的計算機僧侶 們都要每天念下面這個咒語數百遍: "一個漢字算兩個英文字元!一個漢字算兩個英文字元……"
因為當時各個國家都像中國這樣搞出一套自己的編碼标準,結果互相之間誰也不懂誰的編碼,誰也不支援别人的編碼,連大陸和台灣這樣隻相隔了150海 裡,使用着同一種語言的兄弟地區,也分别采用了不同的 DBCS 編碼方案——當時的中國人想讓電腦顯示漢字,就必須裝上一個"漢字系統",專門用來處理漢字的顯示、輸入的問題,但是那個台灣的愚昧封建人士寫的算命程式 就必須加裝另一套支援 BIG5 編碼的什麼"倚天漢字系統"才可以用,裝錯了字元系統,顯示就會亂了套!這怎麼辦?而且世界民族之林中還有那些一時用不上電腦的窮苦人民,他們的文字又怎 麼辦? 真是計算機的巴比倫塔命題啊!
正在這時,大天使加百列及時出現了——一個叫 ISO (國際标誰化組織)的國際組織決定着手解決這個問題。他們采用的方法很簡單:廢了所有的地區性編碼方案,重新搞一個包括了地球上所有文化、所有字母和符号 的編碼!他們打算叫它"Universal Multiple-Octet Coded Character Set",簡稱 UCS, 俗稱 "unicode"。
unicode開始制訂時,計算機的存儲器容量極大地發展了,空間再也不成為問題了。于是 ISO 就直接規定必須用兩個位元組,也就是16位來統一表示所有的字元,對于ASCII裡的那些"半角"字元,unicode包持其原編碼不變,隻是将其長度由原 來的8位擴充為16位,而其他文化和語言的字元則全部重新統一編碼。由于"半角"英文符号隻需要用到低8位,是以其高8位永遠是0,是以這種大氣的方案在 儲存英文文本時會多浪費一倍的空間。
這時候,從舊社會裡走過來的程式員開始發現一個奇怪的現象:他們的strlen函數靠不住了,一個漢字不再是相當于兩個字元了,而是一個!是的,從unicode開始,無論是半角的英文字母,還是全角的漢字,它們都是統一的"一個字元"!同時,也都是統一的"兩個位元組",請注意"字元"和"位元組"兩個術語的不同,"位元組"是一個8位的實體存貯單元,而"字元"則是一個文化相關的符号。在unicode中,一個字元就是兩個位元組。一個漢字算兩個英文字元的時代已經快過去了。
unicode同樣也不完美,這裡就有兩個的問題,一個是,如何才能差別unicode和ascii?計算機怎麼知道三個位元組表示一個符号,而不是 分别表示三個符号呢?第二個問題是,我們已經知道,英文字母隻用一個位元組表示就夠了,如果unicode統一規定,每個符号用三個或四個位元組表示,那麼每 個英文字母前都必然有二到三個位元組是0,這對于存儲空間來說是極大的浪費,文本檔案的大小會是以大出二三倍,這是難以接受的。
unicode在很長一段時間内無法推廣,直到網際網路的出現,為解決unicode如何在網絡上傳輸的問題,于是面向傳輸的衆多 UTF(UCS Transfer Format)标準出現了,顧名思義,UTF-8就是每次8個位傳輸資料,而UTF-16就是每次16個位。UTF-8就是在網際網路上使用最廣的一種unicode的實作方式,這是為傳輸而設計的編碼,并使編碼無國界,這樣就可以顯示全世界上所有文化的字元了。
UTF-8最大的一個特點,就是它是一種變長的編碼方式。它可以使用1~4個位元組表示一個符号,根據不同的符号而變化位元組長度,當字元在ASCII 碼的範圍時,就用一個位元組表示,保留了ASCII字元一個位元組的編碼做為它的一部分,注意的是unicode一個中文字元占2個位元組,而UTF-8一個中 文字元占3個位元組)。從unicode到uft-8并不是直接的對應,而是要過一些算法和規則來轉換。
Unicode符号範圍 | UTF-8編碼方式
(十六進制) | (二進制)
—————————————————————–
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
、