天天看点

深入剖析大小端

1.大小端问题的由来

关于大端小端名词的由来,有一个有趣的故事,来自于Jonathan Swift的《格利佛游记》:Lilliput和Blefuscu这两个强国在过去的36个月中一直在苦战。战争的原因:大家都知道,吃鸡蛋的时候,原始的方法是打破鸡蛋较大的一端,可以那时的皇帝的祖父由于小时侯吃鸡蛋,按这种方法把手指弄破了,因此他的父亲,就下令,命令所有的子民吃鸡蛋的时候,必须先打破鸡蛋较小的一端,违令者重罚。然后老百姓对此法令极为反感,期间发生了多次叛乱,其中一个皇帝因此送命,另一个丢了王位,产生叛乱的原因就是另一个国家Blefuscu的国王大臣煽动起来的,叛乱平息后,就逃到这个帝国避难。据估计,先后几次有11000余人情愿死也不肯去打破鸡蛋较小的端吃鸡蛋。这个其实讽刺当时英国和法国之间持续的冲突。Danny Cohen一位网络协议的开创者,第一次使用这两个术语指代字节顺序,后来就被大家广泛接受。

当然啦,这和我们现在的大小端就有些远啦,回归正题,在计算机内存中,通常是以字节(Byte),也就是 8 个位(Bit)为基本存储单元(也有以 16 位为基本存储单元的)。

对于像C++中的char这样的数据类型,占用一个字节的大小,不会产生什么问题。

但是当数据类型为int,在32bit的中,它需要占用4个字节(32bit),这个时候就会产生这4个字节在寄存器中的存放顺序的问题。比如int maxHeight = 0x12345678,&maxHeight = 0x0042ffc4。具体的该怎么存放呢?这个时候就需要理解计算机的大小端的原理了。

2.大小端的原理

大端:(Big-Endian):就是把数值的高位字节放在内存的低位地址上,把数值的低位字节放在内存的高位地址上。

小端:(Little-Endian):就是把数值的高位字节放在高位的地址上,低位字节放在低位地址上。

【注】不管是大端法还是小端法存储,计算机在内存中存放数据的顺序都是从低地址到高地址,所不同的是首先取低字节的数据存放在低地址还是取高字节数据存放在低地址。

大端法和小端法指的是字节在内存中存储时的排列规则,而不是数据中的位的排列规则。也有以位序排列的机器,但很少见。另外,再次明确一下,大端法或小端法是数据在存储时的表现,而不是在寄存器中参与运算时的表现。

3.大小端比较

我们常用的x86结构都是小端模式,而大部分DSP,ARM也是小端模式,而KEIL C51则为大端模式,而通讯协议是大端的,因此在网络编程时需要经字节序转换。不过有些ARM是可以选择大小端模式。所以对于上面的maxHeight是应该以小端模式来存放,具体情况请看下面两表。

(1)小端规则

地址 0x0042ffc4 0x0042ffc5 0x0042ffc6 0x0042ffc7
数据 0x78 0x56 0x34 0x12

(2)大端规则

地址 0x0042ffc4 0x0024ffc5 0x0042ffc6 0x0042ffc7
数据 0x12 0x34 0x56 0x78

通过上面的表格,可以看出来大小端的不同。(注:其实在计算机内存中并不存在所谓的数据类型,比如char,int等的。这个类型在代码中的作用就是让编译器知道每次应该从那个地址起始读取多少位的数据,赋值给相应的变量。)

4.存放顺序

(1)整数类型内部:低地址存储低位,高地址存储高位。

#include <stdio.h>

union NUM
{
    short int a;
    char b[2];
}num;

int main(int argc ,char **argv )
{

    num.a=0x1234;
    printf("%x %x",num.b[0],num.b[1]);
    return 0;
}      

组合的时候,整数类型内部低地址存储低位,高地址存储高位,最后的答应结果应该是34 12.

(2)若干个局部变量(在栈中存储的):先定义的高地址,后定义的低地址

#include<stdio.h>

int main(int argc ,char **argv )
{
    int i,j;
    printf("%x %x",&i,&j);
    return 0;
}      

输出结果为61ff2c 61ff28,可以看出局部变量是先定义高地址,后定义低地址,其实也就是说栈中存储是从高地址向地址存储的。

(3)若干个全局变量或静态变量:先定义的低地址,后定义的高地址

#include <stdio.h>

int i,j;
int a[2];

int main(int argc ,char **argv )
{
    static int m;
    static int n;
    
    printf("%x %x\n",&i,&j);
    printf("%x %x %x\n",&a,&a[0],&a[1]);
    printf("%x %x\n",&m,&n);
    return 0;
}      

结果如下所示:

407020 407024
407028 407028 40702c
407034 407038      

可以看出,先定义的低地址,后定义的高地址,而且先定义的全局变量,在定义的静态变量。

(4)类、结构体或数组的元素:先定义的低地址,后定义的高地址。

#include <iostream>

class Test{
public:
    int m;
    int n;
};

struct NUM
{
    short int a;
    char b;
};

int main(int argc ,char **argv )
{
    int a[2];
    struct NUM num;
    Test t;
    printf("%x %x %x\n",&a,&a[0],&a[1]);
    printf("%x %x %x\n",&num, &num.a,&num.b);
    printf("%x %x %x",&t,&t.m,&t.n);
    return 0;
}      

结果如下所示:

61ff28 61ff28 61ff2c
61ff24 61ff24 61ff26
61ff1c 61ff1c 61ff20      

从上面的结果来看,a,num,t属于局部变量,存放在栈区,是由高地址向低地址存储,而在数组、结构体、类中则是以低地址开始存储。

总的来说,具体的地址,需要考虑“栈的高地址到低地址”、“字节对齐”、“数组”这样的特殊情况等等。

5.大小端判断

大端是指低字节存储在高地址;小端存储是指低字节存储在低地址。

方法一:指针法

bool IsBigEndian()
{
    short int a = 0x1234;
    char b =  *(char *)&a;  //通过将int强制类型转换成char单字节,通过判断起始存储位置。即等于 取b等于a的低地址部分
    if( b == 0x12)
    {
        return true;
    }
    return false;
}      

方法二:联合体

我们可以根据联合体来判断该系统是大端还是小端。因为联合体变量总是从低地址存储。

typedef enum{
    false,true
}bool;
bool IsBigEndian()
{
    union NUM
    {
        short int a;
        char b;
    }num;
    num.a = 0x1234;
    if( num.b == 0x12 )
    {
        return true;
    }
    return false;
}      

上面的共用体变量un,大小sizeof(num)=2,

注意使用共用体(联合)判断时,不能仅依靠公用类型最大者为其共用体变量大小,应遵守对其原则和补齐原则。

对齐原则:

结构体变量中元素是按照定义顺序一个一个放到内存中去的,但并不是紧密排列的。从结构体存储的首地址开始,每一个元素放置到内存中时,它都会认为内存是以它自己的大小来划分的,因此元素放置的位置一定会在自己宽度的整数倍上开始(以结构体变量首地址为0计算)。

补齐原则:

检查计算出的存储单元是否为所有元素中所占内存最大的元素的长度的整数倍,是,则结束;若不是,则补齐为它的整数倍。

举一个例子:

union Un
{
    int i;
    char arr[5];
};      

sizeof(union Un)=8

6.大小端转换

对于字数据(16位):

#define BigtoLittle16(A)   ((((uint16)(A) & 0xff00) >> 8)    | \
                            (((uint16)(A) & 0x00ff) << 8))      

对于双字数据(32位):

#define BigtoLittle32(A)   ((( (uint32)(A) & 0xff000000) >> 24)  | \
                            (( (uint32)(A) & 0x00ff0000) >> 8)   | \
                            (( (uint32)(A) & 0x0000ff00) << 8)   | \
                            (( (uint32)(A) & 0x000000ff) << 24))      

7.大小端的理解

从软件的角度理解端模式

从软件的角度上,不同端模式的处理器进行数据传递时必须要考虑端模式的不同。如进行网络数据传递时,必须要考虑端模式的转换。在Socket接口编程中,以下几个函数用于大小端字节序的转换。

#define ntohs(n)     //16位数据类型网络字节顺序到主机字节顺序的转换
#define htons(n)     //16位数据类型主机字节顺序到网络字节顺序的转换
#define ntohl(n)      //32位数据类型网络字节顺序到主机字节顺序的转换
#define htonl(n)      //32位数据类型主机字节顺序到网络字节顺序的转换      

其中互联网使用的网络字节顺序采用大端模式进行编址,而主机字节顺序根据处理器的不同而不同,如PowerPC处理器使用大端模式,而Pentuim处理器使用小端模式。

大端模式处理器的字节序到网络字节序不需要转换,此时ntohs(n)=n,ntohl = n;而小端模式处理器的字节序到网络字节必须要进行转换,此时ntohs(n) =__swab16(n),ntohl = __swab32(n)。__swab16与__swab32函数定义如下所示。

#define ___swab16(x)
{
    __u16 __x = (x);
    ((__u16)((((__u16)(__x) & (__u16)0x00ffU) << 8) |
             (((__u16)(__x) & (__u16)0xff00U) >> 8) ));
}      
#define ___swab32(x)
{
    __u32 __x = (x);
    ((__u32)((((__u32)(__x) & (__u32)0x000000ffUL) << 24) |
             (((__u32)(__x) & (__u32)0x0000ff00UL) << 8)  |
             (((__u32)(__x) & (__u32)0x00ff0000UL) >> 8)  |
             (((__u32)(__x) & (__u32)0xff000000UL) >> 24) ));
}      

PowerPC处理器提供了lwbrx,lhbrx,stwbrx,sthbrx四条指令用于处理字节序的转换以优化__swab16和__swap32这类函数。此外PowerPC处理器中的rlwimi指令也可以用来实现__swab16和__swap32这类函数。

在对普通文件进行处理也需要考虑端模式问题。在大端模式的处理器下对文件的32,16位读写操作所得到的结果与小端模式的处理器不同。单纯从软件的角度理解上远远不能真正理解大小端模式的区别。事实上,真正的理解大小端模式的区别,必须要从系统的角度,从指令集,寄存器和数据总线上深入理解,大小端模式的区别。

从系统的角度理解端模式

先补充两个关键词,MSB和LSB:

  MSB:MoST Significant Bit ------- 最高有效位

LSB:Least Significant Bit ------- 最低有效位

处理器在硬件上由于端模式问题在设计中有所不同。从系统的角度上看,端模式问题对软件和硬件的设计带来了不同的影响,当一个处理器系统中大小端模式同时存在时,必须要对这些不同端模式的访问进行特殊的处理。

PowerPC处理器主导网络市场,可以说绝大多数的通信设备都使用PowerPC处理器进行协议处理和其他控制信息的处理,这也可能也是在网络上的绝大多数协议都采用大端编址方式的原因。因此在有关网络协议的软件设计中,使用小端方式的处理器需要在软件中处理端模式的转变。而Pentium主导个人机市场,因此多数用于个人机的外设都采用小端模式,包括一些在网络设备中使用的PCI总线,Flash等设备,这也要求在硬件设计中注意端模式的转换。

本文提到的小端外设是指这种外设中的寄存器以小端方式进行存储,如PCI设备的配置空间,NOR FLASH中的寄存器等等。对于有些设备,如DDR颗粒,没有以小端方式存储的寄存器,因此从逻辑上讲并不需要对端模式进行转换。在设计中,只需要将双方数据总线进行一一对应的互连,而不需要进行数据总线的转换。

如果从实际应用的角度说,采用小端模式的处理器需要在软件中处理端模式的转换,因为采用小端模式的处理器在与小端外设互连时,不需要任何转换。而采用大端模式的处理器需要在硬件设计时处理端模式的转换。大端模式处理器需要在寄存器,指令集,数据总线及数据总线与小端外设的连接等等多个方面进行处理,以解决与小端外设连接时的端模式转换问题。在寄存器和数据总线的位序定义上,基于大小端模式的处理器有所不同。

一个采用大端模式的32位处理器,如基于E500内核的MPC8541,将其寄存器的最高位msb(most significant bit)定义为0,最低位lsb(lease significant bit)定义为31;而小端模式的32位处理器,将其寄存器的最高位定义为31,低位地址定义为0。与此向对应,采用大端模式的32位处理器数据总线的最高位为0,最高位为31;采用小端模式的32位处理器的数据总线的最高位为31,最低位为0。

大小端模式处理器外部总线的位序也遵循着同样的规律,根据所采用的数据总线是32位,16位和8位,大小端处理器外部总线的位序有所不同。大端模式下32位数据总线的msb是第0位,MSB是数据总线的第0~ 7的字段;而lsb是第31位,LSB是第24~ 31字段。小端模式下32位总线的msb是第31位,MSB是数据总线的第31~ 24位,lsb是第0位,LSB是7~ 0字段。大端模式下16位数据总线的msb是第0位,MSB是数据总线的第0~ 7的字段;而lsb是第15位,LSB是第8~ 15字段。小端模式下16位总线的msb是第15位,MSB是数据总线的第15~ 7位,lsb是第0位,LSB是7~ 0字段。大端模式下8位数据总线的msb是第0位,MSB是数据总线的第0~ 7的字段;而lsb是第7位,LSB是第0~ 7字段。小端模式下8位总线的msb是第7位,MSB是数据总线的第7~ 0位,lsb是第0位,LSB是7~0字段。

由上分析,我们可以得知对于8位,16位和32位宽度的数据总线,采用大端模式时数据总线的msb和MSB的位置都不会发生变化,而采用小端模式时数据总线的lsb和LSB位置也不会发生变化。

为此,大端模式的处理器对8位,16位和32位的内存访问(包括外设的访问)一般都包含第0~ 7字段,即MSB。小端模式的处理器对8位,16位和32位的内存访问都包含第7~ 0位,小端方式的第7~0字段,即LSB。由于大小端处理器的数据总线其8位,16位和32位宽度的数据总线的定义不同,因此需要分别进行讨论在系统级别上如何处理端模式转换。在一个大端处理器系统中,需要处理大端处理器对小端外设的访问。

欢迎访问我的网站:

​​BruceOu的哔哩哔哩​​

​​BruceOu的主页​​

​​BruceOu的博客​​

接收更多精彩文章及资源推送,请订阅我的微信公众号:

继续阅读