H.264編碼器輸出的Bit流中，每個Bit都隸屬于某個句法元素。句法元素被組織成有層次的結構，分别描述各個層次的資訊。
圖1
H.264分層結構由五層組成，分别是序列參數集、圖像參數集、片（Slice）、和宏塊和子塊。參數集是一個獨立的資料機關，不依賴于參數集外的其它句法元素。圖2描述了參數集與參數集外的句法元素之間的關系。
圖2
一個參數集不對應某一個特定的圖像或序列，同一序列參數集可以被多個圖像參數集引用，同理，同一個圖像參數集也可以被多個圖像引用。隻在編碼器認為需要更新參數集的内容時，才會發出新的參數集。
在H.264中，圖像以序列為機關進行組織。一個序列的第一個圖像叫做IDR圖像，IDR圖像都是I幀，H.264引入IDR圖像為了解碼的同步，當解碼器解碼到IDR圖像時，立即将參考幀隊列清空，将已解碼的資料全部輸出或抛棄，重新查找參數集，開始一個新的序列。這樣，如果前一個序列出現重大錯誤，在這裡可以獲得重新同步的機會。IDR圖像之後的圖像永遠不會使用IDR之前的圖像的資料來解碼。
IDR是I幀，但I幀不一定是IDR。I幀之後的圖像有可能會使用I幀之前的圖像做運動參考。
描述子描述從Bit流中取出句法元素的方法。
編号
文法
說明
1
ae（e）
CABAC
2
b（8）
讀進連續的8個Bit
3
ce（v）
CAVLC
4
f（n）
讀進連續的n個Bit
5
i（n）/i（v）
讀進連續的若幹Bit，并把它們解釋為有符号整數
6
me（v）
映射指數Golomb熵編碼
7
se（v）
有符号指數Golomb熵編碼
8
te（v）
截斷指數Golomb熵編碼
9
u（n）/u（v）
讀進連續的若幹Bit，并把它們解釋為無符号整數
10
ue（v）
無符号指數Golomb熵編碼
表1
句法元素的名稱由小寫字母和一系列下劃線組成，變量名稱是大小寫字母組成，中間沒有下劃線。
定義了H.264的句法，指明在碼流中依次出現的句法元素及它們出現的條件、提取描述子等。句法表是分層嵌套的。
句法表中的C字段表示該句法元素的分類，這是為片區服務，分類的具體含義如下表描述。
nal_unit_type
NAL類型
C
未使用
不分區、非IDR的片
2,3,4
片分區A
片分區B
版分區C
IDR圖像中的片
2,3
補充增強資訊單元（SEI）
序列參數集
圖像參數集
分界符
序列結束
11
碼流結束
12
填充
13..23
保留
24..31
不保留
表2
編碼器将每個NAL各自獨立、完整地放入一個分組，因為分組都有頭部，解碼器可以友善地檢測出NAL的分界，并依次取出NAL進行解碼。
每個NAL前有一個起始碼 0x000001，解碼器檢測每個起始碼，作為一個NAL的起始辨別，當檢測到下一個起始碼時，目前NAL結束。同時H.264規定，當檢測到0x000000時，也可以表征目前NAL的結束。對于NAL中資料出現0x000001或0x000000時，H.264引入了防止競争機制，如果編碼器檢測到NAL資料存在0x000001或0x000000時，編碼器會在最後個位元組前插入一個新的位元組0x03，這樣：
0x000000－>0x00000300
0x000001－>0x00000301
0x000002－>0x00000302
0x000003－>0x00000303
解碼器檢測到0x000003時，把03抛棄，恢複原始資料。
解碼器在解碼時，首先逐個位元組讀取NAL的資料，統計NAL的長度，然後再開始解碼。
句法
Desc
nal_nuit(NumBytesInNALunit){/* NumBytesInNALunit為統計出來的資料長度 */
forbidden_zero_bit /* 等于0 */
All
f(1)
nal_ref_idc/* 目前NAL的優先級，取值範圍0-3 */
u(2)
nal_unit_type /* NAL類型，見表2描述 */
u(5)
NumBytesInRBSP=0
for(i=1;i<NumBytesInNALunit;i++){
if(i+2<NumBytesInNALunit && next_bits(24)==0x000003{
/* 0x000003僞起始碼，需要删除0x03這個位元組 */
rbsp_byte[NumBytesInRBSP++]
b(8)
i+=2/* 取出前兩個0x00後，跳過0x03 */
emulation_prevention_three_byte/* equal to 0x03 */
f(8)
}else{
rbsp_byte[NumBytesInRBSP++] /* 繼續讀取後面的位元組 */
}
}
表3
seq_parameter_set_rbsp(){
profile_idc/* 指明所用的Profile */
u(8)
constraint_set0_flag
u(1)
constraint_set1_flag
reserved_zero_5bits /* equal to 0 */
level_idc /* 指明所用的Level */
seq_parameter_set_id /* 指明本序列參數集的id号，0-31，被圖像集引用，編碼需要産生新的序列集時，使用新的id，而不是改變原來參數集的内容 */
ue(v)
log2_max_frame_num_minus4/* 為讀取元素frame_num服務，frame_num辨別圖像的解碼順序，frame_num的解碼函數是ue(v)，其中v=log2_max_frame_num_minus4+4，該元素同時指明frame_num的最大值MaxFrameNum=2( log2_max_frame_num_minus4+4)*/
pic_order_cnt_type /* 指明poc的編碼方法，poc辨別圖像的播放順序，poc可以由frame_num計算，也可以顯示傳送。poc共三種計算方式 */
if(pic_order_cnt_type==0)
log2_max_pic_order_cnt_lsb_minus4 /* 指明變量MaxPicOrderCntLsb的值，MaxPicOrderCntLsb＝2(log2_max_pic_order_cnt_lsb_minus4+4) */
else if(pic_order_cnt_type==1){
delta_pic_order_always_zero_flag /* 等于1時，元素delta_pic_order_cnt[0]和delta_pic_order_cnt[1]不在片頭中出現，并且它們的預設值是0，等于0時，上述兩元素出現的片頭中 */
offset_for_non_ref_pic /* 用來計算非參考幀或場的poc，[-231,231-1] */
se(v)
offset_for_top_to_bottom_field/* 計算幀的底場的poc */
num_ref_frames_inpic_order_cnt_cycle /* 用來解碼poc,[0.255] */
for(i=0;i<num_ref_frames_inpic_order_cnt_cycle;i++)
offset_for_ref_frame[i]/* 用來解碼poc，對于循環中的每個元素指定一個偏移 */
num_ref_frames /* 參考幀隊列可達到的最大長度，[0,16] */
gaps_in_frame_num_value_allowed_flag /* 為1，允許slice header中的frame_num不連續 */
pic_width_inmbs_minus1 /* 本元素加1，指明以宏塊為機關的圖像寬度PicWidthInMbs=pic_width_in_mbs_minus1+1 */
pic_height_in_map_units_minus1 /* 本元素加1，指明以宏塊為機關的圖像高寬度PicHeightInMapUnitsMbs=pic_height_in_map_units_minus1+1 */
frame_mbs_only_flag /* 等于0表示本序列中所有圖像均為幀編碼；等于1，表示可能是幀，也可能場或幀場自适應，具體編碼方式由其它元素決定。結合前一進制素：FrameHeightInMbs=(2-frame_mbs_only_flag)*PicHeightInMapUnits */
if(frame_mbs_only_flag)
mb_adaptiv_frame_field_flag /* 指明本序列是否是幀場自适應模式：
frame_mbs_only_flag=1，全部是幀
frame_mbs_only_flag=0， mb_adaptiv_frame_field_flag=0，幀場共存
frame_mbs_only_flag=0， mb_adaptiv_frame_field_flag=1，幀場自适應和場共存*/
direct_8x8_inference_flag /* 用于指明B片的直接和skip模式下的運動矢量的計算方式 */
frame_cropping_flag /* 解碼器是否要将圖像裁剪後輸出，如果是，後面為裁剪的左右上下的寬度 */
if(frame_cropping_flag){
frame_crop_left_offset
ue(1)
frame_crop_right_offset
frame_crop_top_offset
frame_crop_bottom_offset
vui_parameters_present_flag /* 指明vui子結構是否出現在碼流中，vui子結構在附錄中指明，用于表征視訊格式的資訊 */
if(vui_parameters_present_flag)
vui_parameters()
rbsp_trailing_bits()
表4