网易视频云：流媒体服务器原理和架构解析

网易视频云：流媒体服务器原理和架构解析

一个完整的多媒体文件是由音频和视频两部分组成的，H264、Xvid等就是视频编码格式，MP3、AAC等就是音频编码格式，字幕文件只是附加文件。目前大部分的播放器产品对于H.264 + AAC的MP4编码格式支持最好，但是MP4也有很多的缺点，比如视频header很大，影响在线视频网站的初次加载时间。 为了降低头部体积，需要进行视频本身的物理分段等等。对MPEG2-TS格式视频文件进行物理切片，分成一小段，这种方式被Apple公司的HTTP Live Streaming (HLS)技术采用。另外一种是使用Fragmented MP4文件格式，这是一种文件内部的逻辑分割方式，而视频文件还是完整的，这种技术被 Microsoft Smooth Streaming和Adobe HTTP Dynamic Streaming采用。很多在线视频网站在带宽耗费的压力下，主要选择的是adobe公司提供的FLV或F4V，FLV是流媒体封装格式，可将其数据看为二进制字节流。总体上看，FLV包括文件头（File Header）和文件体（File Body）两部分，其中文件体由一系列的Tag及Tag Size对组成。 流媒体传输类型

流媒体在播放前不是完全下载整个文件，而是把开始部分内容存入内存，数据流是随时传送随时播放。

流媒体服务器提供的流式传输方式有两种：顺序流式传输和实时流式传输 两种方式。

顺序流式传输是顺序下载，在下载文件的同时用户可观看在线媒体。如果使用普通的HTTP服务器，将音视频数据以从头至尾方式发送，则为顺序流媒体传输。实时流式传输总是实时传送，特别适合现场事件。一般来说，如果视频为现场直播，或使用专用的流媒体服务器，或应用如RTSP等专用实时协议，即为实时流媒体传输。实时流式传输必须匹配连接带宽，这意味着图像质量会因网络速度降低而变差。

在流式传输时，流媒体数据具有实时性，等时性等基本特点，流服务期和客户终端要保证各种媒体间的同步关系，因此，流媒体传输对“最大延时”，“延时抖动”

等QoS参数都有严格要求。

实时流传输既可传输实况直播，也可传输完整的音视频文件（专用协议流式）。 顺序流媒体不可用于实况直播，仅能传输完整的音视频文件（HTTP渐进式）。 区别 音视频数据源 实时流 顺序流 实时从录制设备上采集， 可播放的音视频文件 或（使用专用协议传输的）文件 服务器类型 专用流媒体服务器，如： 普通的HTTP服务器， QuickTime Server Real Server Windows Media Server Flash Media Server Streaming 或FTP服务器 传输协议 专用协议RTSP， HLS或RTMP等 一般的HTTP协议， 与传输网页的协议相同 在给定时刻，用户只能观看已下载的那部分，而不能跳到还未下载的部分 跳播 可随机访问任意片段

主流的流媒体协议

主流的流媒体协议主要有： RTMP， HLS， RTSP等。 区别 全称 RTMP HLS RTSP Time Real Time Message Http Live Stream Real Protocol Streaming Protocol 上层协议 TCP或HTTP HTTP RTP，RTCP

软件模型 研发主要来自 针对客户端 C\\S Adobe B\\S Apple C\\S Microsoft 支持Flash类产品 苹果的Safari浏播放器 的浏览器 览器 支持HTML5的浏览支持HTML5的浏览器 视频格式要求 服务器要求 FLV， F4V 器 MP4 无 专用Flash服务器 普通HTTP服务器 专用RTSP流媒体Flash Server Red5 Media 服务器 实况直播要求 专用编码器上传 Flash Encoder 专用编码器上传 与服务器相关， 自定义上传 Media Apple开发工具 文件播放要求 FLV ，F4V文件即TS数据文件， 可， 服务器会自动分解为 F4f 数据文件 f4x索引文件 M3u8索引文件 与服务器相关， 与播放器相关

流媒体协议原理

(一) HTTP渐进式下载原理（仅支持文件播放）

HTTP边下载边播放，严格意义上讲，不是直播协议。他的原理是先下载文件的基本信息，音频视频的时间戳，再下载音视频数据，以播放mp4为例，先下载文件头，根据文件头指引下载文件尾，然后再下载文件的音视频数据。