天天看点

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

1、 Fastdfs介绍

Fastdfs是用c语言编写的一个开源的轻量级分布式文件系统,它对文件进程管理,功能包括: 文件存储,文件同步,文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题,特别适合以文件为载体的在线服务,如相册网站,视频网站等等

Fastdfs为互联网量身定制,充分考虑了冗余备份,负载均衡,线性扩容等,并注重高可用,高性能等指标,使用fastdfs很容易搭建一套高性能的文件服务器集群提供文件上传、下载服务

2、Fastdfs架构

Fastdfs架构包括Tracker server和Storage server

客户端请求Tracker server进行文件上传、下载,通过Tracker server调度最终由 Storage server完成文件上传和下载

Tracker server作用是负载均衡和调度,通过Tracker server在文件上传时可以根据一些策略找到Storage server 提供文件上传服务,可以讲tracker成为追踪服务器或调度服务器

Storage server作为是文件存储,客户端上传的文件最终存储在storage服务器上,Storage server 没有实现自己的文件系统而是利用操作系统的文件系统来管理文件,可以讲storage成为存储服务器

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

3、FastDFS 系统有三个角色:跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。

• Tracker Server: 跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的 storage server和 group,每个 storage 在启动后会连接 Tracker,告知自己所属 group 等信息,并保持周期性心跳。

• Storage Server:存储服务器,主要提供容量和备份服务;以 group 为单位,每个 group 内可以有多台 storage server,数据互为备份。

• Client:客户端,上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。

4、Fastdfs原理

关于模块:跟踪服务器和存储节点都可以由一台或多台服务器构成,跟踪服务器和存储节点均可以随时增加或者下线不会影响线上服务,其中跟踪服务器中所有服务器是对 等,可以根据服务器压力情况随时增加或减少

5、文件上传流程

Storage server会连接集群中所有的Tracker server,定时向他们报告自己的状态,包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。

关于上传

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

**

文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名。

n 组名:文件上传后所在的storage组名称,在文件上传成功后有storage服务器返回,需要客户端自行保存。

n 虚拟磁盘路径:*storage配置的虚拟路径,与磁盘选项store_path对应。如果配置了store_path0则是M00,如果配置了store_path1则是M01,以此类推。

n 数据两级目录:storage服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。

n 文件名:与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

client发送download请求给某个tracker,必须带上文件名信息,tracker从文件名中解析出文件的group、大小、创建时间等信息,然后为该请求选择一个storage用来服务读请求,由于group内的文件同步时在后台是异步的,所以有可能出现在读的时候,文件还没有同步到某些storage server上,为了尽量避免访问到这样的storage,tracker按照如下规则选择group内可读的storage

文件创建时间戳-storage被同步到的时间戳 且(当前时间-文件创建时间戳)>文件同步最大时间(5分钟),说明文件创建后,认为经过最大同步时间后,肯定已经同步到其他storage了

6、安装Fastdfs

192.168.1.10 nginx proxy

192.168.1.20 tracker server1

192.168.1.30 tracker server2

192.168.1.40 storage server group1

192.168.1.50 storage server group2

数据存储位置/storage/fastdfs

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

1.安装编译环境,安装libfastcommon和fastdfs(所有节点)

Libfastcommon 包含了fastdfs运行所需的要的一些基础库

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

2.第一台编写一个脚本 (方便部署traker)

3.把脚本和软件包复制到其他四台主机

<code>scp root fastdfs.tar.gz libfastcommon.tar.gz install-fastdfs.sh [email protected]:/root</code>

4.四台执行一下脚本,查看一下脚本是否执行成功

<code>sh install-fastdfs.sh</code>

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

5.配置track(两台都是)

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

6.安装nginx(第一台)

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)
Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

1.安装nginx (两台都要)

2.配置storage

3.配置nginx拓展配置文件

****4.拷贝nginx拓展软件的配置文件,storage的配置文件,nginx安装包和nginx拓展包到第二台storage主机(拷贝完之后,按照上面2,3步骤来一遍)

5.Nginx主配置文件修改 (两台都改)

6、启动服务

启动storaged server(两台都要启动)

<code>[root@localhost fdfs]# /etc/init.d/fdfs_storaged start</code>

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

启动nginx(两台都启动)

<code>[root@localhost ~]# /usr/local/nginx/sbin/nginx</code>

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)
Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

测试一下

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

修改第一台的client.conf.sample配置文件

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

在storage上查看一下

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

浏览器访问一下

http://192.168.1.50:8888/group2/M00/00/00/wKgBMl3cpCWAZGQIADuP0gQAyTs723.png

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

下载并改名刚刚传上去的图片

<code>[root@localhost ~]# fdfs_download_file /etc/fdfs/client.conf.sample group2/M00/00/00/wKgBMl3coGKACR1RADuP0gQAyTs874.png xgp.png</code>

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

删除刚刚上传的图片

<code>[root@localhost ~]# fdfs_delete_file /etc/fdfs/client.conf.sample group2/M00/00/00/wKgBMl3coGKACR1RADuP0gQAyTs874.png</code>

三,配置nginx反向代理服务器 (第一台)

启动nginx

浏览器查看一下,还是用刚刚那个id(需要重新上传一下)

浏览器访问:http://192.168.1.10/group2/M00/00/00/wKgBMl3cpCWAZGQIADuP0gQAyTs723.png

Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)
Fastdfs架构一.部署安装traker server二.配置storage server服务器(两台都是)

实验完毕

继续阅读