終端實作大檔案上傳一直都是比較難的技術,其中涉及到後端與前端的互動,穩定性和流量大小,而且實作原理每個人都有自己的想法,後端主流用的比較多的是Http來實作,因為大多實作過斷點下載下傳。但穩定性不能保證,一旦斷開,無法續傳。是以得采用另一種流行的做法,TCP上傳大檔案。
網上查找了一些資料,大多數是斷點下載下傳,然後就是單獨的C#端的上傳接收,或是HTTP的,或是隻有android端的,由于任務緊是以之前找的首選方案當然是Http先來實作檔案上傳,終端采用Post方法,将檔案直接傳至後端,後端通過File來獲得。
android端:
RequestParams params = new RequestParams();
File file = getTempFile();//獲得本地檔案
try {
params.put("file", file);
} catch (FileNotFoundException e1) {
e1.printStackTrace();
}
AsyncHttpUtil.post(URL + "/UpLoad", params, new JsonHttpResponseHandler() {
……
後端:
var file = Request.Files["file"];
file.SaveAs(upFileName);
還有其它更好的處理方法,也可以傳流進來,不通過file檔案格式。 在網絡好的情況下沒什麼問題,但網絡差點後來經常上傳一半掉線或多個用戶端上傳出現連不上的情況,對于大檔案極不穩定,是以趕緊研發TCP協定檔案斷點上傳。
也有網友實作了Http斷點上傳,既然大檔案不行,那就将檔案分割成小檔案來上傳,純NET的主要方法:
上傳:
bool result = true;
long cruuent = 0;
FileStream fStream = new FileStream(fileName, FileMode.Open, FileAccess.Read);
BinaryReader bReader = new BinaryReader(fStream);
//模拟斷點上傳,第一次隻上傳 100 個位元組
long length = 100;
fileName = fileName.Substring(fileName.LastIndexOf('\\') + 1);
#region 開始上傳檔案
try
{
byte[] data;
#region 分割檔案上傳
for (; cruuent <= length; cruuent = cruuent + byteCount)
{
if (cruuent + byteCount > length)
{
data = new byte[Convert.ToInt64((length - cruuent))];
bReader.Read(data, 0, Convert.ToInt32((length - cruuent)));
}
else
{
data = new byte[byteCount];
bReader.Read(data, 0, byteCount);
}
try
{
Hashtable parms = new Hashtable();
parms.Add("fileName", fileName);
parms.Add("npos", cruuent.ToString());
byte[] byRemoteInfo = PostData(serverPath + "UpLoadServer.aspx", data, parms);
}
catch (Exception ex)
{
msg = ex.ToString();
result = false;
break;
}
#endregion
}
}
catch (Exception ex)
{
msg = ex.ToString();
result = false;
}
finally
{
bReader.Close();
fStream.Close();
}
GC.Collect();
先将檔案分割成小流,npos為斷點的位置,即已經上傳了的大小,然後循環上傳所有包。
背景接收:
/// <summary>
/// 儲存檔案(從URL參數中擷取檔案名、目前指針,将檔案流儲存到目前指針後)
/// 如果是第一次上傳,則目前指針為0,代碼執行與續傳一樣,隻不過指針沒有偏移
/// </summary>
public void SaveUpLoadFile()
{
string fileName = Request.Params["fileName"];
long npos = Convert.ToInt64(Request.Params["npos"]);
int upLoadLength = Convert.ToInt32(Request.InputStream.Length);
string path = Server.MapPath("/UpLoadServer");
fileName = path + "//UpLoad//" + fileName;
FileStream fStream = new FileStream(fileName, FileMode.OpenOrCreate, FileAccess.ReadWrite);
//偏移指針
fStream.Seek(npos, SeekOrigin.Begin);
//從用戶端的請求中擷取檔案流
BinaryReader bReader = new BinaryReader(Request.InputStream);
try
{
byte[] data = new byte[upLoadLength];
bReader.Read(data, 0, upLoadLength);
fStream.Write(data, 0, upLoadLength);
}
catch
{
//TODO 添加異常處理
}
finally
{
//釋放流
fStream.Close();
bReader.Close();
}
}
重點在 fStream.Seek(npos, SeekOrigin.Begin); 從斷點位置接收儲存。
有興趣的可以自己實作。
現在主要講講用戶端TCP上傳,背景TCP接收,主要思路為:android端讀取本地檔案将檔案名,檔案大小上傳至伺服器(檔案名必須是全局唯一),伺服器将根據檔案名查詢是否上傳過,若是上傳過,将已傳檔案的大小即斷點位置傳給終端,終端接收後先儲存斷點位置,然後從斷點位置讀取檔案斷續上傳,直到全部完成。若沒上傳過則伺服器建立緩存檔案接收。
看看代碼Android:
String head = "Length=" + uploadFile.length() + ";filename=" + filename
Socket socket = new Socket("192.168.0.123", 7080);
OutputStream outStream = socket.getOutputStream();
outStream.write(head.getBytes());//發送
PushbackInputStream inStream = new PushbackInputStream(socket.getInputStream());
String response = StreamTool.readLine(inStream);//讀取
String[] items = response.split(";");
final String position = items[0].substring(items[0].indexOf("=") + 1);//斷點位置
final String serviceurl = items[1].substring(items[1].indexOf("=") + 1);//儲存到伺服器路徑
RandomAccessFile fileOutStream = new RandomAccessFile(uploadFile, "r");
fileOutStream.seek(Integer.valueOf(position));//從斷點位置開始讀取檔案
byte[] buffer = new byte[1024];
int len = -1;
int length = Integer.valueOf(position);//已經上傳的大小,用于本地顯示
while ( (len = fileOutStream.read(buffer)) != -1) {
outStream.write(buffer, 0, len);
length += len;
Message msg = new Message();
msg.getData().putInt("size", length);
// 更新上傳的進度 handler.sendMessage(msg);
}
if (length == uploadFile.length()) {
//如果相等,則說明上傳成功
}
fileOutStream.close(); outStream.close(); inStream.close(); socket.close();
後端處理:
private static TcpListener listener;//伺服器監聽
IPAddress ipHost = IPAddress.Any;
listener = new TcpListener(ipHost, 7080);
listener.Start();//開啟監聽
Socket remoteSocketClient = listener.AcceptSocket();
device = new Device(remoteSocketClient);
//開啟一個線程去處理
threaddev = new Thread(new ThreadStart(device.Scan));
device.curentThread = threaddev;
threaddev.IsBackground = true;
threaddev.Start();
Scan處理方法:
string[] items = strGetContent.Split(';');
string filelength = items[0].Substring(items[0].IndexOf("=") + 1);
string filename = items[1].Substring(items[1].IndexOf("=") + 1);
//檔案儲存完整路徑
filePath = Path.Combine(directoryPath, filename);
//斷點位置
long position = 0;
if (File.Exists(filePath))
{
using (FileStream reader = new FileStream(filePath, FileMode.Open, FileAccess.Read, FileShare.None))
{
position = reader.Length;
}
}
//傳回消息
response = "position=" + position + ";serviceurl=" + dirPath + "/" + filename) ;
//伺服器收到用戶端的請求資訊後,給用戶端傳回響應資訊:;position=0
//serviceurl 服務生儲存的檔案位置 /PlayFiles/video/2016/07/04/1141142221.mp4
bufferSend = Encoding.UTF8.GetBytes(response);
remoteSocketClient.Send(bufferSend);
然後處理續傳内容:
//獲得檔案内容
byte[] buffer = new byte[BufferSize];
int received = 0;
long receive, length = long.Parse(filelength);
FileInfo file = new FileInfo(filePath);
using (FileStream writer = file.Open(file.Exists ? FileMode.Append : FileMode.CreateNew, FileAccess.Write, FileShare.None))
{
receive = writer.Length;
while (receive < length)
{
if ((received = remoteSocketClient.Receive(buffer)) == 0)
{
Program.MessageAdd(" IP【" + remoteSocketClient.RemoteEndPoint.ToString() + "】接收暫停!");
break;
}
writer.Write(buffer, 0, received);
writer.Flush();
receive += (long)received;
}
}
if (receive == length)
{
Program.MessageAdd(" IP【" + remoteSocketClient.RemoteEndPoint.ToString() + "】接收" + filename + "完成!");
}
主要原理還是從斷點位置上傳和接收。
這裡隻是講了最主要的代碼功能,還有很多細節處理,比如終端要顯示進度,是以還要儲存進度,後端檔案的儲存會不會錯位,還有多檔案上傳會不會亂,多用戶端上傳是建立新線程還是有線程池來處理等等 。
作者:歡醉
公衆号【一個碼農的日常】 技術群:319931204 1号群: 437802986 2号群: 340250479
出處:http://zhangs1986.cnblogs.com/
碼雲:https://gitee.com/huanzui
本文版權歸作者和部落格園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接配接,否則保留追究法律責任的權利。
Top