编写断点续传和多线程下载模块
副标题#e#
本文配套源码
概述
在当今的网络时代，下载软件是利用最为频繁的软件之一。几年来，下载技能也在不断地成长。最原始的下载成果仅仅是个“下载”进程，即从WEB处事器上持续地读取文件。其最大的问题是，由于网络的不不变性，一旦毗连断开使得下载进程间断，就不得不全部从新再来一次。
随后，“断点续传”的观念就出来了，顾名思义，就是假如下载间断，在从头成立毗连后，跳过已经下载的部门，而只下载还没有下载的部门。
无论“多线程下载”技能是否洪以容先生的发现，洪以容使得这项技能获得前所未有的存眷是不争的事实。在“网络蚂蚁”软件风行开后，很多下载软件也都纷纷效仿，是否具?quot;多线程下载"技能、甚至能支持几多个下载线程都成了人们评测下载软件的要素。"多线程下载"的基本是WEB处事器支持长途的随机读取，也即支持"断点续传"。这样，在下载时可以把文件分成若干部门，每一部门建设一个下载线程举办下载。
此刻，不要说编写专门的下载软件，在本身编写的软件中，插手下载成果有时也很是须要。如让本身的软件支持自动在线进级，可能在软件中自动下载新的数据举办数据更新，这都是很有用、并且很实用的成果。本文的主题即奈何编写一个支持"断点续传"和"多线程"的下载模块。虽然，下载的进程很是巨大，在一篇文章中难以全部阐发，所以，与下载进程干系不直接的部门根基上都忽略了，如异常处理惩罚和网络错误处理惩罚等，敬请列位读者留意。我利用的开拓情况是C++ Builder 5.0，利用其他开拓情况可能编程语言的伴侣请自行作适当修改。
HTTP协议简介
下载文件是电脑与WEB处事器交互的进程，它们交互的"语言"的专业名称是协议。传送文件的协议有多种，最常用的是HTTP（超文本传输协议）和FTP（文件传送协议），我回收的是HTTP。
HTTP协议最根基的呼吁只有三条：Get、Post和Head。Get从WEB处事器请求一个特定的工具，好比HTML页面可能一个文件，WEB处事器通过一个Socket毗连发送此工具作为响应；Head呼吁使处事器给出此工具的根基描写，好比工具的范例、巨细和更新时间。Post呼吁用于向WEB处事器发送数据，凡是使把信息发送给一个单独的应用措施，经处理惩罚生成动态的功效返回给欣赏器。下载等于通过Get呼吁实现。
根基的下载进程
编写下载措施，可以直接利用Socket函数，可是这要求开拓人员领略、熟悉TCP/IP协议。为了简化Internet客户端软件的开拓，Windows提供了一套WinInet API，对常用的网络协议举办了封装，把开拓Internet软件的门槛大大低落了。我们需要利用的WinInet API函数如图1所示，挪用顺序根基上是从上到下，其详细的函数原型请参考MSDN。
图1
在利用这些函数时，必需严格区分它们利用的句柄。这些句柄的范例是一样的，都是HINTERNET，可是浸染差异，这一点很是让人疑惑。凭据这些句柄的发生顺序和挪用干系，可以分为三个级别，下一级的句柄由上一级的句柄获得。
InternetOpen是最先挪用的函数，它返回的HINTERNET句柄级别最高，我习惯界说为hSession，即会话句柄。
InternetConnect利用hSession句柄，返回的是http毗连句柄，我把它界说为hConnect。
HttpOpenRequest利用hConnect句柄，返回的句柄是http请求句柄，界说为hRequest。
HttpSendRequest、HttpQueryInfo、InternetSetFilePointer和InternetReadFile都利用HttpOpenRequest返回的句柄，即hRequest。
当这几个句柄不再利用是，应该用函数InternetCloseHandle把它封锁，以释放其占用的资源。
首先成立一个名为THttpGetThread、建设后自动挂起的线程模块，我但愿线程在完成后自动销毁，所以在结构函数中配置：
FreeOnTerminate = True; // 自动删除
并增加以下成员变量：
char Buffer[HTTPGET_BUFFER_MAX+4]; // 数据缓冲区
AnsiString FURL; // 下载工具的URL
AnsiString FOutFileName; // 生存的路径和名称
HINTERNET FhSession; // 会话句柄
HINTERNET FhConnect; // http毗连句柄
HINTERNET FhRequest; // http请求句柄
bool FSuccess; // 下载是否乐成
int iFileHandle; // 输出文件的句柄
#p#副标题#e#
1、成立毗连
凭据成果分别，下载进程可以分为4部门，即成立毗连、读取待下载文件的信息并阐明、下载文件和释放占用的资源。成立毗连的函数如下，个中ParseURL的浸染是从下载URL地点中取得主机名称和下载的文件的WEB路径，DoOnStatusText用于输出当前的状态：
#p#分页标题#e#
//初始化下载情况
void THttpGetThread::StartHttpGet(void)
{
AnsiString HostName,FileName;
ParseURL(HostName, FileName);
try
{
// 1.成立会话
FhSession = InternetOpen("http-get-demo",
INTERNET_OPEN_TYPE_PRECONFIG,
NULL,NULL,
0); // 同步方法
if( FhSession==NULL)throw(Exception("Error：InterOpen"));
DoOnStatusText("ok：InterOpen");
// 2.成立毗连
FhConnect=InternetConnect(FhSession,
HostName.c_str(),
INTERNET_DEFAULT_HTTP_PORT,
NULL,NULL,
INTERNET_SERVICE_HTTP, 0, 0);
if(FhConnect==NULL)throw(Exception("Error：InternetConnect"));
DoOnStatusText("ok：InternetConnect");
// 3.初始化下载请求
const char *FAcceptTypes = "*/*";
FhRequest = HttpOpenRequest(FhConnect,
"GET", // 从处事器获取数据
FileName.c_str(), // 想读取的文件的名称
"HTTP/1.1", // 利用的协议
NULL,
&FAcceptTypes,
INTERNET_FLAG_RELOAD,
0);
if( FhRequest==NULL)throw(Exception("Error：HttpOpenRequest"));
DoOnStatusText("ok：HttpOpenRequest");
// 4.发送下载请求
HttpSendRequest(FhRequest, NULL, 0, NULL, 0);
DoOnStatusText("ok：HttpSendRequest");
}catch(Exception &exception)
{
EndHttpGet(); // 封锁毗连，释放资源
DoOnStatusText(exception.Message);
}
}
// 从URL中提取主机名称和下载文件路径
void THttpGetThread::ParseURL(AnsiString &HostName,AnsiString &FileName)
{
AnsiString URL=FURL;
int i=URL.Pos("http://");
if(i>0)
{
URL.Delete(1, 7);
}
i=URL.Pos("/");
HostName = URL.SubString(1, i-1);
FileName = URL.SubString(i, URL.Length());
}
可以看到，措施凭据图1中的顺序，依次挪用InternetOpen、InternetConnect、HttpOpenRequest函数获得3个相关的句柄，然后通过HttpSendRequest函数把下载的请求发送给WEB处事器。
InternetOpen的第一个参数是无关的，最后一个参数假如配置为INTERNET_FLAG_ASYNC，则将成立异步毗连，这很有实际意义，思量到本文的庞洪水平，我没有回收。可是对付需要更高下载要求的读者，强烈发起回收异步方法。
HttpOpenRequest打开一个请求句柄，呼吁是"GET"，暗示下载文件，利用的协议是"HTTP/1.1"。
别的一个需要留意的处所是HttpOpenRequest的参数FAcceptTypes，暗示可以打开的文件范例，我配置为"*/*"暗示可以打开所有文件范例，可以按照实际需要改变它的值。
2、读取待下载的文件的信息并阐明
在发送请求后，可以利用HttpQueryInfo函数获取文件的有关信息，可能取得处事器的信息以及处事器支持的相关操纵。对付下载措施，最常用的是通报HTTP_QUERY_CONTENT_LENGTH参数取得文件的巨细，即文件包括的字节数。模块如下所示：
// 取得待下载文件的巨细
int __fastcall THttpGetThread::GetWEBFileSize(void)
{
try
{
DWORD BufLen=HTTPGET_BUFFER_MAX;
DWORD dwIndex=0;
bool RetQueryInfo=HttpQueryInfo(FhRequest,
HTTP_QUERY_CONTENT_LENGTH,
Buffer, &BufLen,
&dwIndex);
if( RetQueryInfo==false) throw(Exception("Error：HttpQueryInfo"));
DoOnStatusText("ok：HttpQueryInfo");
int FileSize=StrToInt(Buffer); // 文件巨细
DoOnGetFileSize(FileSize);
}catch(Exception &exception)
{
DoOnStatusText(exception.Message);
}
return FileSize;
}
模块中的DoOnGetFileSize是发出取得文件巨细的事件。取得文件巨细后，对付回收多线程的下载措施，可以凭据这个值举办符合的文件分块，确定每个文件块的起点和巨细。
3、下载文件的模块
开始下载前，还应该先布置好奈何生存下载功效。要领许多，我直接回收了C++ Builder提供的文件函数打开一个文件句柄。虽然，也可以回收Windows自己的API，对付小文件，全部缓冲到内存中也可以思量。
#p#分页标题#e#
// 打开输出文件，以生存下载的数据
DWORD THttpGetThread::OpenOutFile(void)
{
try
{
if(FileExists(FOutFileName))
DeleteFile(FOutFileName);
iFileHandle=FileCreate(FOutFileName);
if(iFileHandle==-1) throw(Exception("Error：FileCreate"));
DoOnStatusText("ok:CreateFile");
}catch(Exception &exception)
{
DoOnStatusText(exception.Message);
}
return 0;
}
// 执行下载进程
void THttpGetThread::DoHttpGet(void)
{
DWORD dwCount=OpenOutFile();
try
{
// 发出开始下载事件
DoOnStatusText("StartGet：InternetReadFile");
// 读取数据
DWORD dwRequest; // 请求下载的字节数
DWORD dwRead; // 实际读出的字节数
dwRequest=HTTPGET_BUFFER_MAX;
while(true)
{
Application->ProcessMessages();
bool ReadReturn = InternetReadFile(FhRequest,
(LPVOID)Buffer,
dwRequest,
&dwRead);
if(!ReadReturn)break;
if(dwRead==0)break;
// 生存数据
Buffer[dwRead]='\0';
FileWrite(iFileHandle, Buffer, dwRead);
dwCount = dwCount + dwRead;
// 发出下载历程事件
DoOnProgress(dwCount);
}
Fsuccess=true;
}catch(Exception &exception)
{
Fsuccess=false;
DoOnStatusText(exception.Message);
}
FileClose(iFileHandle);
DoOnStatusText("End：InternetReadFile");
}
下载进程并不巨大，与读取当地文件一样，执行一个简朴的轮回。虽然，如此利便的编程照旧得益于微软对网络协议的封装。
4、释放占用的资源
这个进程很简朴，凭据发生各个句柄的相反的顺序挪用InternetCloseHandle函数即可。
void THttpGetThread::EndHttpGet(void)
{
if(FConnected)
{
DoOnStatusText("Closing:InternetConnect");
try
{
InternetCloseHandle(FhRequest);
InternetCloseHandle(FhConnect);
InternetCloseHandle(FhSession);
}catch(...){}
FhSession=NULL;
FhConnect=NULL;
FhRequest=NULL;
FConnected=false;
DoOnStatusText("Closed:InternetConnect");
}
}
我以为，在释放句柄后，把变量配置为NULL是一种精采的编程习惯。在这个示例中，还出于假如下载失败，从头举办下载时需要再次操作这些句柄变量的思量。
5、成果模块的挪用
这些模块的挪用可以布置在线程工具的Execute要领中，如下所示：
void __fastcall THttpGetThread::Execute()
{
FrepeatCount=5;
for(int i=0;i<FRepeatCount;i++)
{
StartHttpGet();
GetWEBFileSize();
DoHttpGet();
EndHttpGet();
if(FSuccess)break;
}
// 发出下载完成事件
if(FSuccess)DoOnComplete();
else DoOnError();
}
这里执行了一个轮回，即假如发生了错误自动从头举办下载，实际编程中，反复次数可以作为参数自行配置。
实现断点续传成果
在根基下载的代码上实现断点续传成果并不是很巨大，主要的问题有两点：
1、 查抄当地的下载信息，确定已经下载的字节数。所以应该对打开输出文件的函数作适当修改。我们可以成立一个帮助文件生存下载的信息，如已经下载的字节数等。我处理惩罚得较为简朴，先查抄输出文件是否存在，假如存在，再获得其巨细，并以此作为已经下载的部门。由于Windows没有直接取得文件巨细的API，我编写了GetFileSize函数用于取得文件巨细。留意，与前面沟通的代码被省略了。
DWORD THttpGetThread::OpenOutFile(void)
{
……
if(FileExists(FOutFileName))
{
DWORD dwCount=GetFileSize(FOutFileName);
if(dwCount>0)
{
iFileHandle=FileOpen(FOutFileName,fmOpenWrite);
FileSeek(iFileHandle,0,2); // 移动文件指针到末端
if(iFileHandle==-1) throw(Exception("Error：FileCreate"));
DoOnStatusText("ok:OpenFile");
return dwCount;
}
DeleteFile(FOutFileName);
}
……
}
#p#分页标题#e#
2、 在开始下载文件（即执行InternetReadFile函数）之前，先调解WEB上的文件指针。这就要求WEB处事器支持随机读取文件的操纵，有些处事器对此作了限制，所以应该判定这种大概性。对DoHttpGet模块的修改如下，同样省略了沟通的代码：
void THttpGetThread::DoHttpGet(void)
{
DWORD dwCount=OpenOutFile();
if(dwCount>0) // 调解文件指针
{
dwStart = dwStart + dwCount;
if(!SetFilePointer()) // 处事器不支持操纵
{
// 排除输出文件
FileSeek(iFileHandle,0,0); // 移动文件指针到头部
}
}
……
}
多线程下载
要实现多线程下载，最主要的问题是下载线程的建设和打点，已经下载完成后文件的各个部门的精确归并，同时，下载线程也要作须要的修改。
1、下载线程的修改
为了适应多线程措施，我在下载线程插手如下成员变量：
int FIndex; // 在线程数组中的索引
DWORD dwStart; // 下载开始的位置
DWORD dwTotal; // 需要下载的字节数
DWORD FGetBytes; // 下载的总字节数
并插手如部属性值：
__property AnsiString URL = { read=FURL, write=FURL };
__property AnsiString OutFileName = { read=FOutFileName, write=FOutFileName};
__property bool Successed = { read=FSuccess};
__property int Index = { read=FIndex, write=FIndex};
__property DWORD StartPostion = { read=dwStart, write=dwStart};
__property DWORD GetBytes = { read=dwTotal, write=dwTotal};
__property TOnHttpCompelete OnComplete = { read=FOnComplete, write=FOnComplete };
同时，在下载进程DoHttpGet中增加如下处理惩罚，
void THttpGetThread::DoHttpGet(void)
{
……
try
{
……
while(true)
{
Application->ProcessMessages();
// 批改需要下载的字节数，使得dwRequest + dwCount <dwTotal;
if(dwTotal>0) // dwTotal=0暗示下载到文件竣事
{
if(dwRequest+dwCount>dwTotal)
dwRequest=dwTotal-dwCount;
}
……
if(dwTotal>0) // dwTotal <=0暗示下载到文件竣事
{
if(dwCount>=dwTotal)break;
}
}
}
……
if(dwCount==dwTotal)FSuccess=true;
}
2、成立多线程下载组件
我先成立了以TComponent为基类、名为THttpGetEx的组件模块，并增加以下成员变量：
// 内部变量
THttpGetThread **HttpThreads; // 生存成立的线程
AnsiString *OutTmpFiles; // 生存功效文件各个部门的姑且文件
bool *FSuccesss; // 生存各个线程的下载功效
// 以下是属性变量
int FHttpThreadCount; // 利用的线程个数
AnsiString FURL;
AnsiString FOutFileName;
各个变量的用途都如代码注释，个中的FSuccess的浸染较量出格，下文会再加以具体表明。因为线程的运行具有不行逆性，而组件大概会持续地下载差异的文件，所以下载线程只能动态建设，利用后随即销毁。建设线程的模块如下，个中GetSystemTemp函数取得系统的姑且文件夹，OnThreadComplete是线程下载完成后的事件，其代码在其后先容：
// 分派资源
void THttpGetEx::AssignResource(void)
{
FSuccesss=new bool[FHttpThreadCount];
for(int i=0;i<FHttpThreadCount;i++)
FSuccesss[i]=false;
OutTmpFiles = new AnsiString[FHttpThreadCount];
AnsiString ShortName=ExtractFileName(FOutFileName);
AnsiString Path=GetSystemTemp();
for(int i=0;i<FHttpThreadCount;i++)
OutTmpFiles[i]=Path+ShortName+"-"+IntToStr(i)+".hpt";
HttpThreads = new THttpGetThread *[FHttpThreadCount];
}
// 建设一个下载线程
THttpGetThread * THttpGetEx::CreateHttpThread(void)
{
THttpGetThread *HttpThread=new THttpGetThread(this);
HttpThread->URL=FURL;
…… // 初始化事件
HttpThread->OnComplete=OnThreadComplete; // 线程下载完成事件
return HttpThread;
}
// 建设下载线程数组
void THttpGetEx::CreateHttpThreads(void)
{
AssignResource();
// 取得文件巨细，以抉择各个线程下载的起始位置
THttpGetThread *HttpThread=CreateHttpThread();
HttpThreads[FHttpThreadCount-1]=HttpThread;
int FileSize=HttpThread->GetWEBFileSize();
// 把文件分成FHttpThreadCount块
int AvgSize=FileSize/FHttpThreadCount;
int *Starts= new int[FHttpThreadCount];
int *Bytes = new int[FHttpThreadCount];
for(int i=0;i<FHttpThreadCount;i++)
{
Starts[i]=i*AvgSize;
Bytes[i] =AvgSize;
}
// 批改最后一块的巨细
Bytes[FHttpThreadCount-1]=AvgSize+(FileSize-AvgSize*FHttpThreadCount);
// 检点处事器是否支持断点续传
HttpThread->StartPostion=Starts[FHttpThreadCount-1];
HttpThread->GetBytes=Bytes[FHttpThreadCount-1];
bool CanMulti=HttpThread->SetFilePointer();
if(CanMulti==false) // 不支持，直接下载
{
FHttpThreadCount=1;
HttpThread->StartPostion=0;
HttpThread->GetBytes=FileSize;
HttpThread->Index=0;
HttpThread->OutFileName=OutTmpFiles[0];
}else
{
HttpThread->OutFileName=OutTmpFiles[FHttpThreadCount-1];
HttpThread->Index=FHttpThreadCount-1;
// 支持断点续传，成立多个线程
for(int i=0;i<FHttpThreadCount-1;i++)
{
HttpThread=CreateHttpThread();
HttpThread->StartPostion=Starts[i];
HttpThread->GetBytes=Bytes[i];
HttpThread->OutFileName=OutTmpFiles[i];
HttpThread->Index=i;
HttpThreads[i]=HttpThread;
}
}
// 删除姑且变量
delete Starts;
delete Bytes;
}
下载文件的下载的函数如下：
#p#分页标题#e#
void __fastcall THttpGetEx::DownLoadFile(void)
{
CreateHttpThreads();
THttpGetThread *HttpThread;
for(int i=0;i<FHttpThreadCount;i++)
{
HttpThread=HttpThreads[i];
HttpThread->Resume();
}
}
线程下载完成后，会发出OnThreadComplete事件，在这个事件中判定是否所有下载线程都已经完成，假如是，则归并文件的各个部门。应该留意，这里有一个线程同步的问题，不然几个线程同时发生这个事件时，会相互斗嘴，功效也会杂乱。同步的要领许多，我的要领是建设线程互斥工具。
const char *MutexToThread="http-get-thread-mutex";
void __fastcall THttpGetEx::OnThreadComplete(TObject *Sender, int Index)
{
// 建设互斥工具
HANDLE hMutex= CreateMutex(NULL,FALSE,MutexToThread);
DWORD Err=GetLastError();
if(Err==ERROR_ALREADY_EXISTS) // 已经存在,期待
{
WaitForSingleObject(hMutex,INFINITE);//8000L);
hMutex= CreateMutex(NULL,FALSE,MutexToThread);
}
// 当一个线程竣事时，查抄是否全部认为完成
FSuccesss[Index]=true;
bool S=true;
for(int i=0;i<FHttpThreadCount;i++)
{
S = S && FSuccesss[i];
}
ReleaseMutex(hMutex);
if(S)// 下载完成，归并文件的各个部门
{
// 1. 复制第一部门
CopyFile(OutTmpFiles[0].c_str(),FOutFileName.c_str(),false);
// 添加其他部门
int hD=FileOpen(FOutFileName,fmOpenWrite);
FileSeek(hD,0,2); // 移动文件指针到末端
if(hD==-1)
{
DoOnError();
return;
}
const int BufSize=1024*4;
char Buf[BufSize+4];
int Reads;
for(int i=1;i<FHttpThreadCount;i++)
{
int hS=FileOpen(OutTmpFiles[i],fmOpenRead);
// 复制数据
Reads=FileRead(hS,(void *)Buf,BufSize);
while(Reads>0)
{
FileWrite(hD,(void *)Buf,Reads);
Reads=FileRead(hS,(void *)Buf,BufSize);
}
FileClose(hS);
}
FileClose(hD);
}
}
结语
到此，多线程下载的要害部门就先容完了。可是在实际应用时，尚有很多应该思量的因素，如网络速度、断线等等都是必需思量的。虽然尚有一些细节上的思量，可是限于篇幅，就难以一一写明白。假如读者伴侣可以或许参照本文编写出本身满足的下载措施，我也就很是欣慰了。我也很是但愿读者能由此与我相互进修，配合进步。
