Improve file error reporting + new detailed error messages in UI
[android/platform/packages/providers/DownloadProvider.git] / src / com / android / providers / downloads / DownloadThread.java
1 /*
2  * Copyright (C) 2008 The Android Open Source Project
3  *
4  * Licensed under the Apache License, Version 2.0 (the "License");
5  * you may not use this file except in compliance with the License.
6  * You may obtain a copy of the License at
7  *
8  *      http://www.apache.org/licenses/LICENSE-2.0
9  *
10  * Unless required by applicable law or agreed to in writing, software
11  * distributed under the License is distributed on an "AS IS" BASIS,
12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  * See the License for the specific language governing permissions and
14  * limitations under the License.
15  */
16
17 package com.android.providers.downloads;
18
19 import android.content.ContentValues;
20 import android.content.Context;
21 import android.content.Intent;
22 import android.drm.mobile1.DrmRawContent;
23 import android.net.http.AndroidHttpClient;
24 import android.os.FileUtils;
25 import android.os.PowerManager;
26 import android.os.Process;
27 import android.provider.Downloads;
28 import android.provider.DrmStore;
29 import android.util.Config;
30 import android.util.Log;
31
32 import org.apache.http.Header;
33 import org.apache.http.HttpResponse;
34 import org.apache.http.client.methods.HttpGet;
35
36 import java.io.File;
37 import java.io.FileNotFoundException;
38 import java.io.FileOutputStream;
39 import java.io.IOException;
40 import java.io.InputStream;
41 import java.io.SyncFailedException;
42 import java.net.URI;
43 import java.net.URISyntaxException;
44 import java.util.Locale;
45 import java.util.Map;
46
47 /**
48  * Runs an actual download
49  */
50 public class DownloadThread extends Thread {
51
52     private Context mContext;
53     private DownloadInfo mInfo;
54     private SystemFacade mSystemFacade;
55
56     public DownloadThread(Context context, SystemFacade systemFacade, DownloadInfo info) {
57         mContext = context;
58         mSystemFacade = systemFacade;
59         mInfo = info;
60     }
61
62     /**
63      * Returns the user agent provided by the initiating app, or use the default one
64      */
65     private String userAgent() {
66         String userAgent = mInfo.mUserAgent;
67         if (userAgent != null) {
68         }
69         if (userAgent == null) {
70             userAgent = Constants.DEFAULT_USER_AGENT;
71         }
72         return userAgent;
73     }
74
75     /**
76      * State for the entire run() method.
77      */
78     private static class State {
79         public String mFilename;
80         public FileOutputStream mStream;
81         public String mMimeType;
82         public boolean mCountRetry = false;
83         public int mRetryAfter = 0;
84         public int mRedirectCount = 0;
85         public String mNewUri;
86         public boolean mGotData = false;
87         public String mRequestUri;
88
89         public State(DownloadInfo info) {
90             mMimeType = sanitizeMimeType(info.mMimeType);
91             mRedirectCount = info.mRedirectCount;
92             mRequestUri = info.mUri;
93             mFilename = info.mFileName;
94         }
95     }
96
97     /**
98      * State within executeDownload()
99      */
100     private static class InnerState {
101         public int mBytesSoFar = 0;
102         public String mHeaderETag;
103         public boolean mContinuingDownload = false;
104         public String mHeaderContentLength;
105         public String mHeaderContentDisposition;
106         public String mHeaderContentLocation;
107         public int mBytesNotified = 0;
108         public long mTimeLastNotification = 0;
109     }
110
111     /**
112      * Raised from methods called by run() to indicate that the current request should be stopped
113      * immediately.
114      */
115     private class StopRequest extends Throwable {
116         public int mFinalStatus;
117
118         public StopRequest(int finalStatus) {
119             mFinalStatus = finalStatus;
120         }
121
122         public StopRequest(int finalStatus, Throwable throwable) {
123             super(throwable);
124             mFinalStatus = finalStatus;
125         }
126     }
127
128     /**
129      * Raised from methods called by executeDownload() to indicate that the download should be
130      * retried immediately.
131      */
132     private class RetryDownload extends Throwable {}
133
134     /**
135      * Executes the download in a separate thread
136      */
137     public void run() {
138         Process.setThreadPriority(Process.THREAD_PRIORITY_BACKGROUND);
139
140         State state = new State(mInfo);
141         AndroidHttpClient client = null;
142         PowerManager.WakeLock wakeLock = null;
143         int finalStatus = Downloads.Impl.STATUS_UNKNOWN_ERROR;
144         mInfo.mPausedReason = null;
145
146         try {
147             PowerManager pm = (PowerManager) mContext.getSystemService(Context.POWER_SERVICE);
148             wakeLock = pm.newWakeLock(PowerManager.PARTIAL_WAKE_LOCK, Constants.TAG);
149             wakeLock.acquire();
150
151
152             if (Constants.LOGV) {
153                 Log.v(Constants.TAG, "initiating download for " + mInfo.mUri);
154             }
155
156             client = AndroidHttpClient.newInstance(userAgent(), mContext);
157
158             boolean finished = false;
159             while(!finished) {
160                 HttpGet request = new HttpGet(state.mRequestUri);
161                 try {
162                     executeDownload(state, client, request);
163                     finished = true;
164                 } catch (RetryDownload exc) {
165                     // fall through
166                 } finally {
167                     request.abort();
168                     request = null;
169                 }
170             }
171
172             if (Constants.LOGV) {
173                 Log.v(Constants.TAG, "download completed for " + mInfo.mUri);
174             }
175             finalizeDestinationFile(state);
176             finalStatus = Downloads.Impl.STATUS_SUCCESS;
177         } catch (StopRequest error) {
178             if (Constants.LOGV) {
179                 Log.v(Constants.TAG, "Aborting request for " + mInfo.mUri, error);
180             }
181             finalStatus = error.mFinalStatus;
182             // fall through to finally block
183         } catch (FileNotFoundException ex) {
184             Log.d(Constants.TAG, "FileNotFoundException for " + state.mFilename + " : " +  ex);
185             finalStatus = Downloads.Impl.STATUS_FILE_ERROR;
186             // falls through to the code that reports an error
187         } catch (RuntimeException ex) { //sometimes the socket code throws unchecked exceptions
188             if (Constants.LOGV) {
189                 Log.d(Constants.TAG, "Exception for " + mInfo.mUri, ex);
190             } else if (Config.LOGD) {
191                 Log.d(Constants.TAG, "Exception for id " + mInfo.mId, ex);
192             }
193             finalStatus = Downloads.Impl.STATUS_UNKNOWN_ERROR;
194             // falls through to the code that reports an error
195         } finally {
196             mInfo.mHasActiveThread = false;
197             if (wakeLock != null) {
198                 wakeLock.release();
199                 wakeLock = null;
200             }
201             if (client != null) {
202                 client.close();
203                 client = null;
204             }
205             cleanupDestination(state, finalStatus);
206             notifyDownloadCompleted(finalStatus, state.mCountRetry, state.mRetryAfter,
207                                     state.mRedirectCount, state.mGotData, state.mFilename,
208                                     state.mNewUri, state.mMimeType);
209         }
210     }
211
212     /**
213      * Fully execute a single download request - setup and send the request, handle the response,
214      * and transfer the data to the destination file.
215      */
216     private void executeDownload(State state, AndroidHttpClient client, HttpGet request)
217             throws StopRequest, RetryDownload, FileNotFoundException {
218         InnerState innerState = new InnerState();
219         byte data[] = new byte[Constants.BUFFER_SIZE];
220
221         setupDestinationFile(state, innerState);
222         addRequestHeaders(innerState, request);
223
224         // check just before sending the request to avoid using an invalid connection at all
225         checkConnectivity(state);
226
227         HttpResponse response = sendRequest(state, client, request);
228         handleExceptionalStatus(state, innerState, response);
229
230         if (Constants.LOGV) {
231             Log.v(Constants.TAG, "received response for " + mInfo.mUri);
232         }
233
234         processResponseHeaders(state, innerState, response);
235         InputStream entityStream = openResponseEntity(state, response);
236         transferData(state, innerState, data, entityStream);
237     }
238
239     /**
240      * Check if current connectivity is valid for this request.
241      */
242     private void checkConnectivity(State state) throws StopRequest {
243         if (!mInfo.canUseNetwork()) {
244             throw new StopRequest(Downloads.Impl.STATUS_RUNNING_PAUSED);
245         }
246     }
247
248     /**
249      * Transfer as much data as possible from the HTTP response to the destination file.
250      * @param data buffer to use to read data
251      * @param entityStream stream for reading the HTTP response entity
252      */
253     private void transferData(State state, InnerState innerState, byte[] data,
254                                  InputStream entityStream) throws StopRequest {
255         for (;;) {
256             int bytesRead = readFromResponse(state, innerState, data, entityStream);
257             if (bytesRead == -1) { // success, end of stream already reached
258                 handleEndOfStream(state, innerState);
259                 return;
260             }
261
262             state.mGotData = true;
263             writeDataToDestination(state, data, bytesRead);
264             innerState.mBytesSoFar += bytesRead;
265             reportProgress(state, innerState);
266
267             if (Constants.LOGVV) {
268                 Log.v(Constants.TAG, "downloaded " + innerState.mBytesSoFar + " for "
269                       + mInfo.mUri);
270             }
271
272             checkPausedOrCanceled(state);
273         }
274     }
275
276     /**
277      * Called after a successful completion to take any necessary action on the downloaded file.
278      */
279     private void finalizeDestinationFile(State state) throws StopRequest {
280         if (isDrmFile(state)) {
281             transferToDrm(state);
282         } else {
283             // make sure the file is readable
284             FileUtils.setPermissions(state.mFilename, 0644, -1, -1);
285             syncDestination(state);
286         }
287     }
288
289     /**
290      * Called just before the thread finishes, regardless of status, to take any necessary action on
291      * the downloaded file.
292      */
293     private void cleanupDestination(State state, int finalStatus) {
294         closeDestination(state);
295         if (state.mFilename != null && Downloads.Impl.isStatusError(finalStatus)) {
296             new File(state.mFilename).delete();
297             state.mFilename = null;
298         }
299     }
300
301     /**
302      * Sync the destination file to storage.
303      */
304     private void syncDestination(State state) {
305         FileOutputStream downloadedFileStream = null;
306         try {
307             downloadedFileStream = new FileOutputStream(state.mFilename, true);
308             downloadedFileStream.getFD().sync();
309         } catch (FileNotFoundException ex) {
310             Log.w(Constants.TAG, "file " + state.mFilename + " not found: " + ex);
311         } catch (SyncFailedException ex) {
312             Log.w(Constants.TAG, "file " + state.mFilename + " sync failed: " + ex);
313         } catch (IOException ex) {
314             Log.w(Constants.TAG, "IOException trying to sync " + state.mFilename + ": " + ex);
315         } catch (RuntimeException ex) {
316             Log.w(Constants.TAG, "exception while syncing file: ", ex);
317         } finally {
318             if(downloadedFileStream != null) {
319                 try {
320                     downloadedFileStream.close();
321                 } catch (IOException ex) {
322                     Log.w(Constants.TAG, "IOException while closing synced file: ", ex);
323                 } catch (RuntimeException ex) {
324                     Log.w(Constants.TAG, "exception while closing file: ", ex);
325                 }
326             }
327         }
328     }
329
330     /**
331      * @return true if the current download is a DRM file
332      */
333     private boolean isDrmFile(State state) {
334         return DrmRawContent.DRM_MIMETYPE_MESSAGE_STRING.equalsIgnoreCase(state.mMimeType);
335     }
336
337     /**
338      * Transfer the downloaded destination file to the DRM store.
339      */
340     private void transferToDrm(State state) throws StopRequest {
341         File file = new File(state.mFilename);
342         Intent item = DrmStore.addDrmFile(mContext.getContentResolver(), file, null);
343         file.delete();
344
345         if (item == null) {
346             Log.w(Constants.TAG, "unable to add file " + state.mFilename + " to DrmProvider");
347             throw new StopRequest(Downloads.Impl.STATUS_UNKNOWN_ERROR);
348         } else {
349             state.mFilename = item.getDataString();
350             state.mMimeType = item.getType();
351         }
352     }
353
354     /**
355      * Close the destination output stream.
356      */
357     private void closeDestination(State state) {
358         try {
359             // close the file
360             if (state.mStream != null) {
361                 state.mStream.close();
362                 state.mStream = null;
363             }
364         } catch (IOException ex) {
365             if (Constants.LOGV) {
366                 Log.v(Constants.TAG, "exception when closing the file after download : " + ex);
367             }
368             // nothing can really be done if the file can't be closed
369         }
370     }
371
372     /**
373      * Check if the download has been paused or canceled, stopping the request appropriately if it
374      * has been.
375      */
376     private void checkPausedOrCanceled(State state) throws StopRequest {
377         synchronized (mInfo) {
378             if (mInfo.mControl == Downloads.Impl.CONTROL_PAUSED) {
379                 if (Constants.LOGV) {
380                     Log.v(Constants.TAG, "paused " + mInfo.mUri);
381                 }
382                 throw new StopRequest(Downloads.Impl.STATUS_RUNNING_PAUSED);
383             }
384         }
385         if (mInfo.mStatus == Downloads.Impl.STATUS_CANCELED) {
386             if (Constants.LOGV) {
387                 Log.d(Constants.TAG, "canceled " + mInfo.mUri);
388             }
389             throw new StopRequest(Downloads.Impl.STATUS_CANCELED);
390         }
391     }
392
393     /**
394      * Report download progress through the database if necessary.
395      */
396     private void reportProgress(State state, InnerState innerState) {
397         long now = mSystemFacade.currentTimeMillis();
398         if (innerState.mBytesSoFar - innerState.mBytesNotified
399                         > Constants.MIN_PROGRESS_STEP
400                 && now - innerState.mTimeLastNotification
401                         > Constants.MIN_PROGRESS_TIME) {
402             ContentValues values = new ContentValues();
403             values.put(Downloads.Impl.COLUMN_CURRENT_BYTES, innerState.mBytesSoFar);
404             mContext.getContentResolver().update(mInfo.getAllDownloadsUri(), values, null, null);
405             innerState.mBytesNotified = innerState.mBytesSoFar;
406             innerState.mTimeLastNotification = now;
407         }
408     }
409
410     /**
411      * Write a data buffer to the destination file.
412      * @param data buffer containing the data to write
413      * @param bytesRead how many bytes to write from the buffer
414      */
415     private void writeDataToDestination(State state, byte[] data, int bytesRead)
416             throws StopRequest {
417         for (;;) {
418             try {
419                 if (state.mStream == null) {
420                     state.mStream = new FileOutputStream(state.mFilename, true);
421                 }
422                 state.mStream.write(data, 0, bytesRead);
423                 if (mInfo.mDestination == Downloads.Impl.DESTINATION_EXTERNAL
424                             && !isDrmFile(state)) {
425                     closeDestination(state);
426                 }
427                 return;
428             } catch (IOException ex) {
429                 if (mInfo.isOnCache()) {
430                     if (Helpers.discardPurgeableFiles(mContext, Constants.BUFFER_SIZE)) {
431                         continue;
432                     }
433                 } else if (!Helpers.isExternalMediaMounted()) {
434                     throw new StopRequest(Downloads.Impl.STATUS_DEVICE_NOT_FOUND_ERROR);
435                 }
436
437                 long availableBytes =
438                     Helpers.getAvailableBytes(Helpers.getFilesystemRoot(state.mFilename));
439                 if (availableBytes < bytesRead) {
440                     throw new StopRequest(Downloads.Impl.STATUS_INSUFFICIENT_SPACE_ERROR, ex);
441                 }
442                 throw new StopRequest(Downloads.Impl.STATUS_FILE_ERROR, ex);
443             }
444         }
445     }
446
447     /**
448      * Called when we've reached the end of the HTTP response stream, to update the database and
449      * check for consistency.
450      */
451     private void handleEndOfStream(State state, InnerState innerState) throws StopRequest {
452         ContentValues values = new ContentValues();
453         values.put(Downloads.Impl.COLUMN_CURRENT_BYTES, innerState.mBytesSoFar);
454         if (innerState.mHeaderContentLength == null) {
455             values.put(Downloads.Impl.COLUMN_TOTAL_BYTES, innerState.mBytesSoFar);
456         }
457         mContext.getContentResolver().update(mInfo.getAllDownloadsUri(), values, null, null);
458
459         boolean lengthMismatched = (innerState.mHeaderContentLength != null)
460                 && (innerState.mBytesSoFar != Integer.parseInt(innerState.mHeaderContentLength));
461         if (lengthMismatched) {
462             if (cannotResume(innerState)) {
463                 if (Constants.LOGV) {
464                     Log.d(Constants.TAG, "mismatched content length " +
465                             mInfo.mUri);
466                 } else if (Config.LOGD) {
467                     Log.d(Constants.TAG, "mismatched content length for " +
468                             mInfo.mId);
469                 }
470                 throw new StopRequest(Downloads.Impl.STATUS_CANNOT_RESUME);
471             } else {
472                 throw new StopRequest(handleHttpError(state, "closed socket"));
473             }
474         }
475     }
476
477     private boolean cannotResume(InnerState innerState) {
478         return innerState.mBytesSoFar > 0 && !mInfo.mNoIntegrity && innerState.mHeaderETag == null;
479     }
480
481     /**
482      * Read some data from the HTTP response stream, handling I/O errors.
483      * @param data buffer to use to read data
484      * @param entityStream stream for reading the HTTP response entity
485      * @return the number of bytes actually read or -1 if the end of the stream has been reached
486      */
487     private int readFromResponse(State state, InnerState innerState, byte[] data,
488                                  InputStream entityStream) throws StopRequest {
489         try {
490             return entityStream.read(data);
491         } catch (IOException ex) {
492             logNetworkState();
493             ContentValues values = new ContentValues();
494             values.put(Downloads.Impl.COLUMN_CURRENT_BYTES, innerState.mBytesSoFar);
495             mContext.getContentResolver().update(mInfo.getAllDownloadsUri(), values, null, null);
496             if (cannotResume(innerState)) {
497                 Log.d(Constants.TAG, "download IOException for download " + mInfo.mId, ex);
498                 Log.d(Constants.TAG, "can't resume interrupted download with no ETag");
499                 throw new StopRequest(Downloads.Impl.STATUS_CANNOT_RESUME, ex);
500             } else {
501                 throw new StopRequest(handleHttpError(state, "download IOException"), ex);
502             }
503         }
504     }
505
506     /**
507      * Open a stream for the HTTP response entity, handling I/O errors.
508      * @return an InputStream to read the response entity
509      */
510     private InputStream openResponseEntity(State state, HttpResponse response)
511             throws StopRequest {
512         try {
513             return response.getEntity().getContent();
514         } catch (IOException ex) {
515             logNetworkState();
516             throw new StopRequest(handleHttpError(state, "IOException getting entity"), ex);
517         }
518     }
519
520     private void logNetworkState() {
521         if (Constants.LOGX) {
522             Log.i(Constants.TAG,
523                     "Net " + (Helpers.isNetworkAvailable(mSystemFacade) ? "Up" : "Down"));
524         }
525     }
526
527     /**
528      * Read HTTP response headers and take appropriate action, including setting up the destination
529      * file and updating the database.
530      */
531     private void processResponseHeaders(State state, InnerState innerState, HttpResponse response)
532             throws StopRequest, FileNotFoundException {
533         if (innerState.mContinuingDownload) {
534             // ignore response headers on resume requests
535             return;
536         }
537
538         readResponseHeaders(state, innerState, response);
539
540         DownloadFileInfo fileInfo = Helpers.generateSaveFile(
541                 mContext,
542                 mInfo.mUri,
543                 mInfo.mHint,
544                 innerState.mHeaderContentDisposition,
545                 innerState.mHeaderContentLocation,
546                 state.mMimeType,
547                 mInfo.mDestination,
548                 (innerState.mHeaderContentLength != null) ?
549                         Long.parseLong(innerState.mHeaderContentLength) : 0,
550                 mInfo.mIsPublicApi);
551         if (fileInfo.mFileName == null) {
552             throw new StopRequest(fileInfo.mStatus);
553         }
554         state.mFilename = fileInfo.mFileName;
555         state.mStream = fileInfo.mStream;
556         if (Constants.LOGV) {
557             Log.v(Constants.TAG, "writing " + mInfo.mUri + " to " + state.mFilename);
558         }
559
560         updateDatabaseFromHeaders(state, innerState);
561         // check connectivity again now that we know the total size
562         checkConnectivity(state);
563     }
564
565     /**
566      * Update necessary database fields based on values of HTTP response headers that have been
567      * read.
568      */
569     private void updateDatabaseFromHeaders(State state, InnerState innerState) {
570         ContentValues values = new ContentValues();
571         values.put(Downloads.Impl._DATA, state.mFilename);
572         if (innerState.mHeaderETag != null) {
573             values.put(Constants.ETAG, innerState.mHeaderETag);
574         }
575         if (state.mMimeType != null) {
576             values.put(Downloads.Impl.COLUMN_MIME_TYPE, state.mMimeType);
577         }
578         values.put(Downloads.Impl.COLUMN_TOTAL_BYTES, mInfo.mTotalBytes);
579         mContext.getContentResolver().update(mInfo.getAllDownloadsUri(), values, null, null);
580     }
581
582     /**
583      * Read headers from the HTTP response and store them into local state.
584      */
585     private void readResponseHeaders(State state, InnerState innerState, HttpResponse response)
586             throws StopRequest {
587         Header header = response.getFirstHeader("Content-Disposition");
588         if (header != null) {
589             innerState.mHeaderContentDisposition = header.getValue();
590         }
591         header = response.getFirstHeader("Content-Location");
592         if (header != null) {
593             innerState.mHeaderContentLocation = header.getValue();
594         }
595         if (state.mMimeType == null) {
596             header = response.getFirstHeader("Content-Type");
597             if (header != null) {
598                 state.mMimeType = sanitizeMimeType(header.getValue());
599             }
600         }
601         header = response.getFirstHeader("ETag");
602         if (header != null) {
603             innerState.mHeaderETag = header.getValue();
604         }
605         String headerTransferEncoding = null;
606         header = response.getFirstHeader("Transfer-Encoding");
607         if (header != null) {
608             headerTransferEncoding = header.getValue();
609         }
610         if (headerTransferEncoding == null) {
611             header = response.getFirstHeader("Content-Length");
612             if (header != null) {
613                 innerState.mHeaderContentLength = header.getValue();
614                 mInfo.mTotalBytes = Long.parseLong(innerState.mHeaderContentLength);
615             }
616         } else {
617             // Ignore content-length with transfer-encoding - 2616 4.4 3
618             if (Constants.LOGVV) {
619                 Log.v(Constants.TAG,
620                         "ignoring content-length because of xfer-encoding");
621             }
622         }
623         if (Constants.LOGVV) {
624             Log.v(Constants.TAG, "Content-Disposition: " +
625                     innerState.mHeaderContentDisposition);
626             Log.v(Constants.TAG, "Content-Length: " + innerState.mHeaderContentLength);
627             Log.v(Constants.TAG, "Content-Location: " + innerState.mHeaderContentLocation);
628             Log.v(Constants.TAG, "Content-Type: " + state.mMimeType);
629             Log.v(Constants.TAG, "ETag: " + innerState.mHeaderETag);
630             Log.v(Constants.TAG, "Transfer-Encoding: " + headerTransferEncoding);
631         }
632
633         boolean noSizeInfo = innerState.mHeaderContentLength == null
634                 && (headerTransferEncoding == null
635                     || !headerTransferEncoding.equalsIgnoreCase("chunked"));
636         if (!mInfo.mNoIntegrity && noSizeInfo) {
637             Log.d(Constants.TAG, "can't know size of download, giving up");
638             throw new StopRequest(Downloads.Impl.STATUS_HTTP_DATA_ERROR);
639         }
640     }
641
642     /**
643      * Check the HTTP response status and handle anything unusual (e.g. not 200/206).
644      */
645     private void handleExceptionalStatus(State state, InnerState innerState, HttpResponse response)
646             throws StopRequest, RetryDownload {
647         int statusCode = response.getStatusLine().getStatusCode();
648         if (statusCode == 503 && mInfo.mNumFailed < Constants.MAX_RETRIES) {
649             handleServiceUnavailable(state, response);
650         }
651         if (statusCode == 301 || statusCode == 302 || statusCode == 303 || statusCode == 307) {
652             handleRedirect(state, response, statusCode);
653         }
654
655         int expectedStatus = innerState.mContinuingDownload ? 206 : Downloads.Impl.STATUS_SUCCESS;
656         if (statusCode != expectedStatus) {
657             handleOtherStatus(state, innerState, statusCode);
658         }
659     }
660
661     /**
662      * Handle a status that we don't know how to deal with properly.
663      */
664     private void handleOtherStatus(State state, InnerState innerState, int statusCode)
665             throws StopRequest {
666         if (Constants.LOGV) {
667             Log.d(Constants.TAG, "http error " + statusCode + " for " + mInfo.mUri);
668         } else if (Config.LOGD) {
669             Log.d(Constants.TAG, "http error " + statusCode + " for download " +
670                     mInfo.mId);
671         }
672         int finalStatus;
673         if (Downloads.Impl.isStatusError(statusCode)) {
674             finalStatus = statusCode;
675         } else if (statusCode >= 300 && statusCode < 400) {
676             finalStatus = Downloads.Impl.STATUS_UNHANDLED_REDIRECT;
677         } else if (innerState.mContinuingDownload && statusCode == Downloads.Impl.STATUS_SUCCESS) {
678             finalStatus = Downloads.Impl.STATUS_CANNOT_RESUME;
679         } else {
680             finalStatus = Downloads.Impl.STATUS_UNHANDLED_HTTP_CODE;
681         }
682         throw new StopRequest(finalStatus);
683     }
684
685     /**
686      * Handle a 3xx redirect status.
687      */
688     private void handleRedirect(State state, HttpResponse response, int statusCode)
689             throws StopRequest, RetryDownload {
690         if (Constants.LOGVV) {
691             Log.v(Constants.TAG, "got HTTP redirect " + statusCode);
692         }
693         if (state.mRedirectCount >= Constants.MAX_REDIRECTS) {
694             if (Constants.LOGV) {
695                 Log.d(Constants.TAG, "too many redirects for download " + mInfo.mId +
696                         " at " + mInfo.mUri);
697             } else if (Config.LOGD) {
698                 Log.d(Constants.TAG, "too many redirects for download " + mInfo.mId);
699             }
700             throw new StopRequest(Downloads.Impl.STATUS_TOO_MANY_REDIRECTS);
701         }
702         Header header = response.getFirstHeader("Location");
703         if (header == null) {
704             return;
705         }
706         if (Constants.LOGVV) {
707             Log.v(Constants.TAG, "Location :" + header.getValue());
708         }
709
710         String newUri;
711         try {
712             newUri = new URI(mInfo.mUri).resolve(new URI(header.getValue())).toString();
713         } catch(URISyntaxException ex) {
714             if (Constants.LOGV) {
715                 Log.d(Constants.TAG, "Couldn't resolve redirect URI " + header.getValue()
716                         + " for " + mInfo.mUri);
717             } else if (Config.LOGD) {
718                 Log.d(Constants.TAG,
719                         "Couldn't resolve redirect URI for download " +
720                         mInfo.mId);
721             }
722             throw new StopRequest(Downloads.Impl.STATUS_HTTP_DATA_ERROR);
723         }
724         ++state.mRedirectCount;
725         state.mRequestUri = newUri;
726         if (statusCode == 301 || statusCode == 303) {
727             // use the new URI for all future requests (should a retry/resume be necessary)
728             state.mNewUri = newUri;
729         }
730         throw new RetryDownload();
731     }
732
733     /**
734      * Handle a 503 Service Unavailable status by processing the Retry-After header.
735      */
736     private void handleServiceUnavailable(State state, HttpResponse response) throws StopRequest {
737         if (Constants.LOGVV) {
738             Log.v(Constants.TAG, "got HTTP response code 503");
739         }
740         state.mCountRetry = true;
741         Header header = response.getFirstHeader("Retry-After");
742         if (header != null) {
743            try {
744                if (Constants.LOGVV) {
745                    Log.v(Constants.TAG, "Retry-After :" + header.getValue());
746                }
747                state.mRetryAfter = Integer.parseInt(header.getValue());
748                if (state.mRetryAfter < 0) {
749                    state.mRetryAfter = 0;
750                } else {
751                    if (state.mRetryAfter < Constants.MIN_RETRY_AFTER) {
752                        state.mRetryAfter = Constants.MIN_RETRY_AFTER;
753                    } else if (state.mRetryAfter > Constants.MAX_RETRY_AFTER) {
754                        state.mRetryAfter = Constants.MAX_RETRY_AFTER;
755                    }
756                    state.mRetryAfter += Helpers.sRandom.nextInt(Constants.MIN_RETRY_AFTER + 1);
757                    state.mRetryAfter *= 1000;
758                }
759            } catch (NumberFormatException ex) {
760                // ignored - retryAfter stays 0 in this case.
761            }
762         }
763         throw new StopRequest(Downloads.Impl.STATUS_RUNNING_PAUSED);
764     }
765
766     /**
767      * Send the request to the server, handling any I/O exceptions.
768      */
769     private HttpResponse sendRequest(State state, AndroidHttpClient client, HttpGet request)
770             throws StopRequest {
771         try {
772             return client.execute(request);
773         } catch (IllegalArgumentException ex) {
774             if (Constants.LOGV) {
775                 Log.d(Constants.TAG, "Arg exception trying to execute request for " +
776                         mInfo.mUri + " : " + ex);
777             } else if (Config.LOGD) {
778                 Log.d(Constants.TAG, "Arg exception trying to execute request for " +
779                         mInfo.mId + " : " +  ex);
780             }
781             throw new StopRequest(Downloads.Impl.STATUS_HTTP_DATA_ERROR, ex);
782         } catch (IOException ex) {
783             logNetworkState();
784             throw new StopRequest(handleHttpError(state, "IOException trying to execute request"),
785                     ex);
786         }
787     }
788
789     /**
790      * @return the final status for this attempt
791      */
792     private int handleHttpError(State state, String message) {
793         if (Constants.LOGV) {
794             Log.d(Constants.TAG, message + " for " + mInfo.mUri);
795         }
796
797         if (!Helpers.isNetworkAvailable(mSystemFacade)) {
798             return Downloads.Impl.STATUS_RUNNING_PAUSED;
799         } else if (mInfo.mNumFailed < Constants.MAX_RETRIES) {
800             state.mCountRetry = true;
801             return Downloads.Impl.STATUS_RUNNING_PAUSED;
802         } else {
803             Log.d(Constants.TAG, "reached max retries: " + message + " for " + mInfo.mId);
804             return Downloads.Impl.STATUS_HTTP_DATA_ERROR;
805         }
806     }
807
808     /**
809      * Prepare the destination file to receive data.  If the file already exists, we'll set up
810      * appropriately for resumption.
811      */
812     private void setupDestinationFile(State state, InnerState innerState)
813             throws StopRequest, FileNotFoundException {
814         if (state.mFilename != null) { // only true if we've already run a thread for this download
815             if (!Helpers.isFilenameValid(state.mFilename)) {
816                 throw new StopRequest(Downloads.Impl.STATUS_FILE_ERROR);
817             }
818             // We're resuming a download that got interrupted
819             File f = new File(state.mFilename);
820             if (f.exists()) {
821                 long fileLength = f.length();
822                 if (fileLength == 0) {
823                     // The download hadn't actually started, we can restart from scratch
824                     f.delete();
825                     state.mFilename = null;
826                 } else if (mInfo.mETag == null && !mInfo.mNoIntegrity) {
827                     // This should've been caught upon failure
828                     Log.wtf(Constants.TAG, "Trying to resume a download that can't be resumed");
829                     f.delete();
830                     throw new StopRequest(Downloads.Impl.STATUS_CANNOT_RESUME);
831                 } else {
832                     // All right, we'll be able to resume this download
833                     state.mStream = new FileOutputStream(state.mFilename, true);
834                     innerState.mBytesSoFar = (int) fileLength;
835                     if (mInfo.mTotalBytes != -1) {
836                         innerState.mHeaderContentLength = Long.toString(mInfo.mTotalBytes);
837                     }
838                     innerState.mHeaderETag = mInfo.mETag;
839                     innerState.mContinuingDownload = true;
840                 }
841             }
842         }
843
844         if (state.mStream != null && mInfo.mDestination == Downloads.Impl.DESTINATION_EXTERNAL
845                 && !isDrmFile(state)) {
846             closeDestination(state);
847         }
848     }
849
850     /**
851      * Add custom headers for this download to the HTTP request.
852      */
853     private void addRequestHeaders(InnerState innerState, HttpGet request) {
854         for (Map.Entry<String, String> header : mInfo.getHeaders().entrySet()) {
855             request.addHeader(header.getKey(), header.getValue());
856         }
857
858         if (innerState.mContinuingDownload) {
859             if (innerState.mHeaderETag != null) {
860                 request.addHeader("If-Match", innerState.mHeaderETag);
861             }
862             request.addHeader("Range", "bytes=" + innerState.mBytesSoFar + "-");
863         }
864     }
865
866     /**
867      * Stores information about the completed download, and notifies the initiating application.
868      */
869     private void notifyDownloadCompleted(
870             int status, boolean countRetry, int retryAfter, int redirectCount, boolean gotData,
871             String filename, String uri, String mimeType) {
872         notifyThroughDatabase(
873                 status, countRetry, retryAfter, redirectCount, gotData, filename, uri, mimeType);
874         if (Downloads.Impl.isStatusCompleted(status)) {
875             mInfo.sendIntentIfRequested();
876         }
877     }
878
879     private void notifyThroughDatabase(
880             int status, boolean countRetry, int retryAfter, int redirectCount, boolean gotData,
881             String filename, String uri, String mimeType) {
882         ContentValues values = new ContentValues();
883         values.put(Downloads.Impl.COLUMN_STATUS, status);
884         values.put(Downloads.Impl._DATA, filename);
885         if (uri != null) {
886             values.put(Downloads.Impl.COLUMN_URI, uri);
887         }
888         values.put(Downloads.Impl.COLUMN_MIME_TYPE, mimeType);
889         values.put(Downloads.Impl.COLUMN_LAST_MODIFICATION, mSystemFacade.currentTimeMillis());
890         values.put(Constants.RETRY_AFTER_X_REDIRECT_COUNT, retryAfter + (redirectCount << 28));
891         if (!countRetry) {
892             values.put(Constants.FAILED_CONNECTIONS, 0);
893         } else if (gotData) {
894             values.put(Constants.FAILED_CONNECTIONS, 1);
895         } else {
896             values.put(Constants.FAILED_CONNECTIONS, mInfo.mNumFailed + 1);
897         }
898
899         mContext.getContentResolver().update(mInfo.getAllDownloadsUri(), values, null, null);
900     }
901
902     /**
903      * Clean up a mimeType string so it can be used to dispatch an intent to
904      * view a downloaded asset.
905      * @param mimeType either null or one or more mime types (semi colon separated).
906      * @return null if mimeType was null. Otherwise a string which represents a
907      * single mimetype in lowercase and with surrounding whitespaces trimmed.
908      */
909     private static String sanitizeMimeType(String mimeType) {
910         try {
911             mimeType = mimeType.trim().toLowerCase(Locale.ENGLISH);
912
913             final int semicolonIndex = mimeType.indexOf(';');
914             if (semicolonIndex != -1) {
915                 mimeType = mimeType.substring(0, semicolonIndex);
916             }
917             return mimeType;
918         } catch (NullPointerException npe) {
919             return null;
920         }
921     }
922 }