exofs: RAID0 support
[linux-3.10.git] / fs / exofs / inode.c
1 /*
2  * Copyright (C) 2005, 2006
3  * Avishay Traeger (avishay@gmail.com)
4  * Copyright (C) 2008, 2009
5  * Boaz Harrosh <bharrosh@panasas.com>
6  *
7  * Copyrights for code taken from ext2:
8  *     Copyright (C) 1992, 1993, 1994, 1995
9  *     Remy Card (card@masi.ibp.fr)
10  *     Laboratoire MASI - Institut Blaise Pascal
11  *     Universite Pierre et Marie Curie (Paris VI)
12  *     from
13  *     linux/fs/minix/inode.c
14  *     Copyright (C) 1991, 1992  Linus Torvalds
15  *
16  * This file is part of exofs.
17  *
18  * exofs is free software; you can redistribute it and/or modify
19  * it under the terms of the GNU General Public License as published by
20  * the Free Software Foundation.  Since it is based on ext2, and the only
21  * valid version of GPL for the Linux kernel is version 2, the only valid
22  * version of GPL for exofs is version 2.
23  *
24  * exofs is distributed in the hope that it will be useful,
25  * but WITHOUT ANY WARRANTY; without even the implied warranty of
26  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
27  * GNU General Public License for more details.
28  *
29  * You should have received a copy of the GNU General Public License
30  * along with exofs; if not, write to the Free Software
31  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
32  */
33
34 #include <linux/writeback.h>
35 #include <linux/buffer_head.h>
36 #include <scsi/scsi_device.h>
37
38 #include "exofs.h"
39
40 #define EXOFS_DBGMSG2(M...) do {} while (0)
41
42 enum { BIO_MAX_PAGES_KMALLOC =
43                 (PAGE_SIZE - sizeof(struct bio)) / sizeof(struct bio_vec),
44 };
45
46 struct page_collect {
47         struct exofs_sb_info *sbi;
48         struct request_queue *req_q;
49         struct inode *inode;
50         unsigned expected_pages;
51         struct exofs_io_state *ios;
52
53         struct bio *bio;
54         unsigned nr_pages;
55         unsigned long length;
56         loff_t pg_first; /* keep 64bit also in 32-arches */
57 };
58
59 static void _pcol_init(struct page_collect *pcol, unsigned expected_pages,
60                        struct inode *inode)
61 {
62         struct exofs_sb_info *sbi = inode->i_sb->s_fs_info;
63
64         pcol->sbi = sbi;
65         /* Create master bios on first Q, later on cloning, each clone will be
66          * allocated on it's destination Q
67          */
68         pcol->req_q = osd_request_queue(sbi->layout.s_ods[0]);
69         pcol->inode = inode;
70         pcol->expected_pages = expected_pages;
71
72         pcol->ios = NULL;
73         pcol->bio = NULL;
74         pcol->nr_pages = 0;
75         pcol->length = 0;
76         pcol->pg_first = -1;
77 }
78
79 static void _pcol_reset(struct page_collect *pcol)
80 {
81         pcol->expected_pages -= min(pcol->nr_pages, pcol->expected_pages);
82
83         pcol->bio = NULL;
84         pcol->nr_pages = 0;
85         pcol->length = 0;
86         pcol->pg_first = -1;
87         pcol->ios = NULL;
88
89         /* this is probably the end of the loop but in writes
90          * it might not end here. don't be left with nothing
91          */
92         if (!pcol->expected_pages)
93                 pcol->expected_pages = BIO_MAX_PAGES_KMALLOC;
94 }
95
96 static int pcol_try_alloc(struct page_collect *pcol)
97 {
98         int pages = min_t(unsigned, pcol->expected_pages,
99                           BIO_MAX_PAGES_KMALLOC);
100
101         if (!pcol->ios) { /* First time allocate io_state */
102                 int ret = exofs_get_io_state(&pcol->sbi->layout, &pcol->ios);
103
104                 if (ret)
105                         return ret;
106         }
107
108         for (; pages; pages >>= 1) {
109                 pcol->bio = bio_kmalloc(GFP_KERNEL, pages);
110                 if (likely(pcol->bio))
111                         return 0;
112         }
113
114         EXOFS_ERR("Failed to bio_kmalloc expected_pages=%u\n",
115                   pcol->expected_pages);
116         return -ENOMEM;
117 }
118
119 static void pcol_free(struct page_collect *pcol)
120 {
121         if (pcol->bio) {
122                 bio_put(pcol->bio);
123                 pcol->bio = NULL;
124         }
125
126         if (pcol->ios) {
127                 exofs_put_io_state(pcol->ios);
128                 pcol->ios = NULL;
129         }
130 }
131
132 static int pcol_add_page(struct page_collect *pcol, struct page *page,
133                          unsigned len)
134 {
135         int added_len = bio_add_pc_page(pcol->req_q, pcol->bio, page, len, 0);
136         if (unlikely(len != added_len))
137                 return -ENOMEM;
138
139         ++pcol->nr_pages;
140         pcol->length += len;
141         return 0;
142 }
143
144 static int update_read_page(struct page *page, int ret)
145 {
146         if (ret == 0) {
147                 /* Everything is OK */
148                 SetPageUptodate(page);
149                 if (PageError(page))
150                         ClearPageError(page);
151         } else if (ret == -EFAULT) {
152                 /* In this case we were trying to read something that wasn't on
153                  * disk yet - return a page full of zeroes.  This should be OK,
154                  * because the object should be empty (if there was a write
155                  * before this read, the read would be waiting with the page
156                  * locked */
157                 clear_highpage(page);
158
159                 SetPageUptodate(page);
160                 if (PageError(page))
161                         ClearPageError(page);
162                 ret = 0; /* recovered error */
163                 EXOFS_DBGMSG("recovered read error\n");
164         } else /* Error */
165                 SetPageError(page);
166
167         return ret;
168 }
169
170 static void update_write_page(struct page *page, int ret)
171 {
172         if (ret) {
173                 mapping_set_error(page->mapping, ret);
174                 SetPageError(page);
175         }
176         end_page_writeback(page);
177 }
178
179 /* Called at the end of reads, to optionally unlock pages and update their
180  * status.
181  */
182 static int __readpages_done(struct page_collect *pcol, bool do_unlock)
183 {
184         struct bio_vec *bvec;
185         int i;
186         u64 resid;
187         u64 good_bytes;
188         u64 length = 0;
189         int ret = exofs_check_io(pcol->ios, &resid);
190
191         if (likely(!ret))
192                 good_bytes = pcol->length;
193         else
194                 good_bytes = pcol->length - resid;
195
196         EXOFS_DBGMSG2("readpages_done(0x%lx) good_bytes=0x%llx"
197                      " length=0x%lx nr_pages=%u\n",
198                      pcol->inode->i_ino, _LLU(good_bytes), pcol->length,
199                      pcol->nr_pages);
200
201         __bio_for_each_segment(bvec, pcol->bio, i, 0) {
202                 struct page *page = bvec->bv_page;
203                 struct inode *inode = page->mapping->host;
204                 int page_stat;
205
206                 if (inode != pcol->inode)
207                         continue; /* osd might add more pages at end */
208
209                 if (likely(length < good_bytes))
210                         page_stat = 0;
211                 else
212                         page_stat = ret;
213
214                 EXOFS_DBGMSG2("    readpages_done(0x%lx, 0x%lx) %s\n",
215                           inode->i_ino, page->index,
216                           page_stat ? "bad_bytes" : "good_bytes");
217
218                 ret = update_read_page(page, page_stat);
219                 if (do_unlock)
220                         unlock_page(page);
221                 length += bvec->bv_len;
222         }
223
224         pcol_free(pcol);
225         EXOFS_DBGMSG2("readpages_done END\n");
226         return ret;
227 }
228
229 /* callback of async reads */
230 static void readpages_done(struct exofs_io_state *ios, void *p)
231 {
232         struct page_collect *pcol = p;
233
234         __readpages_done(pcol, true);
235         atomic_dec(&pcol->sbi->s_curr_pending);
236         kfree(pcol);
237 }
238
239 static void _unlock_pcol_pages(struct page_collect *pcol, int ret, int rw)
240 {
241         struct bio_vec *bvec;
242         int i;
243
244         __bio_for_each_segment(bvec, pcol->bio, i, 0) {
245                 struct page *page = bvec->bv_page;
246
247                 if (rw == READ)
248                         update_read_page(page, ret);
249                 else
250                         update_write_page(page, ret);
251
252                 unlock_page(page);
253         }
254 }
255
256 static int read_exec(struct page_collect *pcol, bool is_sync)
257 {
258         struct exofs_i_info *oi = exofs_i(pcol->inode);
259         struct exofs_io_state *ios = pcol->ios;
260         struct page_collect *pcol_copy = NULL;
261         int ret;
262
263         if (!pcol->bio)
264                 return 0;
265
266         /* see comment in _readpage() about sync reads */
267         WARN_ON(is_sync && (pcol->nr_pages != 1));
268
269         ios->bio = pcol->bio;
270         ios->length = pcol->length;
271         ios->offset = pcol->pg_first << PAGE_CACHE_SHIFT;
272
273         if (is_sync) {
274                 exofs_oi_read(oi, pcol->ios);
275                 return __readpages_done(pcol, false);
276         }
277
278         pcol_copy = kmalloc(sizeof(*pcol_copy), GFP_KERNEL);
279         if (!pcol_copy) {
280                 ret = -ENOMEM;
281                 goto err;
282         }
283
284         *pcol_copy = *pcol;
285         ios->done = readpages_done;
286         ios->private = pcol_copy;
287         ret = exofs_oi_read(oi, ios);
288         if (unlikely(ret))
289                 goto err;
290
291         atomic_inc(&pcol->sbi->s_curr_pending);
292
293         EXOFS_DBGMSG2("read_exec obj=0x%llx start=0x%llx length=0x%lx\n",
294                   ios->obj.id, _LLU(ios->offset), pcol->length);
295
296         /* pages ownership was passed to pcol_copy */
297         _pcol_reset(pcol);
298         return 0;
299
300 err:
301         if (!is_sync)
302                 _unlock_pcol_pages(pcol, ret, READ);
303
304         pcol_free(pcol);
305
306         kfree(pcol_copy);
307         return ret;
308 }
309
310 /* readpage_strip is called either directly from readpage() or by the VFS from
311  * within read_cache_pages(), to add one more page to be read. It will try to
312  * collect as many contiguous pages as posible. If a discontinuity is
313  * encountered, or it runs out of resources, it will submit the previous segment
314  * and will start a new collection. Eventually caller must submit the last
315  * segment if present.
316  */
317 static int readpage_strip(void *data, struct page *page)
318 {
319         struct page_collect *pcol = data;
320         struct inode *inode = pcol->inode;
321         struct exofs_i_info *oi = exofs_i(inode);
322         loff_t i_size = i_size_read(inode);
323         pgoff_t end_index = i_size >> PAGE_CACHE_SHIFT;
324         size_t len;
325         int ret;
326
327         /* FIXME: Just for debugging, will be removed */
328         if (PageUptodate(page))
329                 EXOFS_ERR("PageUptodate(0x%lx, 0x%lx)\n", pcol->inode->i_ino,
330                           page->index);
331
332         if (page->index < end_index)
333                 len = PAGE_CACHE_SIZE;
334         else if (page->index == end_index)
335                 len = i_size & ~PAGE_CACHE_MASK;
336         else
337                 len = 0;
338
339         if (!len || !obj_created(oi)) {
340                 /* this will be out of bounds, or doesn't exist yet.
341                  * Current page is cleared and the request is split
342                  */
343                 clear_highpage(page);
344
345                 SetPageUptodate(page);
346                 if (PageError(page))
347                         ClearPageError(page);
348
349                 unlock_page(page);
350                 EXOFS_DBGMSG("readpage_strip(0x%lx, 0x%lx) empty page,"
351                              " splitting\n", inode->i_ino, page->index);
352
353                 return read_exec(pcol, false);
354         }
355
356 try_again:
357
358         if (unlikely(pcol->pg_first == -1)) {
359                 pcol->pg_first = page->index;
360         } else if (unlikely((pcol->pg_first + pcol->nr_pages) !=
361                    page->index)) {
362                 /* Discontinuity detected, split the request */
363                 ret = read_exec(pcol, false);
364                 if (unlikely(ret))
365                         goto fail;
366                 goto try_again;
367         }
368
369         if (!pcol->bio) {
370                 ret = pcol_try_alloc(pcol);
371                 if (unlikely(ret))
372                         goto fail;
373         }
374
375         if (len != PAGE_CACHE_SIZE)
376                 zero_user(page, len, PAGE_CACHE_SIZE - len);
377
378         EXOFS_DBGMSG2("    readpage_strip(0x%lx, 0x%lx) len=0x%zx\n",
379                      inode->i_ino, page->index, len);
380
381         ret = pcol_add_page(pcol, page, len);
382         if (ret) {
383                 EXOFS_DBGMSG2("Failed pcol_add_page pages[i]=%p "
384                           "this_len=0x%zx nr_pages=%u length=0x%lx\n",
385                           page, len, pcol->nr_pages, pcol->length);
386
387                 /* split the request, and start again with current page */
388                 ret = read_exec(pcol, false);
389                 if (unlikely(ret))
390                         goto fail;
391
392                 goto try_again;
393         }
394
395         return 0;
396
397 fail:
398         /* SetPageError(page); ??? */
399         unlock_page(page);
400         return ret;
401 }
402
403 static int exofs_readpages(struct file *file, struct address_space *mapping,
404                            struct list_head *pages, unsigned nr_pages)
405 {
406         struct page_collect pcol;
407         int ret;
408
409         _pcol_init(&pcol, nr_pages, mapping->host);
410
411         ret = read_cache_pages(mapping, pages, readpage_strip, &pcol);
412         if (ret) {
413                 EXOFS_ERR("read_cache_pages => %d\n", ret);
414                 return ret;
415         }
416
417         return read_exec(&pcol, false);
418 }
419
420 static int _readpage(struct page *page, bool is_sync)
421 {
422         struct page_collect pcol;
423         int ret;
424
425         _pcol_init(&pcol, 1, page->mapping->host);
426
427         /* readpage_strip might call read_exec(,is_sync==false) at several
428          * places but not if we have a single page.
429          */
430         ret = readpage_strip(&pcol, page);
431         if (ret) {
432                 EXOFS_ERR("_readpage => %d\n", ret);
433                 return ret;
434         }
435
436         return read_exec(&pcol, is_sync);
437 }
438
439 /*
440  * We don't need the file
441  */
442 static int exofs_readpage(struct file *file, struct page *page)
443 {
444         return _readpage(page, false);
445 }
446
447 /* Callback for osd_write. All writes are asynchronous */
448 static void writepages_done(struct exofs_io_state *ios, void *p)
449 {
450         struct page_collect *pcol = p;
451         struct bio_vec *bvec;
452         int i;
453         u64 resid;
454         u64  good_bytes;
455         u64  length = 0;
456         int ret = exofs_check_io(ios, &resid);
457
458         atomic_dec(&pcol->sbi->s_curr_pending);
459
460         if (likely(!ret))
461                 good_bytes = pcol->length;
462         else
463                 good_bytes = pcol->length - resid;
464
465         EXOFS_DBGMSG2("writepages_done(0x%lx) good_bytes=0x%llx"
466                      " length=0x%lx nr_pages=%u\n",
467                      pcol->inode->i_ino, _LLU(good_bytes), pcol->length,
468                      pcol->nr_pages);
469
470         __bio_for_each_segment(bvec, pcol->bio, i, 0) {
471                 struct page *page = bvec->bv_page;
472                 struct inode *inode = page->mapping->host;
473                 int page_stat;
474
475                 if (inode != pcol->inode)
476                         continue; /* osd might add more pages to a bio */
477
478                 if (likely(length < good_bytes))
479                         page_stat = 0;
480                 else
481                         page_stat = ret;
482
483                 update_write_page(page, page_stat);
484                 unlock_page(page);
485                 EXOFS_DBGMSG2("    writepages_done(0x%lx, 0x%lx) status=%d\n",
486                              inode->i_ino, page->index, page_stat);
487
488                 length += bvec->bv_len;
489         }
490
491         pcol_free(pcol);
492         kfree(pcol);
493         EXOFS_DBGMSG2("writepages_done END\n");
494 }
495
496 static int write_exec(struct page_collect *pcol)
497 {
498         struct exofs_i_info *oi = exofs_i(pcol->inode);
499         struct exofs_io_state *ios = pcol->ios;
500         struct page_collect *pcol_copy = NULL;
501         int ret;
502
503         if (!pcol->bio)
504                 return 0;
505
506         pcol_copy = kmalloc(sizeof(*pcol_copy), GFP_KERNEL);
507         if (!pcol_copy) {
508                 EXOFS_ERR("write_exec: Faild to kmalloc(pcol)\n");
509                 ret = -ENOMEM;
510                 goto err;
511         }
512
513         *pcol_copy = *pcol;
514
515         pcol_copy->bio->bi_rw |= (1 << BIO_RW); /* FIXME: bio_set_dir() */
516
517         ios->bio = pcol_copy->bio;
518         ios->offset = pcol_copy->pg_first << PAGE_CACHE_SHIFT;
519         ios->length = pcol_copy->length;
520         ios->done = writepages_done;
521         ios->private = pcol_copy;
522
523         ret = exofs_oi_write(oi, ios);
524         if (unlikely(ret)) {
525                 EXOFS_ERR("write_exec: exofs_oi_write() Faild\n");
526                 goto err;
527         }
528
529         atomic_inc(&pcol->sbi->s_curr_pending);
530         EXOFS_DBGMSG2("write_exec(0x%lx, 0x%llx) start=0x%llx length=0x%lx\n",
531                   pcol->inode->i_ino, pcol->pg_first, _LLU(ios->offset),
532                   pcol->length);
533         /* pages ownership was passed to pcol_copy */
534         _pcol_reset(pcol);
535         return 0;
536
537 err:
538         _unlock_pcol_pages(pcol, ret, WRITE);
539         pcol_free(pcol);
540         kfree(pcol_copy);
541
542         return ret;
543 }
544
545 /* writepage_strip is called either directly from writepage() or by the VFS from
546  * within write_cache_pages(), to add one more page to be written to storage.
547  * It will try to collect as many contiguous pages as possible. If a
548  * discontinuity is encountered or it runs out of resources it will submit the
549  * previous segment and will start a new collection.
550  * Eventually caller must submit the last segment if present.
551  */
552 static int writepage_strip(struct page *page,
553                            struct writeback_control *wbc_unused, void *data)
554 {
555         struct page_collect *pcol = data;
556         struct inode *inode = pcol->inode;
557         struct exofs_i_info *oi = exofs_i(inode);
558         loff_t i_size = i_size_read(inode);
559         pgoff_t end_index = i_size >> PAGE_CACHE_SHIFT;
560         size_t len;
561         int ret;
562
563         BUG_ON(!PageLocked(page));
564
565         ret = wait_obj_created(oi);
566         if (unlikely(ret))
567                 goto fail;
568
569         if (page->index < end_index)
570                 /* in this case, the page is within the limits of the file */
571                 len = PAGE_CACHE_SIZE;
572         else {
573                 len = i_size & ~PAGE_CACHE_MASK;
574
575                 if (page->index > end_index || !len) {
576                         /* in this case, the page is outside the limits
577                          * (truncate in progress)
578                          */
579                         ret = write_exec(pcol);
580                         if (unlikely(ret))
581                                 goto fail;
582                         if (PageError(page))
583                                 ClearPageError(page);
584                         unlock_page(page);
585                         EXOFS_DBGMSG("writepage_strip(0x%lx, 0x%lx) "
586                                      "outside the limits\n",
587                                      inode->i_ino, page->index);
588                         return 0;
589                 }
590         }
591
592 try_again:
593
594         if (unlikely(pcol->pg_first == -1)) {
595                 pcol->pg_first = page->index;
596         } else if (unlikely((pcol->pg_first + pcol->nr_pages) !=
597                    page->index)) {
598                 /* Discontinuity detected, split the request */
599                 ret = write_exec(pcol);
600                 if (unlikely(ret))
601                         goto fail;
602
603                 EXOFS_DBGMSG("writepage_strip(0x%lx, 0x%lx) Discontinuity\n",
604                              inode->i_ino, page->index);
605                 goto try_again;
606         }
607
608         if (!pcol->bio) {
609                 ret = pcol_try_alloc(pcol);
610                 if (unlikely(ret))
611                         goto fail;
612         }
613
614         EXOFS_DBGMSG2("    writepage_strip(0x%lx, 0x%lx) len=0x%zx\n",
615                      inode->i_ino, page->index, len);
616
617         ret = pcol_add_page(pcol, page, len);
618         if (unlikely(ret)) {
619                 EXOFS_DBGMSG2("Failed pcol_add_page "
620                              "nr_pages=%u total_length=0x%lx\n",
621                              pcol->nr_pages, pcol->length);
622
623                 /* split the request, next loop will start again */
624                 ret = write_exec(pcol);
625                 if (unlikely(ret)) {
626                         EXOFS_DBGMSG("write_exec faild => %d", ret);
627                         goto fail;
628                 }
629
630                 goto try_again;
631         }
632
633         BUG_ON(PageWriteback(page));
634         set_page_writeback(page);
635
636         return 0;
637
638 fail:
639         EXOFS_DBGMSG("Error: writepage_strip(0x%lx, 0x%lx)=>%d\n",
640                      inode->i_ino, page->index, ret);
641         set_bit(AS_EIO, &page->mapping->flags);
642         unlock_page(page);
643         return ret;
644 }
645
646 static int exofs_writepages(struct address_space *mapping,
647                        struct writeback_control *wbc)
648 {
649         struct page_collect pcol;
650         long start, end, expected_pages;
651         int ret;
652
653         start = wbc->range_start >> PAGE_CACHE_SHIFT;
654         end = (wbc->range_end == LLONG_MAX) ?
655                         start + mapping->nrpages :
656                         wbc->range_end >> PAGE_CACHE_SHIFT;
657
658         if (start || end)
659                 expected_pages = end - start + 1;
660         else
661                 expected_pages = mapping->nrpages;
662
663         if (expected_pages < 32L)
664                 expected_pages = 32L;
665
666         EXOFS_DBGMSG2("inode(0x%lx) wbc->start=0x%llx wbc->end=0x%llx "
667                      "nrpages=%lu start=0x%lx end=0x%lx expected_pages=%ld\n",
668                      mapping->host->i_ino, wbc->range_start, wbc->range_end,
669                      mapping->nrpages, start, end, expected_pages);
670
671         _pcol_init(&pcol, expected_pages, mapping->host);
672
673         ret = write_cache_pages(mapping, wbc, writepage_strip, &pcol);
674         if (ret) {
675                 EXOFS_ERR("write_cache_pages => %d\n", ret);
676                 return ret;
677         }
678
679         return write_exec(&pcol);
680 }
681
682 static int exofs_writepage(struct page *page, struct writeback_control *wbc)
683 {
684         struct page_collect pcol;
685         int ret;
686
687         _pcol_init(&pcol, 1, page->mapping->host);
688
689         ret = writepage_strip(page, NULL, &pcol);
690         if (ret) {
691                 EXOFS_ERR("exofs_writepage => %d\n", ret);
692                 return ret;
693         }
694
695         return write_exec(&pcol);
696 }
697
698 int exofs_write_begin(struct file *file, struct address_space *mapping,
699                 loff_t pos, unsigned len, unsigned flags,
700                 struct page **pagep, void **fsdata)
701 {
702         int ret = 0;
703         struct page *page;
704
705         page = *pagep;
706         if (page == NULL) {
707                 ret = simple_write_begin(file, mapping, pos, len, flags, pagep,
708                                          fsdata);
709                 if (ret) {
710                         EXOFS_DBGMSG("simple_write_begin faild\n");
711                         return ret;
712                 }
713
714                 page = *pagep;
715         }
716
717          /* read modify write */
718         if (!PageUptodate(page) && (len != PAGE_CACHE_SIZE)) {
719                 ret = _readpage(page, true);
720                 if (ret) {
721                         /*SetPageError was done by _readpage. Is it ok?*/
722                         unlock_page(page);
723                         EXOFS_DBGMSG("__readpage_filler faild\n");
724                 }
725         }
726
727         return ret;
728 }
729
730 static int exofs_write_begin_export(struct file *file,
731                 struct address_space *mapping,
732                 loff_t pos, unsigned len, unsigned flags,
733                 struct page **pagep, void **fsdata)
734 {
735         *pagep = NULL;
736
737         return exofs_write_begin(file, mapping, pos, len, flags, pagep,
738                                         fsdata);
739 }
740
741 static int exofs_write_end(struct file *file, struct address_space *mapping,
742                         loff_t pos, unsigned len, unsigned copied,
743                         struct page *page, void *fsdata)
744 {
745         struct inode *inode = mapping->host;
746         /* According to comment in simple_write_end i_mutex is held */
747         loff_t i_size = inode->i_size;
748         int ret;
749
750         ret = simple_write_end(file, mapping,pos, len, copied, page, fsdata);
751         if (i_size != inode->i_size)
752                 mark_inode_dirty(inode);
753         return ret;
754 }
755
756 const struct address_space_operations exofs_aops = {
757         .readpage       = exofs_readpage,
758         .readpages      = exofs_readpages,
759         .writepage      = exofs_writepage,
760         .writepages     = exofs_writepages,
761         .write_begin    = exofs_write_begin_export,
762         .write_end      = exofs_write_end,
763 };
764
765 /******************************************************************************
766  * INODE OPERATIONS
767  *****************************************************************************/
768
769 /*
770  * Test whether an inode is a fast symlink.
771  */
772 static inline int exofs_inode_is_fast_symlink(struct inode *inode)
773 {
774         struct exofs_i_info *oi = exofs_i(inode);
775
776         return S_ISLNK(inode->i_mode) && (oi->i_data[0] != 0);
777 }
778
779 /*
780  * get_block_t - Fill in a buffer_head
781  * An OSD takes care of block allocation so we just fake an allocation by
782  * putting in the inode's sector_t in the buffer_head.
783  * TODO: What about the case of create==0 and @iblock does not exist in the
784  * object?
785  */
786 static int exofs_get_block(struct inode *inode, sector_t iblock,
787                     struct buffer_head *bh_result, int create)
788 {
789         map_bh(bh_result, inode->i_sb, iblock);
790         return 0;
791 }
792
793 const struct osd_attr g_attr_logical_length = ATTR_DEF(
794         OSD_APAGE_OBJECT_INFORMATION, OSD_ATTR_OI_LOGICAL_LENGTH, 8);
795
796 static int _do_truncate(struct inode *inode)
797 {
798         struct exofs_i_info *oi = exofs_i(inode);
799         loff_t isize = i_size_read(inode);
800         int ret;
801
802         inode->i_mtime = inode->i_ctime = CURRENT_TIME;
803
804         nobh_truncate_page(inode->i_mapping, isize, exofs_get_block);
805
806         ret = exofs_oi_truncate(oi, (u64)isize);
807         EXOFS_DBGMSG("(0x%lx) size=0x%llx\n", inode->i_ino, isize);
808         return ret;
809 }
810
811 /*
812  * Truncate a file to the specified size - all we have to do is set the size
813  * attribute.  We make sure the object exists first.
814  */
815 void exofs_truncate(struct inode *inode)
816 {
817         struct exofs_i_info *oi = exofs_i(inode);
818         int ret;
819
820         if (!(S_ISREG(inode->i_mode) || S_ISDIR(inode->i_mode)
821              || S_ISLNK(inode->i_mode)))
822                 return;
823         if (exofs_inode_is_fast_symlink(inode))
824                 return;
825         if (IS_APPEND(inode) || IS_IMMUTABLE(inode))
826                 return;
827
828         /* if we are about to truncate an object, and it hasn't been
829          * created yet, wait
830          */
831         if (unlikely(wait_obj_created(oi)))
832                 goto fail;
833
834         ret = _do_truncate(inode);
835         if (ret)
836                 goto fail;
837
838 out:
839         mark_inode_dirty(inode);
840         return;
841 fail:
842         make_bad_inode(inode);
843         goto out;
844 }
845
846 /*
847  * Set inode attributes - just call generic functions.
848  */
849 int exofs_setattr(struct dentry *dentry, struct iattr *iattr)
850 {
851         struct inode *inode = dentry->d_inode;
852         int error;
853
854         error = inode_change_ok(inode, iattr);
855         if (error)
856                 return error;
857
858         error = inode_setattr(inode, iattr);
859         return error;
860 }
861
862 static const struct osd_attr g_attr_inode_file_layout = ATTR_DEF(
863         EXOFS_APAGE_FS_DATA,
864         EXOFS_ATTR_INODE_FILE_LAYOUT,
865         0);
866 static const struct osd_attr g_attr_inode_dir_layout = ATTR_DEF(
867         EXOFS_APAGE_FS_DATA,
868         EXOFS_ATTR_INODE_DIR_LAYOUT,
869         0);
870
871 /*
872  * Read the Linux inode info from the OSD, and return it as is. In exofs the
873  * inode info is in an application specific page/attribute of the osd-object.
874  */
875 static int exofs_get_inode(struct super_block *sb, struct exofs_i_info *oi,
876                     struct exofs_fcb *inode)
877 {
878         struct exofs_sb_info *sbi = sb->s_fs_info;
879         struct osd_attr attrs[] = {
880                 [0] = g_attr_inode_data,
881                 [1] = g_attr_inode_file_layout,
882                 [2] = g_attr_inode_dir_layout,
883         };
884         struct exofs_io_state *ios;
885         struct exofs_on_disk_inode_layout *layout;
886         int ret;
887
888         ret = exofs_get_io_state(&sbi->layout, &ios);
889         if (unlikely(ret)) {
890                 EXOFS_ERR("%s: exofs_get_io_state failed.\n", __func__);
891                 return ret;
892         }
893
894         ios->obj.id = exofs_oi_objno(oi);
895         exofs_make_credential(oi->i_cred, &ios->obj);
896         ios->cred = oi->i_cred;
897
898         attrs[1].len = exofs_on_disk_inode_layout_size(sbi->layout.s_numdevs);
899         attrs[2].len = exofs_on_disk_inode_layout_size(sbi->layout.s_numdevs);
900
901         ios->in_attr = attrs;
902         ios->in_attr_len = ARRAY_SIZE(attrs);
903
904         ret = exofs_sbi_read(ios);
905         if (ret)
906                 goto out;
907
908         ret = extract_attr_from_ios(ios, &attrs[0]);
909         if (ret) {
910                 EXOFS_ERR("%s: extract_attr of inode_data failed\n", __func__);
911                 goto out;
912         }
913         WARN_ON(attrs[0].len != EXOFS_INO_ATTR_SIZE);
914         memcpy(inode, attrs[0].val_ptr, EXOFS_INO_ATTR_SIZE);
915
916         ret = extract_attr_from_ios(ios, &attrs[1]);
917         if (ret) {
918                 EXOFS_ERR("%s: extract_attr of inode_data failed\n", __func__);
919                 goto out;
920         }
921         if (attrs[1].len) {
922                 layout = attrs[1].val_ptr;
923                 if (layout->gen_func != cpu_to_le16(LAYOUT_MOVING_WINDOW)) {
924                         EXOFS_ERR("%s: unsupported files layout %d\n",
925                                 __func__, layout->gen_func);
926                         ret = -ENOTSUPP;
927                         goto out;
928                 }
929         }
930
931         ret = extract_attr_from_ios(ios, &attrs[2]);
932         if (ret) {
933                 EXOFS_ERR("%s: extract_attr of inode_data failed\n", __func__);
934                 goto out;
935         }
936         if (attrs[2].len) {
937                 layout = attrs[2].val_ptr;
938                 if (layout->gen_func != cpu_to_le16(LAYOUT_MOVING_WINDOW)) {
939                         EXOFS_ERR("%s: unsupported meta-data layout %d\n",
940                                 __func__, layout->gen_func);
941                         ret = -ENOTSUPP;
942                         goto out;
943                 }
944         }
945
946 out:
947         exofs_put_io_state(ios);
948         return ret;
949 }
950
951 static void __oi_init(struct exofs_i_info *oi)
952 {
953         init_waitqueue_head(&oi->i_wq);
954         oi->i_flags = 0;
955 }
956 /*
957  * Fill in an inode read from the OSD and set it up for use
958  */
959 struct inode *exofs_iget(struct super_block *sb, unsigned long ino)
960 {
961         struct exofs_i_info *oi;
962         struct exofs_fcb fcb;
963         struct inode *inode;
964         int ret;
965
966         inode = iget_locked(sb, ino);
967         if (!inode)
968                 return ERR_PTR(-ENOMEM);
969         if (!(inode->i_state & I_NEW))
970                 return inode;
971         oi = exofs_i(inode);
972         __oi_init(oi);
973
974         /* read the inode from the osd */
975         ret = exofs_get_inode(sb, oi, &fcb);
976         if (ret)
977                 goto bad_inode;
978
979         set_obj_created(oi);
980
981         /* copy stuff from on-disk struct to in-memory struct */
982         inode->i_mode = le16_to_cpu(fcb.i_mode);
983         inode->i_uid = le32_to_cpu(fcb.i_uid);
984         inode->i_gid = le32_to_cpu(fcb.i_gid);
985         inode->i_nlink = le16_to_cpu(fcb.i_links_count);
986         inode->i_ctime.tv_sec = (signed)le32_to_cpu(fcb.i_ctime);
987         inode->i_atime.tv_sec = (signed)le32_to_cpu(fcb.i_atime);
988         inode->i_mtime.tv_sec = (signed)le32_to_cpu(fcb.i_mtime);
989         inode->i_ctime.tv_nsec =
990                 inode->i_atime.tv_nsec = inode->i_mtime.tv_nsec = 0;
991         oi->i_commit_size = le64_to_cpu(fcb.i_size);
992         i_size_write(inode, oi->i_commit_size);
993         inode->i_blkbits = EXOFS_BLKSHIFT;
994         inode->i_generation = le32_to_cpu(fcb.i_generation);
995
996         oi->i_dir_start_lookup = 0;
997
998         if ((inode->i_nlink == 0) && (inode->i_mode == 0)) {
999                 ret = -ESTALE;
1000                 goto bad_inode;
1001         }
1002
1003         if (S_ISCHR(inode->i_mode) || S_ISBLK(inode->i_mode)) {
1004                 if (fcb.i_data[0])
1005                         inode->i_rdev =
1006                                 old_decode_dev(le32_to_cpu(fcb.i_data[0]));
1007                 else
1008                         inode->i_rdev =
1009                                 new_decode_dev(le32_to_cpu(fcb.i_data[1]));
1010         } else {
1011                 memcpy(oi->i_data, fcb.i_data, sizeof(fcb.i_data));
1012         }
1013
1014         if (S_ISREG(inode->i_mode)) {
1015                 inode->i_op = &exofs_file_inode_operations;
1016                 inode->i_fop = &exofs_file_operations;
1017                 inode->i_mapping->a_ops = &exofs_aops;
1018         } else if (S_ISDIR(inode->i_mode)) {
1019                 inode->i_op = &exofs_dir_inode_operations;
1020                 inode->i_fop = &exofs_dir_operations;
1021                 inode->i_mapping->a_ops = &exofs_aops;
1022         } else if (S_ISLNK(inode->i_mode)) {
1023                 if (exofs_inode_is_fast_symlink(inode))
1024                         inode->i_op = &exofs_fast_symlink_inode_operations;
1025                 else {
1026                         inode->i_op = &exofs_symlink_inode_operations;
1027                         inode->i_mapping->a_ops = &exofs_aops;
1028                 }
1029         } else {
1030                 inode->i_op = &exofs_special_inode_operations;
1031                 if (fcb.i_data[0])
1032                         init_special_inode(inode, inode->i_mode,
1033                            old_decode_dev(le32_to_cpu(fcb.i_data[0])));
1034                 else
1035                         init_special_inode(inode, inode->i_mode,
1036                            new_decode_dev(le32_to_cpu(fcb.i_data[1])));
1037         }
1038
1039         unlock_new_inode(inode);
1040         return inode;
1041
1042 bad_inode:
1043         iget_failed(inode);
1044         return ERR_PTR(ret);
1045 }
1046
1047 int __exofs_wait_obj_created(struct exofs_i_info *oi)
1048 {
1049         if (!obj_created(oi)) {
1050                 BUG_ON(!obj_2bcreated(oi));
1051                 wait_event(oi->i_wq, obj_created(oi));
1052         }
1053         return unlikely(is_bad_inode(&oi->vfs_inode)) ? -EIO : 0;
1054 }
1055 /*
1056  * Callback function from exofs_new_inode().  The important thing is that we
1057  * set the obj_created flag so that other methods know that the object exists on
1058  * the OSD.
1059  */
1060 static void create_done(struct exofs_io_state *ios, void *p)
1061 {
1062         struct inode *inode = p;
1063         struct exofs_i_info *oi = exofs_i(inode);
1064         struct exofs_sb_info *sbi = inode->i_sb->s_fs_info;
1065         int ret;
1066
1067         ret = exofs_check_io(ios, NULL);
1068         exofs_put_io_state(ios);
1069
1070         atomic_dec(&sbi->s_curr_pending);
1071
1072         if (unlikely(ret)) {
1073                 EXOFS_ERR("object=0x%llx creation faild in pid=0x%llx",
1074                           _LLU(exofs_oi_objno(oi)), _LLU(sbi->layout.s_pid));
1075                 /*TODO: When FS is corrupted creation can fail, object already
1076                  * exist. Get rid of this asynchronous creation, if exist
1077                  * increment the obj counter and try the next object. Until we
1078                  * succeed. All these dangling objects will be made into lost
1079                  * files by chkfs.exofs
1080                  */
1081         }
1082
1083         set_obj_created(oi);
1084
1085         atomic_dec(&inode->i_count);
1086         wake_up(&oi->i_wq);
1087 }
1088
1089 /*
1090  * Set up a new inode and create an object for it on the OSD
1091  */
1092 struct inode *exofs_new_inode(struct inode *dir, int mode)
1093 {
1094         struct super_block *sb;
1095         struct inode *inode;
1096         struct exofs_i_info *oi;
1097         struct exofs_sb_info *sbi;
1098         struct exofs_io_state *ios;
1099         int ret;
1100
1101         sb = dir->i_sb;
1102         inode = new_inode(sb);
1103         if (!inode)
1104                 return ERR_PTR(-ENOMEM);
1105
1106         oi = exofs_i(inode);
1107         __oi_init(oi);
1108
1109         set_obj_2bcreated(oi);
1110
1111         sbi = sb->s_fs_info;
1112
1113         sb->s_dirt = 1;
1114         inode->i_uid = current->cred->fsuid;
1115         if (dir->i_mode & S_ISGID) {
1116                 inode->i_gid = dir->i_gid;
1117                 if (S_ISDIR(mode))
1118                         mode |= S_ISGID;
1119         } else {
1120                 inode->i_gid = current->cred->fsgid;
1121         }
1122         inode->i_mode = mode;
1123
1124         inode->i_ino = sbi->s_nextid++;
1125         inode->i_blkbits = EXOFS_BLKSHIFT;
1126         inode->i_mtime = inode->i_atime = inode->i_ctime = CURRENT_TIME;
1127         oi->i_commit_size = inode->i_size = 0;
1128         spin_lock(&sbi->s_next_gen_lock);
1129         inode->i_generation = sbi->s_next_generation++;
1130         spin_unlock(&sbi->s_next_gen_lock);
1131         insert_inode_hash(inode);
1132
1133         mark_inode_dirty(inode);
1134
1135         ret = exofs_get_io_state(&sbi->layout, &ios);
1136         if (unlikely(ret)) {
1137                 EXOFS_ERR("exofs_new_inode: exofs_get_io_state failed\n");
1138                 return ERR_PTR(ret);
1139         }
1140
1141         ios->obj.id = exofs_oi_objno(oi);
1142         exofs_make_credential(oi->i_cred, &ios->obj);
1143
1144         /* increment the refcount so that the inode will still be around when we
1145          * reach the callback
1146          */
1147         atomic_inc(&inode->i_count);
1148
1149         ios->done = create_done;
1150         ios->private = inode;
1151         ios->cred = oi->i_cred;
1152         ret = exofs_sbi_create(ios);
1153         if (ret) {
1154                 atomic_dec(&inode->i_count);
1155                 exofs_put_io_state(ios);
1156                 return ERR_PTR(ret);
1157         }
1158         atomic_inc(&sbi->s_curr_pending);
1159
1160         return inode;
1161 }
1162
1163 /*
1164  * struct to pass two arguments to update_inode's callback
1165  */
1166 struct updatei_args {
1167         struct exofs_sb_info    *sbi;
1168         struct exofs_fcb        fcb;
1169 };
1170
1171 /*
1172  * Callback function from exofs_update_inode().
1173  */
1174 static void updatei_done(struct exofs_io_state *ios, void *p)
1175 {
1176         struct updatei_args *args = p;
1177
1178         exofs_put_io_state(ios);
1179
1180         atomic_dec(&args->sbi->s_curr_pending);
1181
1182         kfree(args);
1183 }
1184
1185 /*
1186  * Write the inode to the OSD.  Just fill up the struct, and set the attribute
1187  * synchronously or asynchronously depending on the do_sync flag.
1188  */
1189 static int exofs_update_inode(struct inode *inode, int do_sync)
1190 {
1191         struct exofs_i_info *oi = exofs_i(inode);
1192         struct super_block *sb = inode->i_sb;
1193         struct exofs_sb_info *sbi = sb->s_fs_info;
1194         struct exofs_io_state *ios;
1195         struct osd_attr attr;
1196         struct exofs_fcb *fcb;
1197         struct updatei_args *args;
1198         int ret;
1199
1200         args = kzalloc(sizeof(*args), GFP_KERNEL);
1201         if (!args) {
1202                 EXOFS_DBGMSG("Faild kzalloc of args\n");
1203                 return -ENOMEM;
1204         }
1205
1206         fcb = &args->fcb;
1207
1208         fcb->i_mode = cpu_to_le16(inode->i_mode);
1209         fcb->i_uid = cpu_to_le32(inode->i_uid);
1210         fcb->i_gid = cpu_to_le32(inode->i_gid);
1211         fcb->i_links_count = cpu_to_le16(inode->i_nlink);
1212         fcb->i_ctime = cpu_to_le32(inode->i_ctime.tv_sec);
1213         fcb->i_atime = cpu_to_le32(inode->i_atime.tv_sec);
1214         fcb->i_mtime = cpu_to_le32(inode->i_mtime.tv_sec);
1215         oi->i_commit_size = i_size_read(inode);
1216         fcb->i_size = cpu_to_le64(oi->i_commit_size);
1217         fcb->i_generation = cpu_to_le32(inode->i_generation);
1218
1219         if (S_ISCHR(inode->i_mode) || S_ISBLK(inode->i_mode)) {
1220                 if (old_valid_dev(inode->i_rdev)) {
1221                         fcb->i_data[0] =
1222                                 cpu_to_le32(old_encode_dev(inode->i_rdev));
1223                         fcb->i_data[1] = 0;
1224                 } else {
1225                         fcb->i_data[0] = 0;
1226                         fcb->i_data[1] =
1227                                 cpu_to_le32(new_encode_dev(inode->i_rdev));
1228                         fcb->i_data[2] = 0;
1229                 }
1230         } else
1231                 memcpy(fcb->i_data, oi->i_data, sizeof(fcb->i_data));
1232
1233         ret = exofs_get_io_state(&sbi->layout, &ios);
1234         if (unlikely(ret)) {
1235                 EXOFS_ERR("%s: exofs_get_io_state failed.\n", __func__);
1236                 goto free_args;
1237         }
1238
1239         attr = g_attr_inode_data;
1240         attr.val_ptr = fcb;
1241         ios->out_attr_len = 1;
1242         ios->out_attr = &attr;
1243
1244         if (!obj_created(oi)) {
1245                 EXOFS_DBGMSG("!obj_created\n");
1246                 BUG_ON(!obj_2bcreated(oi));
1247                 wait_event(oi->i_wq, obj_created(oi));
1248                 EXOFS_DBGMSG("wait_event done\n");
1249         }
1250
1251         if (!do_sync) {
1252                 args->sbi = sbi;
1253                 ios->done = updatei_done;
1254                 ios->private = args;
1255         }
1256
1257         ret = exofs_oi_write(oi, ios);
1258         if (!do_sync && !ret) {
1259                 atomic_inc(&sbi->s_curr_pending);
1260                 goto out; /* deallocation in updatei_done */
1261         }
1262
1263         exofs_put_io_state(ios);
1264 free_args:
1265         kfree(args);
1266 out:
1267         EXOFS_DBGMSG("(0x%lx) do_sync=%d ret=>%d\n",
1268                      inode->i_ino, do_sync, ret);
1269         return ret;
1270 }
1271
1272 int exofs_write_inode(struct inode *inode, int wait)
1273 {
1274         return exofs_update_inode(inode, wait);
1275 }
1276
1277 /*
1278  * Callback function from exofs_delete_inode() - don't have much cleaning up to
1279  * do.
1280  */
1281 static void delete_done(struct exofs_io_state *ios, void *p)
1282 {
1283         struct exofs_sb_info *sbi = p;
1284
1285         exofs_put_io_state(ios);
1286
1287         atomic_dec(&sbi->s_curr_pending);
1288 }
1289
1290 /*
1291  * Called when the refcount of an inode reaches zero.  We remove the object
1292  * from the OSD here.  We make sure the object was created before we try and
1293  * delete it.
1294  */
1295 void exofs_delete_inode(struct inode *inode)
1296 {
1297         struct exofs_i_info *oi = exofs_i(inode);
1298         struct super_block *sb = inode->i_sb;
1299         struct exofs_sb_info *sbi = sb->s_fs_info;
1300         struct exofs_io_state *ios;
1301         int ret;
1302
1303         truncate_inode_pages(&inode->i_data, 0);
1304
1305         if (is_bad_inode(inode))
1306                 goto no_delete;
1307
1308         mark_inode_dirty(inode);
1309         exofs_update_inode(inode, inode_needs_sync(inode));
1310
1311         inode->i_size = 0;
1312         if (inode->i_blocks)
1313                 exofs_truncate(inode);
1314
1315         clear_inode(inode);
1316
1317         ret = exofs_get_io_state(&sbi->layout, &ios);
1318         if (unlikely(ret)) {
1319                 EXOFS_ERR("%s: exofs_get_io_state failed\n", __func__);
1320                 return;
1321         }
1322
1323         /* if we are deleting an obj that hasn't been created yet, wait */
1324         if (!obj_created(oi)) {
1325                 BUG_ON(!obj_2bcreated(oi));
1326                 wait_event(oi->i_wq, obj_created(oi));
1327         }
1328
1329         ios->obj.id = exofs_oi_objno(oi);
1330         ios->done = delete_done;
1331         ios->private = sbi;
1332         ios->cred = oi->i_cred;
1333         ret = exofs_sbi_remove(ios);
1334         if (ret) {
1335                 EXOFS_ERR("%s: exofs_sbi_remove failed\n", __func__);
1336                 exofs_put_io_state(ios);
1337                 return;
1338         }
1339         atomic_inc(&sbi->s_curr_pending);
1340
1341         return;
1342
1343 no_delete:
1344         clear_inode(inode);
1345 }