Changeset 59

trunk/grails-app/conf/Config.groovy

r52	r59
117	117	}
118	118
119		trace 'grails.app'
	119	trace 'grails.app', 'org.hibernate.SQL'
120	120
121	121	error 'org.codehaus.groovy.grails.web.servlet', // controllers

trunk/grails-app/controllers/masssequencing/SandboxController.groovy

-                      r58
+                      r59
 import nl.tno.massSequencing.*
 import nl.tno.massSequencing.classification.*
+import nl.tno.massSequencing.auth.*
 import org.hibernate.StatelessSession
+import grails.converters.*
 class SandboxController {
         def sessionFactory
+        def classificationService
+        def dataTablesService;
     def importTax = {
 …
                 hibernateSession.clear();
-                def filename = "/home/robert/tmp/test.taxonomy"
-                def reader = new File( filename ).newReader();
-                def parts
-                def sequenceName
-                def classification
-                def taxa
-                def taxon
-                def line
-                def classificationSplitRegex = /(\(\d+\))?;/
-                def startLevel = 0    // The first level that is present in the file. Sometimes, the root element (level 0) is not mentioned in the file, in that case, this values should be set to 1
-                def i = 0;
                 def start = System.currentTimeMillis();
+                def lapTime = start;
+                def filename = "test.taxonomy"
                 def sequenceData = SequenceData.list();
+                // Create a stateless session in order to speed up inserts
+                StatelessSession statelessSession = sessionFactory.openStatelessSession();
+                statelessSession.beginTransaction();
+                println "Starting at " + start
+                while( ( line = reader.readLine() ) ) {
+                        // Find the taxon for this line
+                        parts = line.tokenize( "\t" );
+                        if( parts.size() != 2 ) {
+                                // Skip this line because it is incorrect
+                                continue;
+                        }
+                        sequenceName = parts[ 0 ];
+                        classification = parts[ 1 ];
+                        // Split classification to check whether the taxon already exists
+                        taxa = classification.split( classificationSplitRegex )
+                        // Find taxon or create one if needed
+                        taxon = Taxon.findOrCreateTaxonByPath( taxa, startLevel );
+                        // Determine assaySample
+                        Collections.shuffle( sequenceData );
+                        // Create a new sequence record
+                        def s = new Sequence()
+                        s.name = sequenceName
+                        s.classification = taxon
+                        s.sequenceData = sequenceData[ 0 ]
+                        statelessSession.insert(s);
+                        if( i % 40 == 0 ) {
+                        }
+                        if( i % 256 == 0 ) {
+                                print "" + ( System.currentTimeMillis() - lapTime ) + " "
+                                lapTime = System.currentTimeMillis();
+                        }
+                        if( i % 2048 == 0 ) {
+                                println ""
+                                print i + ": "
+                         }
+                        i++;
+                }
+                reader.close();
+                Collections.shuffle( sequenceData );
+                classificationService.storeClassification( filename, sequenceData[ 0 ], { bytes -> println "Bytes processed: " + bytes } )
                 def end = System.currentTimeMillis();
 …
                 println "------------------------------------------"
                 println "Duration: " + ( end - start ) + " ms"
-                println "Lines: " + i
-                println "Average: " + ( ( end - start ) / i ) + "ms / line"
+        }
 …
                 writer.close();
+        }
+        def createSummary = {
+                def sequenceData = SequenceData.get( 222 );
+                def sequenceData2 = SequenceData.get( 221 );
+                def assaySamples = [ sequenceData.sample, sequenceData2.sample ];
+                classificationService.updateClassificationForAssaySamples( assaySamples );
+                def classifications = Classification.executeQuery( "FROM Classification c WHERE c.assaySample = ? ORDER BY c.taxon.lft", [ assaySamples[0] ] );
+                println classifications.size() + " classifications for " + assaySamples[0].sample.name + " (" + assaySamples[0].id + ")"
+                classifications.each {
+                        println "   ".multiply( it.taxon.level ) + it.taxon.level + " " + it.taxon.name + " - " + it.occurrences
+                }
+                classifications = Classification.executeQuery( "FROM Classification c WHERE c.assaySample = ? ORDER BY c.taxon.lft", [ assaySamples[1] ] );
+                println classifications.size() + " classifications for " + assaySamples[1].sample.name + " (" + assaySamples[1].id + ")"
+                classifications.each {
+                        println "   ".multiply( it.taxon.level ) + it.taxon.level + " " + it.taxon.name + " - " + it.occurrences
+                }
+                render "";
+        }
+        def datatables = {
+                long runId = 3;
+                long userId = 2;
+                println "writable assays: " +  Run.executeQuery( "SELECT COUNT(*) FROM Run r LEFT JOIN r.assays a WHERE r.id = ?", [runId])
+                println "writable assays: " +  Run.executeQuery( "SELECT COUNT(*) FROM Run r LEFT JOIN r.assays a WHERE r.id = ? AND NOT EXISTS( FROM a.study.auth auth WHERE auth.canWrite = true AND auth.user.id = ?)", [runId, userId ])
+                //println "total assaysamples: " + Run.executeQuery( 'SELECT r.id, r.name, COUNT( a ), SUM( sd.numSequences ) FROM Run r LEFT JOIN r.assaySamples a LEFT JOIN a.sequenceData sd GROUP BY r.id, r.name' );
+                // println "total assaysamples: " + Run.executeQuery( 'SELECT r.id, r.name, SUM( sd.numSequences ) FROM Run r  LEFT JOIN SequenceData sd WITH EXISTS( FROM r.assaySamples a WHERE a = sd.assaySample )' );
+        }
+        /**
+         * Returns data for datatables as JSON
+         * @see http://www.datatables.net/usage/server-side
+         * Input:
+         *
+                int             iDisplayStart           Display start point
+                int             iDisplayLength          Number of records to display
+                int             iColumns                        Number of columns being displayed (useful for getting individual column search info)
+                string          sSearch                         Global search field
+                boolean         bEscapeRegex            Global search is regex or not
+                boolean         bSortable_(int)         Indicator for if a column is flagged as sortable or not on the client-side
+                boolean         bSearchable_(int)       Indicator for if a column is flagged as searchable or not on the client-side
+                string          sSearch_(int)           Individual column filter
+                boolean         bEscapeRegex_(int)      Individual column filter is regex or not
+                int             iSortingCols            Number of columns to sort on
+                int             iSortCol_(int)          Column being sorted on (you will need to decode this number for your database)
+                string          sSortDir_(int)          Direction to be sorted - "desc" or "asc". Note that the prefix for this variable is wrong in 1.5.x where iSortDir_(int) was used)
+                string          sEcho                           Information for DataTables to use for rendering
+         *
+         *
+         */
+        def datatables_data = {
+                def run = Run.get( 3 );
+                def total = (int) Run.executeQuery( "SELECT COUNT(*) FROM AssaySample s WHERE s.run.id = :runId", [ "runId": run.id ] )[ 0 ];
+                def columns = [
+                        null,
+                        "s.sample.name",
+                        "s.assay.study.name",
+                        "s.assay.name",
+                        "s.fwMidName",
+                        "SUM( sd.numSequences )",
+                        "SUM( CASE WHEN sd.qualityFile IS NULL THEN 0 ELSE sd.numSequences END )",
+                        null,
+                        null,
+                        null,
+                        's.run.id',
+                        's.assay.id',
+                        's.assay.study.id',
+                ]
+                def idColumn = 's.id';
+                def groupColumns = [ idColumn ] + columns[1..4] + columns[10];
+                def from = "AssaySample s LEFT JOIN s.sequenceData as sd"
+                def where = "s.run.id = :runId"
+                def parameters = [ "runId": run.id ];
+                render dataTablesService.retrieveData(
+                        params,
+                        AssaySample.class,
+                        {
+                                def sampleId = it[ 0 ];
+                                def runId = it[ 7 ];
+                                def assayId = it[ 8 ];
+                                def studyId = it[ 9 ];
+                                def numSequences = it[ 5 ];
+                                // TODO: Rewrite this authorization part in a more efficient way
+                                def auth = Auth.executeQuery( "SELECT a.canWrite FROM Auth a WHERE a.study.id = :studyId AND a.user.id = :userId", [ 'studyId': studyId, 'userId': session.user?.id ] );
+                                def canWrite = auth ? auth[ 0 ] : false;
+                                // How to convert a database row to a datatables row
+                                def editButton = '';
+                                def deleteButton = '';
+                                def chartButton = '';
+                                if( canWrite ) {
+                                        editButton = g.link( url: '#', title: "Edit sample", onClick: "showEditSampleDialog(" + sampleId + ", 'run', " + runId + ");"  ) { '<img src="' + fam.icon( name: 'pencil' ) + '" title="Edit sample" />' };
+                                        deleteButton = g.link( controller: 'run', action: 'removeSample', id: it[ 7 ], params: [ 'assaySampleId': sampleId ], title: "Remove sample from run", onClick: "return confirm( 'Are you sure you want to remove the selected sample from this run?' );"  ) { '<img src="' + fam.icon( name: 'application_delete' ) + '" title="Remove sample from run" />' };
+                                } else {
+                                        editButton = '<img src="' + fam.icon( name: 'pencil' ) + '" title="You can\'t edit this sample because you don\'t have sufficient privileges." class="disabled" />';
+                                        deleteButton = '<img src="' + fam.icon( name: 'application_delete' ) + '" title="You can\'t remove this sample because you don\'t have sufficient privileges." class="disabled" />';
+                                }
+                                if( numSequences > 0 ) {
+                                        chartButton = g.link( controller: "assaySample", action: "sequenceLengthHistogram", id: sampleId, title: "Sequence length histogram" ) { '<img src="' + fam.icon( name: 'chart_bar' ) + '" alt="Sequence length histogram" title="Sequence length histogram" />' }
+                                } else {
+                                        chartButton = '<img src="' + fam.icon( name: 'chart_bar' ) + '" class="disabled" alt="No histogram available because no sequences are uploaded." title="No histogram available because no sequences are uploaded." />'
+                                }
+                                [
+                                        g.checkBox( name: "ids", value: sampleId, checked: false, onClick: "updateCheckAll(this);" ),
+                                        it[ 1 ],        // it.sample.name
+                                        it[ 2 ],        // it.assay.study.name
+                                        it[ 3 ],        // it.assay.name
+                                        it[ 4 ],        // it.fwMidName
+                                        it[ 5 ],        // it.numSequences(),
+                                        it[ 6 ],        // it.numQualScores(),
+                                        editButton,
+                                        deleteButton,
+                                        chartButton
+                                ]
+                        },
+                        columns,
+                        groupColumns,
+                        idColumn,
+                        from,
+                        total,
+                        where,
+                        parameters
+                ) as JSON
+        }
+}

trunk/grails-app/controllers/nl/tno/massSequencing/AssayController.groovy

-                      r52
+                      r59
 import java.util.List;
+import grails.converters.JSON
 import org.codehaus.groovy.grails.commons.ConfigurationHolder
 …
         def gscfService
         def fuzzySearchService
+        def dataTablesService
         def fileService
 …
                         gscfAddUrl: gscfService.urlAddStudy() ]
+        }
+        /**
+        * Returns JSON data for the datatable with runs
+        * @see http://www.datatables.net/usage/server-side
+        * @see DataTablesService.retrieveData
+        */
+   def showAssayList = {
+           // Determine the total number of assaysamples for this run
+           int total = Assay.executeQuery( "SELECT COUNT(*) FROM Assay a WHERE a.study.trashcan = false")[ 0 ]
+           // Which columns are shown on screen and should be retrieved from the database
+           def columns = [
+                   null,
+                   "a.name",
+                   "a.study.name",
+                   "COUNT( DISTINCT s )",
+                   "SUM( sd.numSequences ) / COUNT( DISTINCT s )",
+                   null,
+                   null,
+                   "a.study.studyToken"
+           ]
+           def idColumn = 'a.id';
+           def groupColumns = [ idColumn ] + columns[1..2] + columns[ 7 ];
+           // Retrieve data from assaySample table
+           def from = "Assay a LEFT JOIN a.assaySamples s LEFT JOIN s.sequenceData sd"
+           def where = " EXISTS( FROM Auth auth WHERE auth.study = a.study AND auth.user = :user AND auth.canRead = true )"
+           def parameters = [ "user": session.user ]
+           // This closure determines what to do with a row that is retrieved from the database.
+           def convertClosure = {
+                   def assayId = it[ 0 ];
+                   def assayName = it[ 1 ];
+                   def studyName = it[ 2 ];
+                   def numSamples = it[ 3 ];
+                   def numSequences = it[ 4 ];
+                   def studyToken = it[ 5 ];
+                   // Create buttons in the last three columns
+                   def editButton = g.link( controller: "assay", action: "show", id: assayId, "title": "View assay"  ) { '<img src="' + fam.icon( name: 'application_form_magnify' ) + '" title="View assay" />' };
+                   def chartButton = '';
+                   if( numSequences > 0 ) {
+                           chartButton = g.link( controller: "assay", action: "sequenceLengthHistogram", id: assayId, title: "Sequence length histogram" ) { '<img src="' + fam.icon( name: 'chart_bar' ) + '" alt="Sequence length histogram" title="Sequence length histogram" />' }
+                   } else {
+                           chartButton = '<img src="' + fam.icon( name: 'chart_bar' ) + '" class="disabled" alt="No histogram available because no sequences are uploaded." title="No histogram available because no sequences are uploaded." />'
+                   }
+                   [
+                           g.checkBox( name: "ids", value: assayId, checked: false, onClick: "updateCheckAll(this);" ),
+                           g.link( title:"View assay", controller:"assay", action:"show", id: assayId ) { assayName },  // it.name
+                           g.link( title:"View study", url: gscfService.urlViewStudy( studyToken )) { studyName },      // it.study.name
+                           numSamples > 0 ? g.formatNumber( number: numSamples, format: "###,###,##0" ) : "-",  // it.numSequences(),
+                           numSequences > 0 ? g.formatNumber( number: numSequences, format: "###,###,##0" ) : "-",      // it.numQualScores(),
+                           editButton,
+                           chartButton
+                   ]
+           }
+           // Send the data to the user
+           render dataTablesService.retrieveData(
+                   params,
+                   Assay.class,
+                   convertClosure,
+                   columns,
+                   groupColumns,
+                   idColumn,
+                   from,
+                   total,
+                   where,
+                   parameters
+           ) as JSON
+   }
         def show = {
 …
+        }
+        /**
+        * Returns JSON data for the datatable with assaysamples
+        * @see http://www.datatables.net/usage/server-side
+        * @see DataTablesService.retrieveData
+        */
+   def showSampleData = {
+           // load run with id specified by params.id
+           def assay = getAssay( params.id );
+           if (!assay) {
+                   response.sendError(404, "Run not found" )
+                   return
+           }
+           // Determine the total number of assaysamples for this run
+           def total = (int) Run.executeQuery( "SELECT COUNT(*) FROM AssaySample s WHERE s.assay.id = :assayId", [ "assayId": assay.id ] )[ 0 ];
+           // Which columns are shown on screen and should be retrieved from the database
+           def columns = [
+                   null,
+                   "s.sample.name",
+                   "run.name",
+                   "s.fwMidName",
+                   "SUM( sd.numSequences )",
+                   "SUM( CASE WHEN sd.qualityFile IS NULL THEN 0 ELSE sd.numSequences END )",
+                   null,
+                   null,
+                   's.assay.id',
+                   's.assay.study.id',
+           ]
+           def idColumn = 's.id';
+           def groupColumns = [ idColumn ] + columns[1..3] + columns[8..9];
+           // Retrieve data from assaySample table
+           def from = "AssaySample s LEFT JOIN s.sequenceData as sd LEFT JOIN s.run as run"
+           // And filter by runId
+           def where = "s.assay.id = :assayId"
+           def parameters = [ "assayId": assay.id ];
+           def canWrite = assay.study.canWrite( session.user );
+           // This closure determines what to do with a row that is retrieved from the database.
+           def convertClosure = {
+                   def sampleId = it[ 0 ];
+                   def assayId = it[ 6 ];
+                   def studyId = it[ 7 ];
+                   def numSequences = it[ 4 ];
+                   // Create buttons in the last three columns
+                   def editButton = '';
+                   def chartButton = '';
+                   if( canWrite ) {
+                           editButton = g.link( url: '#', title: "Edit sample", onClick: "showEditSampleDialog(" + sampleId + ", 'assay', " + assayId + ");"  ) { '<img src="' + fam.icon( name: 'pencil' ) + '" title="Edit sample" />' };
+                   } else {
+                           editButton = '<img src="' + fam.icon( name: 'pencil' ) + '" title="You can\'t edit this sample because you don\'t have sufficient privileges." class="disabled" />';
+                   }
+                   if( numSequences > 0 ) {
+                           chartButton = g.link( controller: "assaySample", action: "sequenceLengthHistogram", id: sampleId, title: "Sequence length histogram" ) { '<img src="' + fam.icon( name: 'chart_bar' ) + '" alt="Sequence length histogram" title="Sequence length histogram" />' }
+                   } else {
+                           chartButton = '<img src="' + fam.icon( name: 'chart_bar' ) + '" class="disabled" alt="No histogram available because no sequences are uploaded." title="No histogram available because no sequences are uploaded." />'
+                   }
+                   [
+                           g.checkBox( name: "ids", value: sampleId, checked: false, onClick: "updateCheckAll(this);" ),
+                           it[ 1 ],     // it.sample.name
+                           it[ 2 ],     // it.run.name
+                           it[ 3 ],     // it.fwMidName
+                           it[ 4 ] > 0 ? g.formatNumber( number: it[ 4 ], format: "###,###,##0" ) : "-",        // it.numSequences(),
+                           it[ 5 ] > 0 ? g.formatNumber( number: it[ 5 ], format: "###,###,##0" ) : "-",        // it.numQualScores(),
+                           editButton,
+                           chartButton
+                   ]
+           }
+           // Send the data to the user
+           render dataTablesService.retrieveData(
+                   params,
+                   AssaySample.class,
+                   convertClosure,
+                   columns,
+                   groupColumns,
+                   idColumn,
+                   from,
+                   total,
+                   where,
+                   parameters
+           ) as JSON
+   }
         def sequenceLengthHistogram = {
+                def id = params.long( 'id' );
+                def assay = id ? Assay.get( id ) : null
+                if( !id || !assay ) {
+                        flash.message = "No assay selected";
+                        redirect( action: "index" );
+                        return;
+                }
+                [ assay: assay, histogram: fastaService.sequenceLengthHistogram( assay.assaySamples.toList() ) ]
+        }
+                redirect( controller: "assaySample", action: "sequenceLengthHistogramForAssay", id: params.id );
+        }
         def showByToken = {

trunk/grails-app/controllers/nl/tno/massSequencing/AssaySampleController.groovy

-                      r57
+                      r59
                         return;
+                }
+                def title = "sample " + assaySample.sample.name + " (" + assaySample.assay.study.name + " / " + assaySample.assay.name + ")"
+                renderSequenceLengthHistogram( title, [assaySample] )
+        }
+        def sequenceLengthHistogramForRun = {
+                def id = params.long( 'id' );
+                def run = id ? Run.get( id ) : null
+                [ assaySample: assaySample, histogram: fastaService.sequenceLengthHistogram( [assaySample] ) ]
+                if( !id || !run ) {
+                        flash.message = "No run selected";
+                        redirect( controller: 'run', action: "index" );
+                        return;
+                }
+                def title = "run " + run.name
+                renderSequenceLengthHistogram( title, run.assaySamples?.toList() )
+        }
+        def sequenceLengthHistogramForAssay = {
+                def id = params.long( 'id' );
+                def assay = id ? Assay.get( id ) : null
+                if( !id || !assay ) {
+                        flash.message = "No assay selected";
+                        redirect( controller: 'assay', action: "index" );
+                        return;
+                }
+                def title = "assay " + assay.name
+                renderSequenceLengthHistogram( title, assay.assaySamples?.toList() )
+        }
+        def sequenceLengthHistogramForStudy = {
+                def id = params.long( 'id' );
+                def assay = id ? Study.get( id ) : null
+                if( !id || !study ) {
+                        flash.message = "No study selected";
+                        redirect( controller: 'study', action: "index" );
+                        return;
+                }
+                def title = "study " + study.name
+                renderSequenceLengthHistogram( title, study.assays*.assaySamples.flatten().unique().findAll { it } )
+        }
+        /**
+         * Renders a histogram for the given assaySamples
+         * @param title
+         * @param assaySamples
+         */
+        protected void renderSequenceLengthHistogram( String title, def assaySamples ) {
+                def numSequences = assaySamples.collect { it.numSequences() }.sum()
+                render( view: "sequenceLengthHistogram", model: [ title: title, numSequences: numSequences, histogram: fastaService.sequenceLengthHistogram( assaySamples ) ] );
+        }

trunk/grails-app/controllers/nl/tno/massSequencing/RunController.groovy

-                      r52
+                      r59
 import java.util.Date;
+import grails.converters.JSON
+import nl.tno.massSequencing.auth.*
 import org.codehaus.groovy.grails.commons.ConfigurationHolder
 …
         def sampleExcelService
         def fastaService
+        def dataTablesService
         def index = {
                 [runs: Run.list(), user: session.user]
+        }
+        /**
+        * Returns JSON data for the datatable with runs
+        * @see http://www.datatables.net/usage/server-side
+        * @see DataTablesService.retrieveData
+        */
+   def showRunList = {
+           // Determine the total number of assaysamples for this run
+           def total = Run.count()
+           // Which columns are shown on screen and should be retrieved from the database
+           def columns = [
+                   null,
+                   "r.name",
+                   "COUNT( a )",
+                   "SUM( sd.numSequences )",
+                   null,
+                   null,
+                   null
+           ]
+           def idColumn = 'r.id';
+           def groupColumns = [ idColumn ] + columns[1];
+           // Retrieve data from assaySample table
+           def from = "Run r LEFT JOIN r.assaySamples a LEFT JOIN a.sequenceData sd"
+           // This closure determines what to do with a row that is retrieved from the database.
+           def convertClosure = {
+                   def runId = it[ 0 ];
+                   def runName = it[ 1 ];
+                   def numSamples = it[ 2 ];
+                   def numSequences = it[ 3 ];
+                   // Create buttons in the last three columns
+                   def editButton = g.link( controller: "run", action: "show", id: it[ 0 ], "title": "View run"  ) { '<img src="' + fam.icon( name: 'application_form_magnify' ) + '" title="View run" />' };
+                   def deleteButton = '';
+                   def chartButton = '';
+                   if( numSequences > 0 ) {
+                           chartButton = g.link( controller: "run", action: "sequenceLengthHistogram", id: runId, title: "Sequence length histogram" ) { '<img src="' + fam.icon( name: 'chart_bar' ) + '" alt="Sequence length histogram" title="Sequence length histogram" />' }
+                   } else {
+                           chartButton = '<img src="' + fam.icon( name: 'chart_bar' ) + '" class="disabled" alt="No histogram available because no sequences are uploaded." title="No histogram available because no sequences are uploaded." />'
+                   }
+                   if( numSequences > 0 || Run.hasNonWritableAssays( runId, session.user.id ) ) {
+                           deleteButton = '<img src="' + fam.icon( name: 'delete' ) + '" class="disabled" alt="Run can not be deleted because data is associated with it." title="Run can not be deleted because data is associated with it." />'
+                   } else {
+                                deleteButton = g.link( title:"Delete run", onClick:"return confirm( 'Are you sure you want to delete this run?' );", controller:"run", action:"deleteRun", id: runId ) { '<img src="' + fam.icon( name: 'delete' ) + '" alt="Delete run" title="Delete run" />' }
+                   }
+                   [
+                           g.checkBox( name: "ids", value: runId, checked: false, onClick: "updateCheckAll(this);" ),
+                           g.link( title:"View run", controller:"run", action:"show", id: runId ) { runName },  // it.name
+                           numSamples > 0 ? g.formatNumber( number: numSamples, format: "###,###,##0" ) : "-",  // it.numSequences(),
+                           numSequences > 0 ? g.formatNumber( number: numSequences, format: "###,###,##0" ) : "-",      // it.numQualScores(),
+                           editButton,
+                           deleteButton,
+                           chartButton
+                   ]
+           }
+           // Send the data to the user
+           render dataTablesService.retrieveData(
+                   params,
+                   Run.class,
+                   convertClosure,
+                   columns,
+                   groupColumns,
+                   idColumn,
+                   from,
+                   total,
+           ) as JSON
+   }
         def show = {
 …
                 def otherAssays = Assay.list( sort: "name" ).findAll { !it.runs.contains( run ) && it.study.canRead( session.user ) }
+                // Determine several parameters to show on screen
                 // Send the assay information to the view
                 [run: run, allRuns: Run.list(), otherAssays: otherAssays, editable: true]
+        }
+        /**
+         * Returns JSON data for the datatable with assaysamples
+         * @see http://www.datatables.net/usage/server-side
+         * @see DataTablesService.retrieveData
+         */
+        def showSampleData = {
+                // load run with id specified by params.id
+                def run = getRun( params.id );
+                if (!run) {
+                        response.sendError(404, "Run not found" )
+                        return
+                }
+                // Determine the total number of assaysamples for this run
+                def total = (int) Run.executeQuery( "SELECT COUNT(*) FROM AssaySample s WHERE s.run.id = :runId AND EXISTS( FROM Auth a3 WHERE s.assay.study = a3.study AND a3.user = :user AND a3.canRead = true )", [ "runId": run.id, "user": session.user  ] )[ 0 ];
+                // Which columns are shown on screen and should be retrieved from the database
+                def columns = [
+                        null,
+                        "s.sample.name",
+                        "s.assay.study.name",
+                        "s.assay.name",
+                        "s.fwMidName",
+                        "SUM( sd.numSequences )",
+                        "SUM( CASE WHEN sd.qualityFile IS NULL THEN 0 ELSE sd.numSequences END )",
+                        null,
+                        null,
+                        null,
+                        's.run.id',
+                        's.assay.id',
+                        's.assay.study.id',
+                ]
+                def idColumn = 's.id';
+                def groupColumns = [ idColumn ] + columns[1..4] + columns[10..12];
+                // Retrieve data from assaySample table
+                def from = "AssaySample s LEFT JOIN s.sequenceData as sd"
+                // And filter by runId
+                def where = "s.run.id = :runId AND EXISTS( FROM Auth a3 WHERE s.assay.study = a3.study AND a3.user = :user AND a3.canRead = true )"
+                def parameters = [ "runId": run.id, "user": session.user ];
+                // This closure determines what to do with a row that is retrieved from the database.
+                def convertClosure = {
+                        def sampleId = it[ 0 ];
+                        def runId = it[ 7 ];
+                        def assayId = it[ 8 ];
+                        def studyId = it[ 9 ];
+                        def numSequences = it[ 5 ];
+                        // TODO: Rewrite this authorization part in a more efficient way
+                        def auth = Auth.executeQuery( "SELECT a.canWrite FROM Auth a WHERE a.study.id = :studyId AND a.user.id = :userId", [ 'studyId': studyId, 'userId': session.user?.id ] );
+                        def canWrite = auth ? auth[ 0 ] : false;
+                        // Create buttons in the last three columns
+                        def editButton = '';
+                        def deleteButton = '';
+                        def chartButton = '';
+                        if( canWrite ) {
+                                editButton = g.link( url: '#', title: "Edit sample", onClick: "showEditSampleDialog(" + sampleId + ", 'run', " + runId + ");"  ) { '<img src="' + fam.icon( name: 'pencil' ) + '" title="Edit sample" />' };
+                                deleteButton = g.link( controller: 'run', action: 'removeSample', id: it[ 7 ], params: [ 'assaySampleId': sampleId ], title: "Remove sample from run", onClick: "return confirm( 'Are you sure you want to remove the selected sample from this run?' );"  ) { '<img src="' + fam.icon( name: 'application_delete' ) + '" title="Remove sample from run" />' };
+                        } else {
+                                editButton = '<img src="' + fam.icon( name: 'pencil' ) + '" title="You can\'t edit this sample because you don\'t have sufficient privileges." class="disabled" />';
+                                deleteButton = '<img src="' + fam.icon( name: 'application_delete' ) + '" title="You can\'t remove this sample because you don\'t have sufficient privileges." class="disabled" />';
+                        }
+                        if( numSequences > 0 ) {
+                                chartButton = g.link( controller: "assaySample", action: "sequenceLengthHistogram", id: sampleId, title: "Sequence length histogram" ) { '<img src="' + fam.icon( name: 'chart_bar' ) + '" alt="Sequence length histogram" title="Sequence length histogram" />' }
+                        } else {
+                                chartButton = '<img src="' + fam.icon( name: 'chart_bar' ) + '" class="disabled" alt="No histogram available because no sequences are uploaded." title="No histogram available because no sequences are uploaded." />'
+                        }
+                        [
+                                g.checkBox( name: "ids", value: sampleId, checked: false, onClick: "updateCheckAll(this);" ),
+                                it[ 1 ],        // it.sample.name
+                                it[ 2 ],        // it.assay.study.name
+                                it[ 3 ],        // it.assay.name
+                                it[ 4 ],        // it.fwMidName
+                                it[ 5 ] > 0 ? g.formatNumber( number: it[ 5 ], format: "###,###,##0" ) : "-",   // it.numSequences(),
+                                it[ 6 ] > 0 ? g.formatNumber( number: it[ 6 ], format: "###,###,##0" ) : "-",   // it.numQualScores(),
+                                editButton,
+                                deleteButton,
+                                chartButton
+                        ]
+                }
+                // Send the data to the user
+                render dataTablesService.retrieveData(
+                        params,
+                        AssaySample.class,
+                        convertClosure,
+                        columns,
+                        groupColumns,
+                        idColumn,
+                        from,
+                        total,
+                        where,
+                        parameters
+                ) as JSON
+        }
 …
         def sequenceLengthHistogram = {
+                def id = params.long( 'id' );
+                def run = id ? Run.get( id ) : null
+                if( !id || !run ) {
+                        flash.message = "No run selected";
+                        redirect( action: "index" );
+                        return;
+                }
+                [ run: run, histogram: fastaService.sequenceLengthHistogram( run.assaySamples?.toList() ) ]
+                redirect( controller: "assaySample", action: "sequenceLengthHistogramForRun", id: params.id );
+        }

trunk/grails-app/controllers/nl/tno/massSequencing/StudyController.groovy

-                      r52
+                      r59
         def sequenceLengthHistogram = {
+                def id = params.long( 'id' );
+                def study = id ? Study.get( id ) : null
+                if( !id || !study ) {
+                        flash.message = "No study selected";
+                        redirect( action: "index" );
+                        return;
+                }
+                [ study: study, histogram: fastaService.sequenceLengthHistogram( study.assays*.assaySamples.flatten().unique().findAll { it } ) ]
+                redirect( controller: "assaySample", action: "sequenceLengthHistogramForStudy", id: params.id );
+        }

trunk/grails-app/controllers/nl/tno/massSequencing/files/ImportController.groovy

-                      r58
+                      r59
          *************************************************************************/
         /**
          * Shows a screen that processing is done
+        /**
+         * Shows a screen to indicate that files are being parsed
          */
         def showProcessScreen = {
+        def parseUploadedFiles = {
                 def entityType = params.entityType
                 // Check whether files are given
                 def names = params.list( 'sequencefiles' )
 …
                         return
+                }
+                // Create a unique process identifier
+                String processId = UUID.randomUUID().toString();
                 // Save filenames in session
+                session.processFilenames = names;
+                if( !session.process )
+                        session.process = [:]
+                if( !session.process[ processId ] )
+                        session.process[ processId ] = [:]
+                session.process[ processId ].filenames = names;
+                session.process[ processId ].entityId = params.id;
+                session.process[ processId ].entityType = entityType
                 // Check for total size of the files in order to be able
 …
                         filesize += fileService.get( it )?.length()
+                }
+                session.processProgress = [
+                if( !session.progress )
+                        session.progress = [:]
+                session.progress[ processId ] = [
                         stepNum: 1,
                         numSteps: 2,
 …
                         stepTotal: filesize
+                ]
+                [entityId: params.id, entityType: params.entityType, filenames: names, url: createLink( action: 'showProcessResult', id: params.id, params: [entityType: entityType] ) ]
+                render( view: 'showProcessScreen', model: [
+                        processUrl: createLink( controller: "import", action: "processUploadedFiles" ),
+                        processParameters: [ processId: processId, entityId: params.id, entityType: params.entityType ],
+                        progressUrl: createLink( controller: "import", action: "getProgress", params: [ processId: processId ] ),
+                        finishUrl: createLink( controller: "import", action: 'parseUploadResult', params: [ processId: processId, id: params.id, entityType: entityType] ),
+                        errorUrl: createLink( controller: entityType, action: "show", id: params.id ),
+                        entityId: params.id, entityType: params.entityType] );
+        }
 …
          * Processes uploaded files and tries to combine them with samples
          */
+        def process = {
+        def processUploadedFiles = {
+                def processId = params.processId
                 def entity
-                def assaySamples
                 switch( params.entityType ) {
                         case "run":
+                                entity = getRun( params.id );
+                                assaySamples = entity.assaySamples.findAll { it.assay.study.canWrite( session.user ) };
+                                entity = getRun( params.entityId );
                                 break;
                         case "assay":
+                                entity = getAssay( params.id );
+                                assaySamples = entity.assaySamples.findAll { it.assay.study.canWrite( session.user ) };
+                                entity = getAssay( params.entityId );
                                 break;
                         default:
 …
                                 return;
+                }
+                def assaySamples = entity.assaySamples.findAll { it.assay.study.canWrite( session.user ) };
                 if (!entity) {
                         response.setStatus( 404, flash.error )
 …
                 // Check whether files are given
                 def names = session.processFilenames
+                def names = session.process[ processId ]?.filenames
                 if( !names ) {
+                        println "Process ID: " + processId
+                        session.process.each {
+                                println it.key + " = " + it.value;
+                        }
                         response.setStatus( 500, "No files uploaded for processing" )
                         render "";
 …
                 def onProgress = { progress, total ->
                         // Update progress
                         httpSession.processProgress.stepTotal = total;
                         httpSession.processProgress.stepProgress = progress;
+                        httpSession.progress[ processId ].stepTotal = total;
+                        httpSession.progress[ processId ].stepProgress = progress;
+                }
                 def newStep = { total, description ->
                         // Start a new step
+                        httpSession.processProgress.stepTotal = total;
+                        httpSession.processProgress.stepProgress = 0;
+                        httpSession.processProgress.stepDescription = description;
+                        httpSession.processProgress.stepNum++;
+                }
+                def parsedFiles = importService.parseFiles( filenames, onProgress, [progress: 0, total: httpSession.processProgress.stepTotal ], newStep );
+                println "Parsed files success: " + parsedFiles.success
+                        httpSession.progress[ processId ].stepTotal = total;
+                        httpSession.progress[ processId ].stepProgress = 0;
+                        httpSession.progress[ processId ].stepDescription = description;
+                        httpSession.progress[ processId ].stepNum++;
+                }
+                def parsedFiles = importService.parseFiles( filenames, onProgress, [progress: 0, total: httpSession.progress[ processId ].stepTotal ], newStep );
                 // Determine excel matches from the uploaded files
                 parsedFiles.success = fastaService.inferExcelMatches( parsedFiles.success );
-                // Now check whether a taxonomy and groups file are uploaded. If so send them to the classificationService for
-                // parsing
-                def classificationFiles = parsedFiles.success.findAll { it.type == 'groups' || it.type == 'taxonomy' };
-                def excelFiles = parsedFiles.success.findAll { it.type == 'excel' }
-                def excelMatches = [:]
-                // Find a match between input (mothur) samples and the samples in the system
-                excelFiles.each { excelFile ->
-                        if( excelFile.matches && excelFile.matches[ 'mothursamples' ] ) {
-                                excelFile.matches[ 'mothursamples' ].each { excelMatch ->
-                                        def foundSample = assaySamples.find { it.sample.name == excelMatch.samplename };
-                                        if( foundSample )
-                                                excelMatches[ excelMatch.mothurname ] = foundSample
+                                }
+                        }
+                }
-                if( classificationFiles ) {
-                        parsedFiles.success -= classificationFiles;
-                        // If no excel matches are found, no classifications can be stored
-                        if( !excelMatches ) {
-                                classificationFiles.each {
-                                        it.success = false
-                                        it.message = "An excel file which maps the input samples with samples in the system must be provided."
-                                        parsedFiles.failure << it;
+                                }
-                        } else {
-                                // Set progress to a new step, so the user knows that it will take a while
-                                long totalSize = classificationFiles.collect { it.filesize }.sum();
-                                newStep( totalSize, "Storing classification" )
-                                println "Total size: " + totalSize;
-                                classificationFiles = classificationService.storeClassification( classificationFiles, excelMatches, { bytesProcessed -> httpSession.processProgress.stepProgress += bytesProcessed } );
-                                classificationFiles.each {
-                                        if( it.success ) {
-                                                parsedFiles.success << it;
-                                        } else {
-                                                parsedFiles.failure << it;
+                                        }
+                                }
+                        }
+                }
                 // Match files with samples in the database
                 def matchedFiles = fastaService.matchFiles( parsedFiles.success, assaySamples );
 …
                 matchedFiles.sort { a,b -> a.fasta?.originalfilename <=> b.fasta?.originalfilename }
+                // Retrieve all files that have not been matched
+                def notMatchedFiles = parsedFiles.success.findAll {
+                        switch( it.type ) {
+                                case "fasta":
+                                        return !matchedFiles*.fasta*.filename.contains( it.filename );
+                                case "qual":
+                                        return !matchedFiles*.feasibleQuals.flatten().filename.contains( it.filename );
+                                case "taxonomy":
+                                        return !matchedFiles*.feasibleClassifications.flatten().filename.contains( it.filename );
+                        }
+                        return false;
+                }
                 // Saved file matches in session to use them later on
                 session.processedFiles = [ parsed: parsedFiles,  matched: matchedFiles ];
+                session.process[ processId ].processedFiles = [ parsed: parsedFiles,  matched: matchedFiles, notMatched: notMatchedFiles ];
                 render ""
+        }
         def getProgress = {
+                if( !session.processProgress ) {
+                def processId = params.processId;
+                if( !processId || !session.progress?.getAt( processId ) ) {
                         response.setStatus( 500, "No progress information found" );
                         render ""
 …
+                }
                 render session.processProgress as JSON
+                render session.progress[ processId ] as JSON
+        }
         /**
          * Show result of processing
+         * Show result of processing uploaded files (step 1)
          */
+        def showProcessResult = {
+        def parseUploadResult = {
+                def processId = params.processId;
                 // load study with id specified by param.id
                 def entity
 …
                                 return;
+                }
+                def assaySamples = entity.assaySamples.findAll { it.assay.study.canWrite( session.user ) };
                 if (!entity) {
                         response.setStatus( 404, flash.error )
 …
+                }
                 if( !session.processedFiles ) {
+                if( !session.process[ processId ].processedFiles ) {
                         flash.error = "Processing of files failed. Maybe the session timed out."
+                        redirect( controller: 'assay', action: 'show', 'id': params.id)
+                        return
+                }
+                [entityType: params.entityType, entity: entity, id: params.id, parsedFiles: session.processedFiles.parsed, classificationFiles: session.processedFiles.parsed.success.findAll { it.type == 'taxonomy' }, matchedFiles: session.processedFiles.matched, selectedRun: params.selectedRun ]
+                        redirect( controller: params.entityType, action: 'show', 'id': params.id)
+                        return
+                }
+                // Find matching sequenceData objects for taxonomyfiles that have not been matched
+                def notMatchedFiles = session.process[ processId ].processedFiles.notMatched;
+                def extraClassifications = notMatchedFiles.findAll { it.type == "taxonomy" }
+                extraClassifications.collect {
+                        // Find all sequence files that have the correct number of sequences and are in the list of assaySamples
+                        it[ 'feasibleSequenceData' ] = SequenceData.findAllByNumSequences( it.numLines ).findAll { assaySamples.contains( it.sample ) }
+                        return it
+                }
+                [       entityType: params.entityType, processId: processId, entity: entity, id: params.id,
+                        parsedFiles: session.process[ processId ].processedFiles.parsed,
+                        matchedFiles: session.process[ processId ].processedFiles.matched,
+                        remainingClassificationFiles: extraClassifications,
+                        selectedRun: params.selectedRun ]
+        }
 …
          */
         def returnWithoutSaving = {
+                def processId = params.processId;
                 // Delete all uploaded files from disk
                 session.processedFiles?.parsed?.success?.each {
+                session.process[ processId ]?.processedFiles?.parsed?.success?.each {
                         fileService.delete( it.filename );
+                }
 …
+        }
+        /**
+         * Shows a screen with the progress of saving matched files
+         */
+        def saveMatchedFiles = {
+                def entityType = params.entityType
+                def processId = params.processId
+                session.process[ processId ].matchedFiles = params.file
+                session.process[ processId ].matchedRemainingClassification = params.remainingClassification
+                // Check for total size of the classification files in order to be able
+                // to show a progress bar. The handling of classification files is orders
+                // of magnitude bigger than the rest, so we only show progress of those files
+                long filesize = 0;
+                // Loop through all files. Those are the numeric elements in the 'files' array
+                def digitRE = ~/^\d+$/;
+                params.file.findAll { it.key.matches( digitRE ) }.each { file ->
+                        def filevalue = file.value;
+                        // Check if the file is selected
+                        if( filevalue.include == "on" ) {
+                                if( fileService.fileExists( filevalue.fasta ) ) {
+                                        // Also save classification data for this file, if it is present
+                                        if( filevalue.classification ) {
+                                                filesize += fileService.get( filevalue.classification )?.size()
+                                        }
+                                }
+                        }
+                }
+                params.remainingClassification.findAll { it.key.matches( digitRE ) }.each { file ->
+                        def filevalue = file.value;
+                        // Check if the file is selected
+                        if( filevalue.include == "on" ) {
+                                if( fileService.fileExists( filevalue.filename ) ) {
+                                        // Also save classification data for this file, if it is present
+                                        filesize += fileService.get( filevalue.filename )?.size()
+                                }
+                        }
+                }
+                if( !session.progress )
+                        session.progress = [:]
+                session.progress[ processId ] = [
+                        stepNum: 2,
+                        numSteps: 2,
+                        stepDescription: 'Store sequence data and classification',
+                        stepProgress: 0,
+                        stepTotal: filesize
+                ]
+                render( view: 'showProcessScreen', model: [
+                        processUrl: createLink( controller: "import", action: "processMatchedFiles" ),
+                        processParameters: [ processId: processId, entityId: params.id, entityType: params.entityType ],
+                        progressUrl: createLink( controller: "import", action: "getProgress", params: [ processId: processId ] ),
+                        finishUrl: createLink( controller: "import", action: 'saveMatchedResult', params: [ processId: processId, id: params.id, entityType: entityType] ),
+                        errorUrl: createLink( controller: entityType, action: "show", id: params.id ),
+                        entityId: params.id, entityType: params.entityType] );
+        }
         /**
          * Saves processed files to the database, based on the selections made by the user
          */
         def saveProcessedFiles = {
+        def processMatchedFiles = {
                 // load entity with id specified by param.id
+                def entity
+                switch( params.entityType ) {
+                        case "run":
+                                entity = getRun( params.id );
+                                break;
+                        case "assay":
+                                entity = getAssay( params.id );
+                                break;
+                        default:
+                                response.setStatus( 404, "No entity found" );
+                                render "";
+                                return;
+                }
+                if (!entity) {
+                        response.setStatus( 404, flash.error )
+                        render "";
+                        return
+                }
+                def processId = params.processId;
                 // Check whether files are given
+                def files = params.file
+                if( !files ) {
+                        flash.message = "No files were selected."
+                        redirect( controller: params.entityType, action: 'show', 'id': params.id)
+                def files = session.process[ processId ].matchedFiles
+                def remainingClassification = session.process[ processId ].matchedRemainingClassification;
+                if( !files && !remainingClassification ) {
+                        flash.message = "No files were selected for import."
+                        redirect( controller: params.entityType, action: 'show', 'id': params.entityId)
                         return
+                }
                 File permanentDir = fileService.absolutePath( ConfigurationHolder.config.massSequencing.fileDir )
+                // This closure enables keeping track of the progress
+                def httpSession = session;
+                def onProgress = { progress ->
+                        // Update progress
+                        httpSession.progress[ processId ].stepProgress += progress;
+                }
+                // Loop through all FASTA files. Those are the numeric elements in the 'files' array
+                def fastaReturn = saveMatchedFastaFiles( files, session.process[ processId ]?.processedFiles, onProgress );
+                def classificationReturn = saveRemainingClassificationFiles( remainingClassification, onProgress );
+                // Update classification (summary) for updated samples
+                def samplesClassified = [] + fastaReturn.samplesClassified + classificationReturn.samplesClassified;
+                classificationService.updateClassificationForAssaySamples( samplesClassified.findAll { it }.unique() )
+                def returnStructure = [
+                        numSequenceFiles: fastaReturn.numSequenceFiles,
+                        numQualFiles: fastaReturn.numQualFiles,
+                        numClassificationFiles: fastaReturn.numClassificationFiles,
+                        numExtraClassificationFiles: classificationReturn.numExtraClassifications,
+                        numTotal: fastaReturn.numSequenceFiles + classificationReturn.numExtraClassifications,
+                        errors: [] + fastaReturn.errors + classificationReturn.errors
+                ]
+                // Return all files that have not been moved
+                session.process[ processId ]?.processedFiles?.parsed?.success?.each {
+                        fileService.delete( it.filename );
+                }
+                session.process[ processId ].result = returnStructure;
+                response.contentType = "text/plain"
+                render "";
+        }
+        def saveMatchedFastaFiles( def files, processedFiles, Closure onProgress ) {
                 int numSuccesful = 0;
+                int numQualFiles = 0;
+                int numClassificationFiles = 0;
+                def samplesClassified = [];
                 def errors = [];
+                // Loop through all files. Those are the numeric elements in the 'files' array
                 def digitRE = ~/^\d+$/;
                 files.findAll { it.key.matches( digitRE ) }.each { file ->
 …
                                 if( fileService.fileExists( filevalue.fasta ) ) {
                                         try {
                                                 def permanent = fastaService.savePermanent( filevalue.fasta, filevalue.qual, session.processedFiles );
+                                                def permanent = fastaService.savePermanent( filevalue.fasta, filevalue.qual, processedFiles );
                                                 // Save the data into the database
 …
                                                 } else {
                                                         sd.save(flush:true);
+                                                        // Also save classification data for this file, if it is present
+                                                        if( filevalue.classification ) {
+                                                                classificationService.storeClassification( filevalue.classification, sd, onProgress )
+                                                                samplesClassified << sample
+                                                                numClassificationFiles++;
+                                                        }
+                                                        if( sd.qualityFile )
+                                                                numQualFiles++;
+                                                        numSuccesful++;
+                                                }
-                                                numSuccesful++;
                                         } catch( Exception e ) {
+                                                e.printStackTrace();
                                                 errors << "an error occurred while saving " + filevalue.fasta + ": " + e.getMessage()
+                                        }
 …
+                        }
+                }
+                // Return all files that have not been moved
+                session.processedFiles?.parsed?.success?.each {
+                        fileService.delete( it.filename );
+                }
+                return [ numSequenceFiles: numSuccesful, numQualFiles: numQualFiles, numClassificationFiles: numClassificationFiles, errors: errors, samplesClassified: samplesClassified.unique() ]
+        }
+        def saveRemainingClassificationFiles( def files, Closure onProgress ) {
+                def digitRE = ~/^\d+$/;
+                def errors = [];
+                def samplesClassified = [];
+                def numSuccesful = 0;
+                files.findAll { it.key.matches( digitRE ) }.each { file ->
+                        def filevalue = file.value;
+                        // Check if the file is selected
+                        if( filevalue.include == "on" ) {
+                                if( fileService.fileExists( filevalue.filename ) ) {
+                                        def sequenceDataId = filevalue.sequenceData;
+                                        try {
+                                                if( sequenceDataId.toString().isLong() ) {
+                                                        // Retrieve sequenceData and sample now, because the session will be cleared during import
+                                                        def sequenceData = SequenceData.get( sequenceDataId.toString().toLong() );
+                                                        def sample = sequenceData.sample;
+                                                        if( sequenceData ) {
+                                                                classificationService.removeClassificationForSequenceData( sequenceData );
+                                                                classificationService.storeClassification( filevalue.filename, sequenceData, onProgress )
+                                                                samplesClassified << sample;
+                                                        }
+                                                        numSuccesful++;
+                                                } else {
+                                                        errors << "a wrong ID is entered for classification file " + filevalue.filename;
+                                                }
+                                        } catch( Exception e ) {
+                                                e.printStackTrace();
+                                                errors << "an error occurred while saving " + filevalue.filename + ": " + e.getMessage()
+                                        }
+                                }
+                        }
+                        // File doesn't need to be included in the system. Delete it from disk.
+                        fileService.delete( filevalue.filename );
+                }
+                return [ numExtraClassifications: numSuccesful, errors: errors, samplesClassified: samplesClassified.unique()  ]
+        }
+        /**
+         * Redirects the user back to the start screen with a message about how things went
+         */
+        def saveMatchedResult = {
+                def processId = params.processId
+                def result = session.process[ processId ].result
                 // Return a message to the user
                 if( numSuccesful == 0 ) {
                         flash.error = "None of the files were imported, because "
                         if( errors.size() > 0 ) {
                                 errors.each {
+                if( result.numTotal == 0 ) {
+                        if( result.errors.size() > 0 ) {
+                                flash.error = "None of the files were imported, because "
+                                result.errors.each {
                                         flash.error += "<br />- " + it
+                                }
                         } else {
                                 flash.error = "none of the files were selected for import."
+                                flash.message = "None of the files were imported, because none of the files were selected for import."
+                        }
                 } else {
+                        flash.message = numSuccesful + " files have been added to the system. "
+                        if( errors.size() > 0 ) {
+                                flash.error += errors.size() + " errors occurred during import: "
+                                errors.each {
+                        flash.message = ""
+                        if( result.numSequenceFiles == 1 ) {
+                                flash.message += result.numSequenceFiles + " sequence file has been added to the system"
+                        } else if( result.numSequenceFiles > 1 ) {
+                                flash.message += result.numSequenceFiles + " sequence files have been added to the system"
+                        }
+                        if( result.numQualFiles > 0 || result.numClassificationFiles > 0 ) {
+                                flash.message += ", with";
+                        }
+                        if( result.numQualFiles == 1 ) {
+                                flash.message += " 1 quality file"
+                        } else if( result.numQualFiles > 1 ) {
+                                flash.message += " " + result.numQualFiles + " quality files"
+                        }
+                        if( result.numQualFiles > 0 && result.numClassificationFiles > 0 ) {
+                                flash.message += " and";
+                        }
+                        if( result.numClassificationFiles == 1 ) {
+                                flash.message += " 1 classification file"
+                        } else if( result.numClassificationFiles > 1 ) {
+                                flash.message += " " + result.numClassificationFiles + " classification files"
+                        }
+                        if( flash.message )
+                                flash.message += "."
+                        if( result.numExtraClassificationFiles == 1 ) {
+                                flash.message += result.numExtraClassificationFiles + " additional classification file has been read. ";
+                        } else if( result.numExtraClassificationFiles > 1 ) {
+                                flash.message += result.numExtraClassificationFiles + " additional classification files have been read. ";
+                        }
+                        if( result.errors.size() > 0 ) {
+                                flash.error = "However, " + result.errors.size() + " errors occurred during import: "
+                                result.errors.each {
                                         flash.error += "<br />- " + it
+                                }
 …
+                }
+                // Clear session
+                session.process?.remove( processId );
+                session.progress?.remove( processId );
+                // Redirect user
                 redirect( controller: params.entityType, action: "show", id: params.id )
+        }

trunk/grails-app/domain/nl/tno/massSequencing/AssaySample.groovy

-                      r58
+                      r59
                                         if( sd )
                                                 otherAssaySample.addToSequenceData( sd );
+                                        // Copy all sequence classifications to the new sequenceData
+                                        Sequence.executeUpdate( "UPDATE Sequence s SET s.sequenceData = :new WHERE s.sequenceData = :old ", [ 'old': dataList[ j ], 'new': sd ] )
                                         // Remove the old sequencedata object
                                         this.removeFromSequenceData( dataList[ j ] );
 …
+                        }
+                }
-                // Copy all sequence classifications to the new assaysample
-                Sequence.executeUpdate( "UPDATE Sequence s SET s.assaySample = :new WHERE s.assaySample = :old ", [ 'old': this, 'new': otherAssaySample ] )
                 // Copy run properties
 …
                 def numFiles = 0;
+                sequenceData.each { sequenceData ->
+                def data = [] + sequenceData
+                data.each { sequenceData ->
                         numFiles += sequenceData.numFiles();
 …
                         sequenceData.delete(flush:true);
+                }
-                // Remove all sequence objects referencing this sequenceData object
-                Sequence.executeUpdate( "DELETE FROM Sequence s WHERE s.assaySample = ?", [this])
                 resetStats();

trunk/grails-app/domain/nl/tno/massSequencing/Run.groovy

-                      r52
+                      r59
                 return hasPrivileges
+        }
+        public static hasNonWritableAssays( runId, userId ) {
+                def queryNonWritableAssays = Run.executeQuery( "SELECT COUNT(*) FROM Run r LEFT JOIN r.assays a WHERE r.id = ? AND NOT EXISTS( FROM a.study.auth auth WHERE auth.canWrite = true AND auth.user.id = ?)", [runId, userId ])
+                return queryNonWritableAssays ? queryNonWritableAssays[ 0 ] > 0 : false;
+        }
+        public int numAssays() {
+                def num = Run.executeQuery( "SELECT COUNT(*) FROM Assay a WHERE EXISTS( FROM a.runs r WHERE r = ? )", [ this ] );
+                if( num )
+                        return num[ 0 ];
+        }
+        public int numAssaySamples() {
+                def num = Run.executeQuery( "SELECT COUNT(*) FROM AssaySample s WHERE s.run = ?", [ this ] );
+                if( num )
+                        return num[ 0 ];
+        }
+        public int numReadableAssays( User u ) {
+                def num = Run.executeQuery( "SELECT COUNT(*) FROM Assay a WHERE EXISTS( FROM a.runs r WHERE r = ? ) AND EXISTS( FROM a.study.auth a WHERE a.user = ? AND a.canRead = true )", [ this, u ] );
+                if( num )
+                        return num[ 0 ];
+        }
+        public int numReadableAssaySamples( User u ) {
+                def num = Run.executeQuery( "SELECT COUNT(*) FROM AssaySample s WHERE s.run = ? AND EXISTS( FROM s.assay.study.auth a WHERE a.user = ? AND a.canRead = true )", [ this, u ] );
+                if( num )
+                        return num[ 0 ];
+        }
+        public int numWritableAssays( User u ) {
+                def num = Run.executeQuery( "SELECT COUNT(*) FROM Assay a WHERE EXISTS( FROM a.runs r WHERE r = ? ) AND EXISTS( FROM a.study.auth a WHERE a.user = ? AND a.canWrite = true )", [ this, u ] );
+                if( num )
+                        return num[ 0 ];
+        }
+        public int numWritableAssaySamples( User u ) {
+                def num = Run.executeQuery( "SELECT COUNT(*) FROM AssaySample s WHERE s.run = ? AND EXISTS( FROM s.assay.study.auth a WHERE a.user = ? AND a.canWrite = true )", [ this, u ] );
+                if( num )
+                        return num[ 0 ];
+        }
+}

trunk/grails-app/domain/nl/tno/massSequencing/Sequence.groovy

r58	r59
11	11
12	12	// Which sample contains this sequence
13		~~AssaySample assaySample~~
	13	SequenceData sequenceData
14	14
15	15	// Classification of this sequence

trunk/grails-app/domain/nl/tno/massSequencing/SequenceData.groovy

-                      r49
+                      r59
                         fileService.delete( qualityFile, permanentDir )
+                // Remove all sequence objects referencing this sequenceData object
+                Sequence.executeUpdate( "DELETE FROM Sequence s WHERE s.sequenceData = ?", [this])
                 // Reset statistics of the assay sample, to ensure the deleted files are removed from statistics
                 sample?.resetStats();

trunk/grails-app/domain/nl/tno/massSequencing/classification/Classification.groovy

-                      r58
+                      r59
         AssaySample     assaySample
         Taxon                   taxon
+        int                             occurrences
+        // Number of occurrences of this specific taxon (without more specific classification)
+        long                    unclassified
+        // Number of total occurrences of this taxon (including sequences classified at a more specific level)
+        long                    total
+        // Number of occurrences of this taxon with more specific classification
+        public getClassified() {
+                return total - unclassified;
+        }
     static constraints = {
 …
                 assaySample index: 'AssaySample_Idx'
                 taxon index:'Search_Idx'
                 occurrences index:'Search_Idx'
+                total index:'Search_Idx'
                 version false
+        }

trunk/grails-app/domain/nl/tno/massSequencing/classification/Taxon.groovy

-                      r58
+                      r59
          */
         public static Taxon findTaxonByPath( def path, int startLevel = 0 ) {
+                if( path.size() == 0 )
+                        return null;
                 def leafLevel = path.size() - 1 + startLevel;
                 def leafName = path[ -1 ];

trunk/grails-app/services/nl/tno/massSequencing/ClassificationService.groovy

-                      r58
+                      r59
 import org.codehaus.groovy.grails.commons.ConfigurationHolder
 import org.hibernate.StatelessSession
+import org.hibernate.Transaction
 import java.util.zip.*
 import nl.tno.massSequencing.classification.*
 …
                 file.eachLine { line ->
                         numLines++;
                         // Update progress every time 100kB is processed
                         bytesProcessed += line.size();
 …
                 return [ numLines: numLines, fileSize: file.size() ];
+        }
+        /**
+         * Saves the classification of sequences into the database.
+         * @param inputFiles    List of maps with groups- and taxonomy files.
+         * @return                              List of processed files
+         */
+        public List storeClassification( List inputFiles, Map excelMatches, Closure onProgress ) {
+                def filesStored = [];
+                // In order to store classification, we need a .groups and a .taxonomy file with an
+                // equal number of lines
+                inputFiles.each { inputFile ->
+                        // Check whether this file has already been processed as a matching file for another file
+                        if( filesStored*.filename.contains( inputFile.filename ) )
+                                return;
+                        // Search for a matching file
+                        def searchForType = inputFile.type == 'groups' ? 'taxonomy' : 'groups';
+                        def matchingFile = findMatchingClassificationFile( inputFiles, searchForType, inputFile.numLines, filesStored*.filename );
+                        // If no matching file is found, give a message to the user
+                        if( !matchingFile ) {
+                                inputFile[ 'success' ] = false
+                                inputFile[ 'message' ] = "No matching " + searchForType + " file could be found for this file (or a matching file is already processed)."
+                                filesStored << inputFile;
+                                return;
+                        }
+                        println "Handling files: " + inputFile.filename + " - " + matchingFile.filename
+                        println excelMatches;
+                        // Now parse the two matching files
+                        def classificationInfo = []
+                        if( inputFile.type == 'groups' ) {
+                                classificationInfo = storeClassificationFromFiles( inputFile.filename, matchingFile.filename, excelMatches, onProgress );
+                        } else {
+                                classificationInfo = storeClassificationFromFiles( matchingFile.filename, inputFile.filename, excelMatches, onProgress );
+                        }
+                        filesStored += classificationInfo;
+                }
+                return filesStored;
+        }
+        /**
+         * Removes all classification sequence objects for a given SequenceData object
+         * @param sequenceData
+         * @return      True if the deletion has succeeded
+         */
+        public boolean removeClassificationForSequenceData( SequenceData sequenceData ) {
+                if( sequenceData ) {
+                        Sequence.executeUpdate( "DELETE FROM Sequence s WHERE s.sequenceData = ?", [sequenceData] );
+                        return true;
+                } else {
+                        return false;
+                }
+        }
         /**
          * Store the classification from the given files
 …
          * @return
          */
+        protected List storeClassificationFromFiles( String groupsFilename, String taxonomyFilename, Map excelMatches, Closure onProgress ) {
+                def returnList = []
+        public Map storeClassification( String taxonomyFilename, SequenceData sequenceData, Closure onProgress ) {
+                def hibernateSession = sessionFactory.getCurrentSession();
+                hibernateSession.flush();
+                hibernateSession.clear();
-                File groupsFile = fileService.get( groupsFilename );
                 File taxonomyFile = fileService.get( taxonomyFilename );
+                if( !taxonomyFile ) {
+                        return [ success: false, type: 'taxonomy', filename: groupsFilename, message: 'Taxonomy file doesn\'t exist.' ]
+                }
-                if( !groupsFile ) {
-                        returnList << [ success: false, type: 'groups', filename: groupsFilename, message: 'Groups file doesn\'t exist.' ]
+                }
-                if( !taxonomyFile ) {
-                        returnList << [ success: false, type: 'taxonomy', filename: groupsFilename, message: 'Taxonomy file doesn\'t exist.' ]
+                }
-                if( !groupsFile || !taxonomyFile )
-                        return returnList;
                 // Open files for reading and create temporary variables
                 def taxonomyReader = taxonomyFile.newReader();
+                def groupsReader = groupsFile.newReader();
                 def parts, sequenceName, classification, sampleName, taxa, taxon, line, groupsLine
                 def classificationScoreRegex = /(\(\d+\))/
+                def taxonRegex = /"?([^"(]+)"?(\(\d+\))?/
                 def startLevel = 0    // The first level that is present in the file. Sometimes, the root element (level 0) is not mentioned in the file, in that case, this values should be set to 1
+                def unclassified = "unclassified"
                 def i = 0;
                 def start = System.currentTimeMillis();
                 def lapTime = start;
                 // Create a stateless session in order to speed up inserts
                 StatelessSession statelessSession = sessionFactory.openStatelessSession();
+                statelessSession.beginTransaction();
+                println "Starting at " + start
+                // For each line in the taxonomy file, also read the groups file. If the sequenceNames don't match,
+                // discard the sequence
+                // For each line in the taxonomy file, read the sequence and save it
                 def discardedSequences = 0;
                 def importedSequences = 0;
                 long bytesProcessed = 0;
+                while( ( line = taxonomyReader.readLine() ) ) {
+                        // Also read a line from the groupsFile
+                        groupsLine = groupsReader.readLine();
+                        bytesProcessed += line.size() + groupsLine.size();
+                        // Find the taxon for this line
+                        parts = line.tokenize( "\t" );
+                        if( parts.size() != 2 ) {
+                                // Skip this line because it is incorrect
+                                continue;
+                try {
+                        while( ( line = taxonomyReader.readLine() ) ) {
+                                bytesProcessed += line.size();
+                                // Find the taxon for this line
+                                parts = line.tokenize( "\t" );
+                                if( parts.size() != 2 ) {
+                                        // Skip this line because it is incorrect
+                                        continue;
+                                }
+                                sequenceName = parts[ 0 ];
+                                classification = parts[ 1 ];
+                                // Split classification to check whether the taxon already exists
+                                taxa = classification.tokenize( ';' ).collect { it.replaceAll( taxonRegex, '$1' ) }.findAll { it && it != unclassified }
+                                // Find taxon or create one if needed
+                                taxon = Taxon.findOrCreateTaxonByPath( taxa, startLevel );
+                                if( taxon ) {
+                                        // Create a new sequence record
+                                        def s = new Sequence()
+                                        s.name = sequenceName
+                                        s.classification = taxon
+                                        s.sequenceData = sequenceData
+                                        statelessSession.insert(s);
+                                } else {
+                                        log.trace( "" + i + " Sequence " + sequenceName + " not imported because it is unclassified." )
+                                }
+                                if( i % 80 == 0 ) {
+                                        onProgress( bytesProcessed );
+                                        bytesProcessed = 0;
+                                }
+                                importedSequences++;
+                                i++;
+                        }
+                        sequenceName = parts[ 0 ];
+                        classification = parts[ 1 ];
+                } catch( Exception e ) {
+                        throw e;
+                } finally {
+                        statelessSession.close();
+                        taxonomyReader.close();
+                }
+                onProgress( bytesProcessed );
+                return [ filename: taxonomyFilename, type: 'taxonomy', success: true, importedSequences: importedSequences, discardedSequences: discardedSequences ]
+        }
+        /**
+         * Updates the Classification table with data computed from the raw sequences for the given assay sample
+         * @param assaySample
+         */
+        public void updateClassificationForAssaySample( AssaySample assaySample ) {
+                if( !assaySample )
+                        return;
+                        if( !groupsLine ) {
+                                // Skip this line because the groups file doesn't contain a new line
+                                discardedSequences++;
+                                continue
+                        }
+                        // Find the sequence name and sample name in the groups file
+                        parts = groupsLine.tokenize( "\t" );
+                        if( parts.size() != 2 ) {
+                                // Skip this line because the groups file line is incorrect
+                                discardedSequences++;
+                                continue;
+                        }
+                updateClassificationForAssaySamples( [ assaySample ] );
+        }
+        /**
+         * Updates the Classification table with data computed from the raw sequences for the given assay sample
+         * @param assaySample
+         */
+        public void updateClassificationForAssaySamples( List assaySamples ) {
+                if( !assaySamples )
+                        return;
+                        if( parts[ 0 ] != sequenceName ) {
+                                log.trace( "Sequence names in taxonomy and groups files don't match: " + sequenceName + " " + parts[ 0 ] )
+                                discardedSequences++;
+                                continue;
+                        }
+                        sampleName = parts[ 1 ];
+                        // Split classification to check whether the taxon already exists
+                        taxa = classification.replaceAll( classificationScoreRegex, '' ).tokenize( ';' ).findAll { it }
+                        // Find taxon or create one if needed
+                        taxon = Taxon.findOrCreateTaxonByPath( taxa, startLevel );
+                        // Determine assaySample
+                        def assaySample = excelMatches[ sampleName ]
+                        if( !assaySample ) {
+                                log.trace( "Sample name from GROUPS file is not found in excel file: " + sampleName )
+                                discardedSequences++;
+                                continue;
+                        }
+                        // Create a new sequence record
+                        def s = new Sequence()
+                        s.name = sequenceName
+                        s.classification = taxon
+                        s.assaySample = assaySample
+                        statelessSession.insert(s);
+                        //println "Sequence " + sequenceName + " / classification " + classification + " / sample: " + assaySample
+                        if( i % 100 == 0 ) {
+                                onProgress( bytesProcessed );
+                                bytesProcessed = 0;
+                        }
+                        importedSequences++;
+                        i++;
+                }
+                onProgress( bytesProcessed );
+                taxonomyReader.close();
+                groupsReader.close();
+                returnList << [ filename: taxonomyFilename, type: 'taxonomy', success: true, importedSequences: importedSequences, discardedSequences: discardedSequences ]
+                returnList << [ filename: groupsFilename, type: 'groups', success: true, importedSequences: importedSequences, discardedSequences: discardedSequences ]
+                return returnList;
+        }
+                // Clear hibernate session for otherwise the session will be out of sync with the
+                // database
+                def hibernateSession = sessionFactory.getCurrentSession();
+                hibernateSession.flush();
+                hibernateSession.clear();
+                // Remove all Classifications for the given assaySample
+                Classification.executeUpdate( "DELETE FROM Classification WHERE assaySample IN (:assaySamples)", [ 'assaySamples': assaySamples ] );
+                // Update classification table with data from sequences
+                // Unfortunately, Hibernate (through HQL) can't handle bulk insertion if a table has a
+                // composite id (Classification). See http://opensource.atlassian.com/projects/hibernate/browse/HHH-3434
+                // For that reason we execute plain SQL
+                def connection = sessionFactory.currentSession.connection()
+                def statement = connection.createStatement();
+                statement.executeUpdate( connection.nativeSQL( """
+                        INSERT INTO     classification (assay_sample_id, taxon_id, unclassified, total)
+                        SELECT          sa.id, s.classification_id, count( * ),
+                                                (
+                                                        SELECT          count( * )
+                                                        FROM            sequence s2
+                                                        LEFT JOIN       taxonomy t2 ON s2.classification_id = t2.id
+                                                        LEFT JOIN       sequence_data sd2 ON s2.sequence_data_id = sd2.id
+                                                        LEFT JOIN       assay_sample sa2 ON sd2.sample_id = sa2.id
+                                                        WHERE           sa2.id = sa.id AND t2.lft >= t.lft AND t2.rgt <= t.rgt
+                                                )
+                        FROM            sequence s
+                        LEFT JOIN       taxonomy t ON s.classification_id = t.id
+                        LEFT JOIN       sequence_data sd ON s.sequence_data_id = sd.id
+                        LEFT JOIN       assay_sample sa ON sd.sample_id = sa.id
+                        WHERE           sa.id IN (""" + assaySamples.id.join( ", " ) + """ )
+                        GROUP BY        sa.id, s.classification_id
+           """ ) );
+        }
         /**
          * Find a file that matches the parameters and is not already stored

trunk/grails-app/services/nl/tno/massSequencing/FastaService.groovy

-                      r58
+                      r59
         def fuzzySearchService
         def sampleExcelService
+        def classificationService
         def excelService
 …
            def fastas = parsedFiles.findAll { it.type == "fasta" }
            def quals = parsedFiles.findAll { it.type == "qual" }
+           def classifications = parsedFiles.findAll { it.type == "taxonomy" }
            def excels = parsedFiles.findAll { it.type == "excel" }
 …
                    // Determine feasible quals (based on number of sequences )
                    def feasibleQuals = quals.findAll { it.numSequences == fastaFile.numSequences }
+                   def feasibleClassifications = classifications.findAll { it.numLines == fastaFile.numSequences }
                    // Best matching qual file
 …
                            qual = feasibleQuals[ qualIdx ];
+                   // Best matching classification file
+                   def classificationIdx = fuzzySearchService.mostSimilarWithIndex( matchWith + '.taxonomy', feasibleClassifications.originalfilename );
+                   def classification = null
+                   if( classificationIdx != null )
+                           classification = feasibleClassifications[ classificationIdx ];
                    // Best matching sample
                    def assaySample = null
 …
                                            fasta: fastaFile,
                                            feasibleQuals: feasibleQuals,
+                                           feasibleClassifications: feasibleClassifications,
                                            qual: qual,
+                                           classification: classification,
                                            assaySample: assaySample,
                                            checked: checked
 …
                 if( fileService.fileExists( fastaFile ) ) {
                         // Lookup the original filename
                         def fastaData = processedFiles.parsed.success.find { it.filename == fastaFile };
+                        def fastaData = processedFiles?.parsed?.success?.find { it.filename == fastaFile };
                         if( fastaData ) {
                                 returnStructure.fasta = fileService.moveFileToUploadDir( fileService.get( fastaFile ), fastaData.originalfilename, permanentDirectory );
 …
                         if( qualData ) {
                                 returnStructure.qual = fileService.moveFileToUploadDir( fileService.get(qualFile ), qualData.originalfilename, permanentDirectory );
+                                returnStructure.qual = fileService.moveFileToUploadDir( fileService.get(qualFile), qualData.originalfilename, permanentDirectory );
                                 returnStructure.avgQuality = qualData.avgQuality
                         } else {
 …
+                }
+                // Update classification summary
+                classificationService.updateClassificationForAssaySamples( assaySamples );
                 return numFiles;
+        }

trunk/grails-app/views/assay/_addFilesDialog.gsp

r58	r59
2	2	<h2>Upload sequence files</h2>
3	3
4		<g:form name="addFiles" controller="import" action="~~showProcessScreen~~" id="${assay.id}">
	4	<g:form name="addFiles" controller="import" action="parseUploadedFiles" id="${assay.id}">
5	5	<input type="hidden" name="entityType" value="assay" />
6	6	<p>

trunk/grails-app/views/assay/index.gsp

-                      r52
+                      r59
                         <form id="assayForm">
                         </form>
                         <table id="assays" class="paginate">
+                        <table id="assays" class="paginate_serverside" rel="<g:createLink controller="assay" action="showAssayList" />">
                                 <thead>
                                         <tr>
 …
                                 </thead>
                                 <tbody>
+                                        <g:each in="${studies}" var="study">
+                                                <g:if test="${study.assays != null && study.assays.size() > 0}">
+                                                        <g:each in="${study.assays}" var="assay">
+                                                                <tr>
+                                                                        <td><g:checkBox name="ids" value="${assay.id}" checked="${false}" onClick="updateCheckAll(this);" /></td>
+                                                                        <td><g:link title="View assay" controller="assay" action="show" id="${assay.id}">${assay.name}</g:link></td>
+                                                                        <td><a href="${study.viewUrl()}">${study.name}</a></td>
+                                                                        <td>${assay.assaySamples?.size()}</td>
+                                                                        <td>
+                                                                                <g:if test="${assay.assaySamples?.size()}">
+                                                                                        <g:formatNumber number="${assay.numSequences() / assay.assaySamples?.size()}" format="###,###,##0"/>
+                                                                                </g:if>
+                                                                                <g:else>
+                                                                                        -
+                                                                                </g:else>
+                                                                        </td>
+                                                                        <td><g:link title="View assay" controller="assay" action="show" id="${assay.id}"><img src="${fam.icon( name: 'application_form_magnify' )}" alt="View assay" title="View assay" /></g:link></td>
+                                                                        <td>
+                                                                                <g:if test="${assay.numSequences() > 0}">
+                                                                                        <g:link title="Sequence length histogram" controller="assay" action="sequenceLengthHistogram" id="${assay.id}"><img src="${fam.icon( name: 'chart_bar' )}" alt="Sequence length histogram" title="Sequence length histogram" /></g:link>
+                                                                                </g:if>
+                                                                                <g:else>
+                                                                                        <img src="${fam.icon( name: 'chart_bar' )}" class="disabled" alt="No histogram available because no sequences are uploaded." title="No histogram available because no sequences are uploaded." />
+                                                                                </g:else>
+                                                                        </td>
+                                                                </tr>
+                                                        </g:each>
+                                                </g:if>
+                                        </g:each>
+                                        <tr>
+                                                <td colspan="7">
+                                                        Retrieving data from server.
+                                                </td>
+                                        </tr>
                                 </tbody>
                         </table>

trunk/grails-app/views/assay/show.gsp

-                      r57
+                      r59
         <g:else>
                 <form id="sampleForm"><input type="hidden" name="assayId" value="${assay.id}" /></form>
                 <table class="paginate" id="samples">
+                <table class="paginate_serverside" rel="<g:createLink controller="assay" action="showSampleData" id="${assay.id}" />" id="samples">
                         <thead>
                                 <tr>
 …
                         </thead>
                         <tbody>
+                                <% def assaySamples = assay.assaySamples.toList().sort { it.sample.name } %>
+                                <g:each in="${assaySamples}" var="assaySample">
+                                        <tr>
+                                                <td><g:checkBox name="ids" value="${assaySample.id}" checked="${false}" onClick="updateCheckAll(this);" /></td>
+                                                <td><a title="Show assay" href="#" onClick="showSample(${assaySample.id}, 'assay'); return false;">${assaySample.sample.name}</a></td>
+                                                <td>${assaySample.run?.name}</td>
+                                                <td>${assaySample.fwMidName}</td>
+                                                <td>
+                                                        <g:if test="${assaySample.numSequenceFiles() > 0}">
+                                                                <g:formatNumber number="${assaySample.numSequences()}" format="###,###,##0" />
+                                                        </g:if>
+                                                        <g:else>
+                                                                -
+                                                        </g:else>
+                                                </td>
+                                                <td>
+                                                        <g:if test="${assaySample.numQualityFiles() > 0}">
+                                                                <g:formatNumber number="${assaySample.numQualScores()}" format="###,###,##0" />
+                                                        </g:if>
+                                                        <g:else>
+                                                                -
+                                                        </g:else>
+                                                </td>
+                                                <td class="button">
+                                                        <g:if test="${!assaySample.assay.study.canWrite(session.user)}">
+                                                                <img src="${fam.icon(name: 'pencil')}" class="disabled" title="You can't edit this sample because you don't have sufficient privileges." />
+                                                        </g:if>
+                                                        <g:else>
+                                                                <a onClick="showEditSampleDialog(${assaySample.id}, 'assay', ${assay.id}); return false;" href="#" title="Edit sample data"><img title="Edit sample data" src="${fam.icon(name: 'pencil')}" /></a>
+                                                        </g:else>
+                                                </td>
+                                                <td class="button">
+                                                        <g:if test="${assaySample.numSequences() > 0}">
+                                                                <g:link controller="assaySample" action="sequenceLengthHistogram" id="${assaySample.id}" title="Sequence length histogram"><img src="${fam.icon( name: 'chart_bar' )}" alt="Sequence length histogram" title="Sequence length histogram" /></g:link>
+                                                        </g:if>
+                                                        <g:else>
+                                                                <img src="${fam.icon( name: 'chart_bar' )}" class="disabled" alt="No histogram available because no sequences are uploaded." title="No histogram available because no sequences are uploaded." />
+                                                        </g:else>
+                                                </td>
+                                        </tr>
+                                </g:each>
+                                <tr>
+                                        <td colspan="8">
+                                                Loading data from server
+                                        </td>
+                                </tr>
                         </tbody>
                 </table>

trunk/grails-app/views/assaySample/sequenceLengthHistogram.gsp

-                      r52
+                      r59
         <head>
                 <meta name="layout" content="main" />
                 <title>Sequence length histogram for sample ${assaySample.sample.name} | Mass Sequencing | dbNP</title>
+                <title>Sequence length histogram for ${title} | Mass Sequencing | dbNP</title>
         </head>
         <body>
                 <h1>Sequence length histogram for sample ${assaySample.sample.name} (${assaySample.assay.study.name} / ${assaySample.assay.name})</h1>
+                <h1>Sequence length histogram for ${title}</h1>
                 <p>
                         Total number of sequences: <g:formatNumber number="${assaySample.numSequences()}" format="###,###,##0" />
+                        Total number of sequences: <g:formatNumber number="${numSequences}" format="###,###,##0" />
                 </p>
                 <div id="placeholder" style="width:600px;height:300px"></div>

trunk/grails-app/views/import/parseUploadResult.gsp

-                      r58
+                      r59
         <h2>Sequence files</h2>
+        <g:if test="${matchedFiles.size() > 0}">
+                <p>
+                        Match each sequencefile with the qualityfile and the sample it belongs to. Samples are already chosen for some files based
+                        on the given excelsheet or the filenames.
+                </p>
+                <p>
+                        By unchecking a sequence file you can exclude the file from being used.
+                </p>
+                <%
+                        def sortedSamples = entity.assaySamples.findAll { it.assay.study.canWrite( session.user ) }.sort() { a,b -> a.sample.name <=> b.sample.name }
+                %>
+                <g:form name="saveProcessedFiles" action="saveProcessedFiles" id="${entity.id}" params="${[controller: controller]}">
+                <input type="hidden" name="entityType" value="${entityType}" />
+                <table>
+                        <thead>
+                                <tr>
+                                        <th></th>
+                                        <th>Fasta file</th>
+                                        <th># sequences</th>
+                                        <th>Qual file</th>
+                                        <th>Sample</th>
+                                </tr>
+                        </thead>
+        <g:form name="saveProcessedFiles" action="saveMatchedFiles" id="${entity.id}" params="${[controller: controller]}">
+        <input type="hidden" name="entityType" value="${entityType}" />
+        <input type="hidden" name="processId" value="${processId}" />
+                <g:if test="${matchedFiles.size() > 0}">
+                        <p>
+                                Match each sequencefile with the qualityfile, classification file and the sample it belongs to. Samples are already chosen for some files based
+                                on the given excelsheet or the filenames.
+                        </p>
+                        <p>
+                                By unchecking a sequence file you can exclude the file from being used.
+                        </p>
+                        <%
+                                def sortedSamples = entity.assaySamples.findAll { it.assay.study.canWrite( session.user ) }.sort() { a,b -> a.sample.name <=> b.sample.name }
+                        %>
+                        <table class="importProcessedFiles" cellspacing="0">
+                                <thead>
+                                        <tr>
+                                                <th></th>
+                                                <th>Fasta file</th>
+                                                <th># sequences</th>
+                                                <th>Sample</th>
+                                        </tr>
+                                </thead>
+                                <g:each in="${matchedFiles}" var="file" status="i">
+                                        <tr class="${ i % 2 == 0 ? 'even' : 'odd' }">
+                                                <td>
+                                                        <g:hiddenField name="file.${i}.fasta" value="${file.fasta.filename}" />
+                                                        <g:checkBox name="file.${i}.include" value="${file.checked}" />
+                                                </td>
+                                                <td class="name" valign="center">${file.fasta.originalfilename}</td>
+                                                <td class="sequences">${file.fasta.numSequences}</td>
+                                                <td nowrap>
+                                                        <g:if test="${sortedSamples.size()}">
+                                                                <select name="file.${i}.assaySample" onChange="showSampleDataWarning(this, ${i});">
+                                                                        <g:each in="${sortedSamples}" var="assaySample">
+                                                                                <option
+                                                                                        <g:if test="${file.assaySample?.id == assaySample.id}">
+                                                                                                <g:set var="selectedAssaySample" value="${assaySample}" />
+                                                                                                selected="selected"
+                                                                                        </g:if>
+                                                                                        value="${assaySample.id}" class="<g:if test="${assaySample?.sequenceData?.size() > 0}">containsdata</g:if><g:else>nodata</g:else>">${assaySample.sample.name}</option>
+                                                                        </g:each>
+                                                                </select>
+                                                                <span id="warningSampleContainsData_${i}" class="warningSampleContainsData" <g:if test="${selectedAssaySample?.sequenceData?.size() > 0}">style="display: inline;"</g:if>>
+                                                                        <img src="${fam.icon( name: "exclamation" ) }" title="This sample already contains sequences. Adding sequences doesn't replace the old ones." />
+                                                                </span>
+                                                        </g:if>
+                                                        <g:else>
+                                                                No samples available.
+                                                        </g:else>
+                                                </td>
+                                        </tr>
+                                        <tr class="${ i % 2 == 0 ? 'even' : 'odd' }">
+                                                <td></td>
+                                                <td></td>
+                                                <td>Quality file</td>
+                                                <td>
+                                                        <g:if test="${file.feasibleQuals?.size()}">
+                                                                <g:select name="file.${i}.qual" from="${file.feasibleQuals}" optionKey="filename" optionValue="originalfilename" value="${file.qual?.filename}" noSelection="['': '- No qual file -']"/>
+                                                        </g:if>
+                                                        <g:else>
+                                                                <select name="" disabled="disabled"><option value="">No qual file available</option></select>
+                                                        </g:else>
+                                                </td>
+                                        </tr>
+                                        <tr class="${ i % 2 == 0 ? 'even' : 'odd' }">
+                                                <td></td>
+                                                <td></td>
+                                                <td>Classification file</td>
+                                                <td>
+                                                        <g:if test="${file.feasibleClassifications?.size()}">
+                                                                <g:select name="file.${i}.classification" from="${file.feasibleClassifications}" optionKey="filename" optionValue="originalfilename" value="${file.classification?.filename}" noSelection="['': '- No classification -']"/>
+                                                        </g:if>
+                                                        <g:else>
+                                                                <select name="" disabled="disabled"><option value="">No classification available</option></select>
+                                                        </g:else>
+                                                </td>
+                                        </tr>
+                                </g:each>
+                        <g:each in="${matchedFiles}" var="file" status="i">
+                                <tr>
+                                        <td>
+                                                <g:hiddenField name="file.${i}.fasta" value="${file.fasta.filename}" />
+                                                <g:checkBox name="file.${i}.include" value="${file.checked}" />
+                                        </td>
+                                        <td class="name">${file.fasta.originalfilename}</td>
+                                        <td class="sequences">${file.fasta.numSequences}</td>
+                                        <td>
+                                                <g:if test="${file.feasibleQuals?.size()}">
+                                                        <g:select name="file.${i}.qual" from="${file.feasibleQuals}" optionKey="filename" optionValue="originalfilename" value="${file.qual?.filename}" noSelection="['': '- No qual file -']"/>
+                                                </g:if>
+                                                <g:else>
+                                                        No qual file available
+                                                </g:else>
+                                        </td>
+                                        <td nowrap>
+                                                <g:if test="${sortedSamples.size()}">
+                                                        <select name="file.${i}.assaySample" onChange="showSampleDataWarning(this, ${i});">
+                                                                <g:each in="${sortedSamples}" var="assaySample">
+                                                                        <option
+                                                                                <g:if test="${file.assaySample?.id == assaySample.id}">
+                                                                                        <g:set var="selectedAssaySample" value="${assaySample}" />
+                                                                                        selected="selected"
+                                                                                </g:if>
+                                                                                value="${assaySample.id}" class="<g:if test="${assaySample?.sequenceData?.size() > 0}">containsdata</g:if><g:else>nodata</g:else>">${assaySample.sample.name}</option>
+                                                                </g:each>
+                                                        </select>
+                                                        <span id="warningSampleContainsData_${i}" class="warningSampleContainsData" <g:if test="${selectedAssaySample?.sequenceData?.size() > 0}">style="display: inline;"</g:if>>
+                                                                <img src="${fam.icon( name: "exclamation" ) }" title="This sample already contains sequences. Adding sequences doesn't replace the old ones." />
+                                                        </span>
+                                                </g:if>
+                                                <g:else>
+                                                        No samples available.
+                                                </g:else>
+                                        </td>
+                                </tr>
+                        </g:each>
+                        </table>
+                </table>
+                </g:if>
+                <g:else>
+                        <p>
+                                ${parsedFiles.success?.size()} files were successfully uploaded, but no FASTA file could be determined. Please
+                                upload at least one FASTA file if sequences should be added.
+                        </p>
+                </g:else>
+                <input type="submit" value="Continue">
+                </g:form>
+        </g:if>
+        <g:else>
+                <p>
+                        ${parsedFiles.success?.size()} files were successfully uploaded, but no FASTA file could be determined. Please
+                        upload at least one FASTA file if sequences should be added.
+                </p>
+        </g:else>
+        <h2>Classification files</h2>
+        <g:if test="${classificationFiles.size() > 0}">
+                <p>
+                        The following files containing sequence classification have been imported.
+                </p>
+                <table>
+                        <thead>
+                                <tr>
+                                        <th>File</th>
+                                        <th># sequences imported</th>
+                                        <th># sequences discarded</th>
+                                </tr>
+                        </thead>
+                        <g:each in="${classificationFiles}" var="file" status="i">
+                                <tr>
+                                        <td>${file.filename}</td>
+                                        <td>${file.importedSequences}</td>
+                                        <td>${file.discardedSequences}</td>
+                                </tr>
+                        </g:each>
+                </table>
+        </g:if>
+        <g:else>
+                <p>
+                        No classification files found in uploaded data.
+                </p>
+        </g:else>
+                <g:if test="${remainingClassificationFiles}">
+                        <h2>Clasification files</h2>
+                        <p>
+                                The following classification files could not be matched with an uploaded sequence file. Please choose which file
+                                belongs to which sample and data file.
+                        </p>
+                        <p>
+                                <b>N.B.</b> Existing classification data wil be removed for the selected file.
+                        </p>
+                        <table class="importProcessedFiles">
+                                <thead>
+                                        <tr>
+                                                <th></th>
+                                                <th>Classification file</th>
+                                                <th># sequences</th>
+                                                <th>Matching existing file</th>
+                                        </tr>
+                                </thead>
+                                <g:each in="${remainingClassificationFiles}" var="file" status="i">
+                                        <tr class="${ i % 2 == 0 ? 'even' : 'odd' }">
+                                                <td>
+                                                        <g:hiddenField name="remainingClassification.${i}.filename" value="${file.filename}" />
+                                                        <g:checkBox name="remainingClassification.${i}.include" value="${file.feasibleSequenceData as Boolean}" disabled="${!file.feasibleSequenceData}" />
+                                                </td>
+                                                <td class="name" valign="center">${file.originalfilename}</td>
+                                                <td class="sequences">${file.numLines}</td>
+                                                <td nowrap>
+                                                        <g:if test="${file.feasibleSequenceData}">
+                                                                <select name="remainingClassification.${i}.sequenceData">
+                                                                        <g:each in="${file.feasibleSequenceData}" var="sequenceData">
+                                                                                <option
+                                                                                        <g:if test="${file.sequenceData?.id == sequenceData.id}">
+                                                                                                selected="selected"
+                                                                                        </g:if>
+                                                                                        value="${sequenceData.id}">
+                                                                                        ${sequenceData.sample.sample.name} - ${sequenceData.sequenceFile}</option>
+                                                                        </g:each>
+                                                                </select>
+                                                        </g:if>
+                                                        <g:else>
+                                                                No samples available for this classification file
+                                                        </g:else>
+                                                </td>
+                                        </tr>
+                                </g:each>
+                        </table>
+                </g:if>
+        <input type="submit" value="Continue">
+        </g:form>
         <g:if test="${parsedFiles.failure?.size()}">
 …
         <p>
                 <g:link controller="import" action="returnWithoutSaving" params="[entityType: entityType, id: entity.id]">Return to ${entityType}</g:link>
+                <g:link controller="import" action="returnWithoutSaving" params="[processId: processId, entityType: entityType, id: entity.id]">Return to ${entityType}</g:link>
         </p>
 </body>

trunk/grails-app/views/import/showProcessScreen.gsp

-                      r58
+                      r59
         <script type="text/javascript">
+                var progressInterval;
                 $(function() {
                         $( "#wait_dialog" ).dialog({
 …
                         });
                         var progressInterval = setInterval(updateProgress, 250);
+                        progressInterval = setTimeout(updateProgress, 250);
                         // Call processing URL
                         $.ajax({
                           type: 'POST',
                           url: "<g:createLink controller="import" action="process" id="${entityId}" />",
                           data: "entityType=${entityType}",
+                          url: "${processUrl.encodeAsJavaScript()}",
+                          data: "${processParameters*.toString().join("&")}",
                           success: function(data) {
                                   // Stop update progress bar
                                   clearInterval( progressInterval );
+                                  clearTimeout( progressInterval );
                                   window.location.replace( "${url.encodeAsJavaScript()}" );
+                                  window.location.replace( "${finishUrl.encodeAsJavaScript()}" );
                           },
                           error: function(xhr, textStatus, errorThrown) {
 …
                                   // Stop update progress bar (but update it for the last time)
                                   updateProgress()
                                   clearInterval( progressInterval );
+                                  clearTimeout( progressInterval );
                                   alert( "Error " + xhr.getStatus() + ": " + xhr.getStatusText() );
                                   //window.location.replace( "<g:createLink controller="${entityType}" action="show" id="${entityId}" />" );
+                                  window.location.replace( "${errorUrl?.encodeAsJavaScript()}" );
+                        }
                         });
 …
                         $.ajax({
                         type: "GET",
                                 url: "<g:createLink controller="import" action="getProgress" />",
+                                url: "${progressUrl?.encodeAsJavaScript()}",
                                 dataType: "json",
                                 success: function(progress) {
 …
                                         $("#progressbar").progressbar("value", progress.stepProgress / progress.stepTotal * 100 );
+                                        // Make sure the next progress will be retrieved in 250 ms
+                                        progressInterval = setTimeout(updateProgress, 250);
+                                }
                         });

trunk/grails-app/views/layouts/main.gsp

-                      r52
+                      r59
                                         <!-- Last full synchronization: ${lastSynchronized} -->
                                 </g:if>
+                                <g:if test="${flash.message}">
+                                        <p class="message">${flash.message.toString()}</p>
+                                </g:if>
                                 <g:if test="${flash.error}">
+                                        <p class="error">${flash.error.toString().encodeAsHTML()}</p>
+                                </g:if>
+                                <g:if test="${flash.message}">
+                                        <p class="message">${flash.message.toString().encodeAsHTML()}</p>
+                                        <p class="error">${flash.error.toString()}</p>
                                 </g:if>

trunk/grails-app/views/run/_addFilesDialog.gsp

r58	r59
2	2	<h2>Upload sequence files</h2>
3	3
4		<g:form name="addFiles" controller="import" action="~~showProcessScreen~~" id="${run.id}">
	4	<g:form name="addFiles" controller="import" action="parseUploadedFiles" id="${run.id}">
5	5	<input type="hidden" name="entityType" value="run" />
6	6	<p>

trunk/grails-app/views/run/index.gsp

-                      r52
+                      r59
         <body>
                 <h1>List of mass sequencing runs</h1>
                 <g:if test="${runs.size() == 0}">
+                <g:if test="${numRuns == 0}">
                         <p>
                                 Currently there are no runs available in the database. Click <a href="#" onClick="showAddRunDialog(); return false;">here</a> to add a new run.
 …
                         <form id="runForm">
                         </form>
                         <table id="runs" class="paginate">
+                        <table id="runs" class="paginate_serverside" rel="<g:createLink controller="run" action="showRunList" />">
                                 <thead>
                                         <tr>
 …
                                 </thead>
                                 <tbody>
+                                        <g:each in="${runs}" var="run">
+                                                <tr>
+                                                        <td><g:checkBox name="ids" value="${run.id}" checked="${false}" onClick="updateCheckAll(this);" /></td>
+                                                        <td><g:link title="View run" controller="run" action="show" id="${run.id}">${run.name}</g:link></td>
+                                                        <td>${run.assaySamples?.size()}</td>
+                                                        <td><g:formatNumber number="${run.numSequences()}" format="###,###,##0" /></td>
+                                                        <td><g:link title="View run" controller="run" action="show" id="${run.id}"><img src="${fam.icon( name: 'application_form_magnify' )}" alt="View run" title="View run" /></g:link></td>
+                                                        <td>
+                                                                <g:if test="${run.deletable(user)}">
+                                                                        <g:link title="Delete run" onClick="return confirm( 'Are you sure you want to delete this run?' );" controller="run" action="deleteRun" id="${run.id}"><img src="${fam.icon( name: 'delete' )}" alt="Delete run" title="Delete run" /></g:link>
+                                                                </g:if>
+                                                                <g:else>
+                                                                        <img src="${fam.icon( name: 'delete' )}" class="disabled" alt="Run can not be deleted because data is associated with it." title="Run can not be deleted because data is associated with it." />
+                                                                </g:else>
+                                                        </td>
+                                                        <td>
+                                                                <g:if test="${run.numSequences() > 0}">
+                                                                        <g:link controller="run" action="sequenceLengthHistogram" title="Sequence length histogram" id="${run.id}"><img src="${fam.icon( name: 'chart_bar' )}" alt="Sequence length histogram" title="Sequence length histogram" /></g:link>
+                                                                </g:if>
+                                                                <g:else>
+                                                                        <img src="${fam.icon( name: 'chart_bar' )}" class="disabled" alt="No histogram available because no sequences are uploaded." title="No histogram available because no sequences are uploaded." />
+                                                                </g:else>
+                                                        </td>
+                                                </tr>
+                                        </g:each>
+                                        <td colspan="7">
+                                                Loading data from server
+                                        </td>
                                 </tbody>
                         </table>

trunk/grails-app/views/run/show.gsp

-                      r52
+                      r59
         </div>
         <div class="blok_data">
+                <label># assays</label>: ${run.assays?.size()}
+                <% def numHidden = run.assays?.findAll { !it.study.canRead( session.user ) }.size() ; %>
+                <g:if test="${numHidden}">
+                        (${numHidden}
+                        <a href="#" onClick="alert( '${numHidden} assay(s) from this run are hidden because you don\'t have the right permissions to view them.' ); return false;">
+                <%
+                        def numAssays = run.numAssays();
+                        def numReadableAssays = run.numReadableAssays( session.user );
+                        def numHiddenAssays = numAssays - numReadableAssays;
+                %>
+                <label># assays</label>: ${numAssays}
+                <g:if test="${numHiddenAssays}">
+                        (${numHiddenAssays}
+                        <a href="#" onClick="alert( '${numHiddenAssays} assay(s) from this run are hidden because you don\'t have the right permissions to view them.' ); return false;">
                         hidden</a>)
                 </g:if>
                 <br />
+                <label># samples</label>: ${run.assaySamples?.size()}
+                <% numHidden = run.assaySamples?.findAll { !it.assay?.study.canRead( session.user ) }.size() ; %>
+                <g:if test="${numHidden}">
+                        (${numHidden}
+                        <a href="#" onClick="alert( '${numHidden} sample(s) from this run are hidden because you don\'t have the right permissions to view them.' ); return false;">
+                <%
+                        def numAssaySamples = run.numAssaySamples();
+                        def numReadableAssaySamples = run.numReadableAssaySamples( session.user );
+                        def numWritableAssaySamples = run.numWritableAssaySamples( session.user );
+                        def numHiddenAssaySamples = numAssaySamples - numReadableAssaySamples;
+                %>
+                <label># samples</label>: ${numAssaySamples}
+                <g:if test="${numHiddenAssaySamples}">
+                        (${numHiddenAssaySamples}
+                        <a href="#" onClick="alert( '${numHiddenAssaySamples} sample(s) from this run are hidden because you don\'t have the right permissions to view them.' ); return false;">
                         hidden</a>)
                 </g:if>
 …
         <!-- Samples -->
         <h2>Samples</h2>
+        <% def assaySamples = run.assaySamples ? run.assaySamples.findAll { it.assay?.study.canRead( session.user ) }.toList().sort { it.sample.name } : []; %>
+        <g:if test="${assaySamples.size() == 0}">
+        <g:if test="${numReadableAssaySamples == 0}">
                 <p>No samples found in run.</p>
         </g:if>
         <g:else>
                 <form id="sampleForm"><input type="hidden" name="runId" value="${run.id}" /></form>
                 <table class="paginate" id="samples">
+                <table class="paginate_serverside" rel="<g:createLink controller="run" action="showSampleData" id="${run.id}" />" id="samples">
                         <thead>
                                 <tr>
 …
                         </thead>
                         <tbody>
+                                <g:each in="${assaySamples}" var="assaySample">
+                                        <tr>
+                                                <td><g:checkBox name="ids" value="${assaySample.id}" checked="${false}" onClick="updateCheckAll(this);" /></td>
+                                                <td><a title="Show sample details" href="#" onClick="showSample(${assaySample.id}, 'run'); return false;">${assaySample.sample.name}</a></td>
+                                                <td>${assaySample.assay.study.name}</td>
+                                                <td>${assaySample.assay.name}</td>
+                                                <td>${assaySample.fwMidName}</td>
+                                                <td>
+                                                        <g:if test="${assaySample.numSequenceFiles() > 0}">
+                                                                <g:formatNumber number="${assaySample.numSequences()}" format="###,###,##0" />
+                                                        </g:if>
+                                                        <g:else>
+                                                                -
+                                                        </g:else>
+                                                </td>
+                                                <td>
+                                                        <g:if test="${assaySample.numQualityFiles() > 0}">
+                                                                <g:formatNumber number="${assaySample.numQualScores()}" format="###,###,##0" />
+                                                        </g:if>
+                                                        <g:else>
+                                                                -
+                                                        </g:else>
+                                                </td>
+                                                <td class="button">
+                                                        <g:if test="${!assaySample.assay.study.canWrite(session.user)}">
+                                                                <img src="${fam.icon(name: 'pencil')}" class="disabled" title="You can't edit this sample because you don't have sufficient privileges." />
+                                                        </g:if>
+                                                        <g:else>
+                                                                <a title="Edit sample" onClick="showEditSampleDialog(${assaySample.id}, 'run', ${run.id});" href="#"><img title="Edit sample" src="${fam.icon(name: 'pencil')}" /></a>
+                                                        </g:else>
+                                                </td>
+                                                <td class="button">
+                                                        <g:if test="${!assaySample.assay.study.canWrite(session.user)}">
+                                                                <img src="${fam.icon(name: 'application_delete')}" class="disabled" title="You can't remove this sample because you don't have sufficient privileges." />
+                                                        </g:if>
+                                                        <g:else>
+                                                                <g:link title="Remove sample from run" onClick="return confirm( 'Are you sure you want to remove the selected sample from this run?' );" controller="run" action="removeSample" id="${run.id}" params="${[assaySampleId: assaySample.id]}" ><img  title="Remove sample from run" src="${fam.icon(name: 'application_delete')}" /></g:link>
+                                                        </g:else>
+                                                </td>
+                                                <td class="button">
+                                                        <g:if test="${assaySample.numSequences() > 0}">
+                                                                <g:link controller="assaySample" action="sequenceLengthHistogram" id="${assaySample.id}" title="Sequence length histogram"><img src="${fam.icon( name: 'chart_bar' )}" alt="Sequence length histogram" title="Sequence length histogram" /></g:link>
+                                                        </g:if>
+                                                        <g:else>
+                                                                <img src="${fam.icon( name: 'chart_bar' )}" class="disabled" alt="No histogram available because no sequences are uploaded." title="No histogram available because no sequences are uploaded." />
+                                                        </g:else>
+                                                </td>
+                                        </tr>
+                                </g:each>
+                                <tr>
+                                        <td colspan="10" class="dataTables_empty">Loading data from server</td>
+                                </tr>
                         </tbody>
                 </table>
 …
         <g:if test="${editable}">
                 <p class="options multiple">
-                        <% def writableAssaySamples = assaySamples.findAll { it.assay.study.canWrite( session.user ) } %>
                         <a class="addAssociation" onClick="showAddSamplesDialog(); return false;" href="#">Add samples</a><br />
                         <g:if test="${writableAssaySamples.size() > 0}">
+                        <g:if test="${numWritableAssaySamples > 0}">
                                 <a class="editAssociation" onClick="showEnterTagsDialog(); return false;" href="#">Edit sample data</a>
                         </g:if>
 …
                         <br />
                         <g:if test="${writableAssaySamples.size() > 0}">
+                        <g:if test="${numWritableAssaySamples > 0}">
                                 <a class="removeAssociation" href="#" onClick="if( confirm( 'Are you sure you want to remove selected samples from this run?' ) ) { submitPaginatedForm( $( '#sampleForm' ), '<g:createLink controller="run" action="removeSamples" />', '#samples', 'Please select one or more samples to remove from this run' ); } return false;">Remove selected samples</a>
                         </g:if>
 …
                 </p>
                 <p class="options multiple">
                         <g:if test="${writableAssaySamples.size() == 0 || !run.assays?.size()}">
+                        <g:if test="${numWritableAssaySamples == 0 || numWritableAssays == 0 }">
                                 <a class="addSequences disabled" onClick="return false;" href="#">Add sequence files</a>
                         </g:if>
 …
                         <br />
                         <g:if test="${writableAssaySamples.size() > 0 && run.numFiles() > 0 }">
+                        <g:if test="${numWritableAssaySamples > 0 && run.numFiles() > 0 }">
                                 <a class="removeSequences" href="#" onClick="if( confirm( 'Are you sure you want to remove all sequence data from this run? Only sequences are removed from samples you have write access to.' ) ) { submitPaginatedForm( $( '#sampleForm' ), '<g:createLink controller="run" action="deleteSequenceData" />', '#samples', 'Please select one or more samples to remove sequences from.' ); } return false;">Delete selected sequences</a>
                         </g:if>
 …
                 <p class="options multiple">
                         <g:if test="${assaySamples.size() > 0}">
+                        <g:if test="${numReadableAssaySamples > 0}">
                                 <a class="fasta" href="#" onClick="submitPaginatedForm( $( '#sampleForm' ), '<g:createLink controller="assaySample" action="exportAsFasta" />', '#samples', 'Please select one or more samples to export' ); return false;">Export as fasta</a><br />
                         </g:if>
 …
                 <div style="clear: both;"></div>
                 <g:if test="${writableAssaySamples.size() > 0}">
+                <g:if test="${numWritableAssaySamples > 0}">
                         <g:render template="enterTagsDialog" model="[run: run, writableAssaySamples: writableAssaySamples]" />
                         <g:render template="addFilesDialog" model="[run: run]" />
 …
         <!-- Runs -->
         <h2>Assays</h2>
         <g:if test="${run.assays == null || run.assays.size() == 0}">
+        <g:if test="${run.assays == null || numReadableAssays == 0}">
                 No assay found for this run
         </g:if>

trunk/web-app/css/datatables/demo_table_jui.css

r26	r59
141	141	margin-left: -125px;
142	142	border: 1px solid #ddd;
	143	background-color: white;
143	144	text-align: center;
144	145	color: #999;

trunk/web-app/css/metagenomics.css

r56	r59
508	508	/* Makes sure the filenames in the dialog don't exceed 200px */
509	509	.dataTables_wrapper .uploadedFile { display: inline-block; zoom: 1; *display: inline; white-space: nowrap; overflow: hidden; text-overflow: ellipsis; width: 190px; height: 15px; }
510		.blok_data { display: inline-block; zoom: 1; *display: inline; width: 400px; vertical-align: top;}
	510	.blok_data { display: inline-block; zoom: 1; *display: inline; width: 400px; vertical-align: top;}
	511
	512	.importProcessedFiles td { vertical-align: middle; }

trunk/web-app/js/paginate.js

-                      r47
+                      r59
+        }
+        // Initialize default pagination
         $( selector + ' .paginate').each(function(idx, el) {
                 var $el = $(el);
 …
                 });
         });
+        // Initialize serverside pagination
+        $( selector + ' .paginate_serverside').each(function(idx, el) {
+                var $el = $(el);
+                // Determine data url from rel attribute
+                var dataUrl = $el.attr('rel');
+                $el.dataTable({
+                        "bProcessing": true,
+                        "bServerSide": true,
+                        "sAjaxSource": dataUrl,
+                        sDom: '<"H"lf>rt<"F"ip>',
+                        bJQueryUI: true,
+                        bAutoWidth: false,
+                        bFilter: false,
+                        bLengthChange: false,
+                        iCookieDuration: 86400,                         // Save cookie one day
+                        sPaginationType: 'full_numbers',
+                        iDisplayLength: 10,                                     // Number of items shown on one page.
+                        aoColumnDefs: [
+                                { "bSortable": false, "aTargets": ["nonsortable"] }     // Disable sorting on all columns with th.nonsortable
+                        ],
+                        // Override the fnServerData in order to show/hide the paginated
+                        // buttons if data is loaded
+                        "fnServerData": function ( sSource, aoData, fnCallback ) {
+                                $.ajax( {
+                                        "dataType": 'json',
+                                        "type": "POST",
+                                        "url": sSource,
+                                        "data": aoData,
+                                        "success": function( data, textStatus, jqXHR ) {
+                                                fnCallback( data, textStatus, jqXHR );
+                                                showHidePaginatedButtonsForTableWrapper( $el.parent() );
+                                        }
+                                } );
+                        }
+                });
+        });
+        // Show hide paginated buttons
+        showHidePaginatedButtons( selector );
+}
+function showHidePaginatedButtons( selector ) {
         // Remove the top bar of the datatable and hide pagination with only one page
         $( selector + " .dataTables_wrapper").each(function(idx, el) {
                 var $el = $(el);
+                showHidePaginatedButtonsForTableWrapper( $el )
+        });
+}
+function showHidePaginatedButtonsForTableWrapper( el ) {
+        // Hide pagination if only one page is present (that is: if no buttons can be clicked)
+        if(el.find('span span.ui-state-default:not(.ui-state-disabled)').size() == 0 ){
+                el.find('div.fg-toolbar').css( 'display', 'none' );
+        } else {
+                el.find('div.fg-toolbar').css( 'display', 'block' );
+                el.find( 'div.ui-toolbar' ).first().hide();
+                // Hide pagination if only one page is present (that is: if no buttons can be clicked)
+                if($el.find('span span.ui-state-default:not(.ui-state-disabled)').size() == 0 ){
+                        $el.find('div.fg-toolbar').css( 'display', 'none' );
+                } else {
+                        $el.find('div.fg-toolbar').css( 'display', 'block' );
+                        $el.find( 'div.ui-toolbar' ).first().hide();
+                        // Check whether a h1, h2 or h3 is present above the table, and move it into the table
+                        /*
+                        var $previousElement = $el.prev();
+                        if( $previousElement != undefined && $previousElement.get(0) != undefined ) {
+                                var tagName = $previousElement.get(0).tagName.toLowerCase();
+                                if( tagName == "h1" || tagName == "h2" || tagName == "h3" ) {
+                                        // Put the margin that was on the title onto the table
+                                        $el.css( "margin-top", $previousElement.css( "margin-top" ) );
+                                        $previousElement.css( "margin-top", '4px' );
+                                        $previousElement.css( "marginBottom", '4px' );
+                // Check whether a h1, h2 or h3 is present above the table, and move it into the table
+                /*
+                var $previousElement = $el.prev();
+                if( $previousElement != undefined && $previousElement.get(0) != undefined ) {
+                        var tagName = $previousElement.get(0).tagName.toLowerCase();
+                        if( tagName == "h1" || tagName == "h2" || tagName == "h3" ) {
+                                // Put the margin that was on the title onto the table
+                                $el.css( "margin-top", $previousElement.css( "margin-top" ) );
+                                $previousElement.css( "margin-top", '4px' );
+                                $previousElement.css( "marginBottom", '4px' );
+                                        // If so, move the element into the table
+                                        $previousElement.remove();
+                                        $el.find( 'div.ui-toolbar' ).first().append( $previousElement );
+                                }
+                                // If so, move the element into the table
+                                $previousElement.remove();
+                                $el.find( 'div.ui-toolbar' ).first().append( $previousElement );
+                        }
-                        */
+                }
+        });
+                */
+        }
+}

Context Navigation

Legend:

trunk/grails-app/conf/Config.groovy

trunk/grails-app/controllers/masssequencing/SandboxController.groovy

trunk/grails-app/controllers/nl/tno/massSequencing/AssayController.groovy

trunk/grails-app/controllers/nl/tno/massSequencing/AssaySampleController.groovy

trunk/grails-app/controllers/nl/tno/massSequencing/RunController.groovy

trunk/grails-app/controllers/nl/tno/massSequencing/StudyController.groovy

trunk/grails-app/controllers/nl/tno/massSequencing/files/ImportController.groovy

trunk/grails-app/domain/nl/tno/massSequencing/AssaySample.groovy

trunk/grails-app/domain/nl/tno/massSequencing/Run.groovy

trunk/grails-app/domain/nl/tno/massSequencing/Sequence.groovy

trunk/grails-app/domain/nl/tno/massSequencing/SequenceData.groovy

trunk/grails-app/domain/nl/tno/massSequencing/classification/Classification.groovy

trunk/grails-app/domain/nl/tno/massSequencing/classification/Taxon.groovy

trunk/grails-app/services/nl/tno/massSequencing/ClassificationService.groovy

trunk/grails-app/services/nl/tno/massSequencing/FastaService.groovy

trunk/grails-app/views/assay/_addFilesDialog.gsp

trunk/grails-app/views/assay/index.gsp

trunk/grails-app/views/assay/show.gsp

trunk/grails-app/views/assaySample/sequenceLengthHistogram.gsp

trunk/grails-app/views/import/parseUploadResult.gsp

trunk/grails-app/views/import/showProcessScreen.gsp

trunk/grails-app/views/layouts/main.gsp

trunk/grails-app/views/run/_addFilesDialog.gsp

trunk/grails-app/views/run/index.gsp

trunk/grails-app/views/run/show.gsp

trunk/web-app/css/datatables/demo_table_jui.css

trunk/web-app/css/metagenomics.css

trunk/web-app/js/paginate.js

Download in other formats: