Improved multi-folder search performance on sort order change or list page ...

Aleksander Machniak

2015-09-11 fef8537adbf12d200eca51d7d27fe597a43ebeda

Improved multi-folder search performance on sort order change or list page change
by proper index serialization and skipped redundant sorting

 program/lib/Roundcube/rcube_imap.php

@@ -995,7 +995,7 @@
            $slice_length = min($page_size, $cnt - $from);

            // fetch resultset headers, sort and slice them
            if (!empty($sort_field)) {
            if (!empty($sort_field) && $search_set->get_parameters('SORT') != $sort_field) {
                $this->sort_field = null;
                $this->page_size = 1000;  // fetch up to 1000 matching messages per folder
                $this->threading = false;
@@ -1005,13 +1005,16 @@
                    if (!$resultset->is_empty()) {
                        $this->search_set = $resultset;
                        $this->search_threads = $resultset instanceof rcube_result_thread;
                        $a_msg_headers = array_merge($a_msg_headers, $this->list_search_messages($resultset->get_parameters('MAILBOX'), 1));

                        $a_headers     =  $this->list_search_messages($resultset->get_parameters('MAILBOX'), 1);
                        $a_msg_headers = array_merge($a_msg_headers, $a_headers);
                        unset($a_headers);
                    }
                }

                // sort headers
                if (!empty($a_msg_headers)) {
                    $a_msg_headers = $this->conn->sortHeaders($a_msg_headers, $sort_field, $this->sort_order);
                    $a_msg_headers = rcube_imap_generic::sortHeaders($a_msg_headers, $sort_field, $this->sort_order);
                }

                // store (sorted) message index
@@ -1139,12 +1142,8 @@
                return array();
            }

            if (!$this->check_connection()) {
                return array();
            }

            // if not already sorted
            $a_msg_headers = $this->conn->sortHeaders(
            $a_msg_headers = rcube_imap_generic::sortHeaders(
                $a_msg_headers, $this->sort_field, $this->sort_order);

            // only return the requested part of the set

 program/lib/Roundcube/rcube_result_index.php

@@ -40,9 +40,10 @@
    /**
     * Object constructor.
     */
    public function __construct($mailbox = null, $data = null)
    public function __construct($mailbox = null, $data = null, $order = null)
    {
        $this->mailbox = $mailbox;
        $this->order   = $order == 'DESC' ? 'DESC' : 'ASC';
        $this->init($data);
    }


 program/lib/Roundcube/rcube_result_multifolder.php

@@ -34,6 +34,7 @@
    protected $meta    = array();
    protected $index   = array();
    protected $folders = array();
    protected $sdata   = array();
    protected $order   = 'ASC';
    protected $sorting;

@@ -139,18 +140,13 @@
    public function revert()
    {
        $this->order = $this->order == 'ASC' ? 'DESC' : 'ASC';
        $this->index = array();
        $this->index = array_reverse($this->index);

        // revert order in all sub-sets
        foreach ($this->sets as $set) {
            if ($this->order != $set->get_parameters('ORDER')) {
                $set->revert();
            }

            $folder = $set->get_parameters('MAILBOX');
            $index  = array_map(function($uid) use ($folder) { return $uid . '-' . $folder; }, $set->get());

            $this->index = array_merge($this->index, $index);
        }
    }

@@ -193,9 +189,8 @@
    /**
     * Slices data set.
     *
     * @param $offset Offset (as for PHP's array_slice())
     * @param $length Number of elements (as for PHP's array_slice())
     *
     * @param int $offset Offset (as for PHP's array_slice())
     * @param int $length Number of elements (as for PHP's array_slice())
     */
    public function slice($offset, $length)
    {
@@ -226,9 +221,9 @@
    }

    /**
     * Return all messages in the result.
     * Return all messages in the result in compressed form
     *
     * @return array List of message IDs
     * @return string List of message IDs in compressed form
     */
    public function get_compressed()
    {
@@ -278,7 +273,8 @@
     * Returns the stored result object for a particular folder
     *
     * @param string $folder  Folder name
     * @return false|obejct rcube_result_* instance of false if none found
     *
     * @return false|object rcube_result_* instance of false if none found
     */
    public function get_set($folder)
    {
@@ -306,21 +302,47 @@

    public function __sleep()
    {
        return array('sets','folders','sorting','order');
        $this->sdata = array('incomplete' => array(), 'error' => array());

        foreach ($this->sets as $set) {
            if ($set->incomplete) {
                $this->sdata['incomplete'][] = $set->get_parameters('MAILBOX');
            }
            else if ($set->is_error()) {
                $this->sdata['error'][] = $set->get_parameters('MAILBOX');
            }
        }

        return array('sdata', 'index', 'folders', 'sorting', 'order');
    }

    public function __wakeup()
    {
        // restore index from saved result sets
        $this->meta = array('count' => 0);
        $this->meta       = array('count' => count($this->index));
        $this->incomplete = count($this->sdata['incomplete']) > 0;

        foreach ($this->sets as $result) {
            if ($result->count()) {
                $this->append_result($result);
        // restore result sets from saved index
        $data = array();
        foreach ($this->index as $item) {
            list($uid, $folder) = explode('-', $item, 2);
            $data[$folder] .= ' ' . $uid;
            }
            else if ($result->incomplete) {
                $this->incomplete = true;

        foreach ($this->folders as $folder) {
            if (in_array($folder, $this->sdata['error'])) {
                $data_str = null;
            }
            else {
                $data_str = '* SORT' . $data[$folder];
            }

            $set = new rcube_result_index($folder, $data_str, strtoupper($this->order));

            if (in_array($folder, $this->sdata['incomplete'])) {
                $set->incomplete = true;
            }

            $this->sets[] = $set;
        }
    }
}