- Performance improvements by use UID commands (#1485690)

alecpl

2009-07-11 40dfeaddf8ae05604f803b55f9f5c69c04a764a6

 program/include/rcube_imap.php

@@ -26,6 +26,7 @@
 */
require_once('lib/imap.inc');
require_once('lib/mime.inc');
require_once('lib/tnef_decoder.inc');


/**
@@ -52,8 +53,10 @@
  var $delimiter = NULL;
  var $caching_enabled = FALSE;
  var $default_charset = 'ISO-8859-1';
  var $struct_charset = NULL;
  var $default_folders = array('INBOX');
  var $default_folders_lc = array('inbox');
  var $fetch_add_headers = '';
  var $cache = array();
  var $cache_keys = array();  
  var $cache_changes = array();
@@ -96,7 +99,7 @@
    global $ICL_SSL, $ICL_PORT, $IMAP_USE_INTERNAL_DATE;
    
    // check for Open-SSL support in PHP build
    if ($use_ssl && in_array('openssl', get_loaded_extensions()))
    if ($use_ssl && extension_loaded('openssl'))
      $ICL_SSL = $use_ssl == 'imaps' ? 'ssl' : $use_ssl;
    else if ($use_ssl)
      {
@@ -115,7 +118,7 @@
    $this->port = $port;
    $this->ssl = $use_ssl;
    
    // print trace mesages
    // print trace messages
    if ($this->conn && ($this->debug_level & 8))
      console($this->conn->message);
    
@@ -136,7 +139,7 @@
      if (!empty($this->conn->rootdir))
        {
        $this->set_rootdir($this->conn->rootdir);
        $this->root_ns = ereg_replace('[\.\/]$', '', $this->conn->rootdir);
        $this->root_ns = preg_replace('/[.\/]$/', '', $this->conn->rootdir);
        }
      }

@@ -192,7 +195,7 @@
   */
  function set_rootdir($root)
    {
    if (ereg('[\.\/]$', $root)) //(substr($root, -1, 1)==='/')
    if (preg_match('/[.\/]$/', $root)) //(substr($root, -1, 1)==='/')
      $root = substr($root, 0, -1);

    $this->root_dir = $root;
@@ -251,7 +254,7 @@
   */
  function set_mailbox($new_mbox)
    {
    $mailbox = $this->_mod_mailbox($new_mbox);
    $mailbox = $this->mod_mailbox($new_mbox);

    if ($this->mailbox == $mailbox)
      return;
@@ -300,7 +303,7 @@
    if (is_array($str) && $msgs == null)
      list($str, $msgs, $charset, $sort_field) = $str;
    if ($msgs != null && !is_array($msgs))
      $msgs = split(',', $msgs);
      $msgs = explode(',', $msgs);
      
    $this->search_string = $str;
    $this->search_set = $msgs;
@@ -327,7 +330,7 @@
   */
  function get_mailbox_name()
    {
    return $this->conn ? $this->_mod_mailbox($this->mailbox, 'out') : '';
    return $this->conn ? $this->mod_mailbox($this->mailbox, 'out') : '';
    }


@@ -395,7 +398,7 @@

    foreach ($a_mboxes as $mbox_row)
      {
      $name = $this->_mod_mailbox($mbox_row, 'out');
      $name = $this->mod_mailbox($mbox_row, 'out');
      if (strlen($name))
        $a_out[] = $name;
      }
@@ -418,7 +421,7 @@
   * @see     rcube_imap::list_mailboxes()
   * @access  private
   */
  function _list_mailboxes($root='', $filter='*')
  private function _list_mailboxes($root='', $filter='*')
    {
    $a_defaults = $a_out = array();
    
@@ -427,8 +430,16 @@
    if (is_array($a_mboxes))
      return $a_mboxes;

    // retrieve list of folders from IMAP server
    $a_folders = iil_C_ListSubscribed($this->conn, $this->_mod_mailbox($root), $filter);
    // Give plugins a chance to provide a list of mailboxes
    $data = rcmail::get_instance()->plugins->exec_hook('list_mailboxes',array('root'=>$root,'filter'=>$filter));
    if (isset($data['folders'])) {
        $a_folders = $data['folders'];
    }
    else{
        // retrieve list of folders from IMAP server
        $a_folders = iil_C_ListSubscribed($this->conn, $this->mod_mailbox($root), $filter);
    }

    
    if (!is_array($a_folders) || !sizeof($a_folders))
      $a_folders = array();
@@ -451,7 +462,7 @@
   */
  function messagecount($mbox_name='', $mode='ALL', $force=FALSE)
    {
    $mailbox = $mbox_name ? $this->_mod_mailbox($mbox_name) : $this->mailbox;
    $mailbox = $mbox_name ? $this->mod_mailbox($mbox_name) : $this->mailbox;
    return $this->_messagecount($mailbox, $mode, $force);
    }

@@ -462,7 +473,7 @@
   * @access  private
   * @see     rcube_imap::messagecount()
   */
  function _messagecount($mailbox='', $mode='ALL', $force=FALSE)
  private function _messagecount($mailbox='', $mode='ALL', $force=FALSE)
    {
    $a_mailbox_cache = FALSE;
    $mode = strtoupper($mode);
@@ -495,14 +506,8 @@

      // get message count using SEARCH
      // not very performant but more precise (using UNDELETED)
      $count = 0;
      $index = $this->_search_index($mailbox, $search_str);
      if (is_array($index))
        {
        $str = implode(",", $index);
        if (!empty($str))
          $count = count($index);
        }
      $count = is_array($index) ? count($index) : 0;
      }
    else
      {
@@ -532,13 +537,14 @@
   * @param   int      Current page to list
   * @param   string   Header field to sort by
   * @param   string   Sort order [ASC|DESC]
   * @param   boolean  Number of slice items to extract from result array
   * @return  array    Indexed array with message header objects
   * @access  public   
   */
  function list_headers($mbox_name='', $page=NULL, $sort_field=NULL, $sort_order=NULL)
  function list_headers($mbox_name='', $page=NULL, $sort_field=NULL, $sort_order=NULL, $slice=0)
    {
    $mailbox = $mbox_name ? $this->_mod_mailbox($mbox_name) : $this->mailbox;
    return $this->_list_headers($mailbox, $page, $sort_field, $sort_order);
    $mailbox = $mbox_name ? $this->mod_mailbox($mbox_name) : $this->mailbox;
    return $this->_list_headers($mailbox, $page, $sort_field, $sort_order, false, $slice);
    }


@@ -548,7 +554,7 @@
   * @access  private
   * @see     rcube_imap::list_headers
   */
  function _list_headers($mailbox='', $page=NULL, $sort_field=NULL, $sort_order=NULL, $recursive=FALSE)
  private function _list_headers($mailbox='', $page=NULL, $sort_field=NULL, $sort_order=NULL, $recursive=FALSE, $slice=0)
    {
    if (!strlen($mailbox))
      return array();
@@ -559,24 +565,16 @@

    $this->_set_sort_order($sort_field, $sort_order);

    $max = $this->_messagecount($mailbox);
    $start_msg = ($this->list_page-1) * $this->page_size;

    list($begin, $end) = $this->_get_message_range($max, $page);

    // mailbox is empty
    if ($begin >= $end)
      return array();
      
    $headers_sorted = FALSE;
    $page = $page ? $page : $this->list_page;
    $cache_key = $mailbox.'.msg';
    $cache_status = $this->check_cache_status($mailbox, $cache_key);

    // cache is OK, we can get all messages from local cache
    if ($cache_status>0)
      {
      $start_msg = ($page-1) * $this->page_size;
      $a_msg_headers = $this->get_message_cache($cache_key, $start_msg, $start_msg+$this->page_size, $this->sort_field, $this->sort_order);
      $headers_sorted = TRUE;
      return array_values($a_msg_headers);
      }
    // cache is dirty, sync it
    else if ($this->caching_enabled && $cache_status==-1 && !$recursive)
@@ -584,49 +582,60 @@
      $this->sync_header_index($mailbox);
      return $this->_list_headers($mailbox, $page, $this->sort_field, $this->sort_order, TRUE);
      }

    // retrieve headers from IMAP
    $a_msg_headers = array();

    if ($this->get_capability('sort') && ($msg_index = iil_C_Sort($this->conn, $mailbox, $this->sort_field, $this->skip_deleted ? 'UNDELETED' : '')))
      {
      list($begin, $end) = $this->_get_message_range(count($msg_index), $page);
      $max = max($msg_index);
      $msg_index = array_slice($msg_index, $begin, $end-$begin);

      if ($slice)
        $msg_index = array_slice($msg_index, ($this->sort_order == 'DESC' ? 0 : -$slice), $slice);

      // fetch reqested headers from server
      $this->_fetch_headers($mailbox, join(',', $msg_index), $a_msg_headers, $cache_key);
      }
    else
      {
      // retrieve headers from IMAP
      if ($this->get_capability('sort') && ($msg_index = iil_C_Sort($this->conn, $mailbox, $this->sort_field, $this->skip_deleted ? 'UNDELETED' : '')))
        {
        $mymsgidx = array_slice ($msg_index, $begin, $end-$begin);
        $msgs = join(",", $mymsgidx);
        }
      else
        {
        $msgs = sprintf("%d:%d", $begin+1, $end);
        $msg_index = range($begin, $end);
        }
      $a_index = iil_C_FetchHeaderIndex($this->conn, $mailbox, "1:*", $this->sort_field, $this->skip_deleted);
    
      if (empty($a_index))
        return array();

      asort($a_index); // ASC
      $msg_index = array_keys($a_index);
      $max = max($msg_index);
      list($begin, $end) = $this->_get_message_range(count($msg_index), $page);
      $msg_index = array_slice($msg_index, $begin, $end-$begin);

      // fetch reuested headers from server
      $a_msg_headers = array();
      $deleted_count = $this->_fetch_headers($mailbox, $msgs, $a_msg_headers, $cache_key);
      if ($slice)
        $msg_index = array_slice($msg_index, ($this->sort_order == 'DESC' ? 0 : -$slice), $slice);

      // delete cached messages with a higher index than $max+1
      // Changed $max to $max+1 to fix this bug : #1484295
      $this->clear_message_cache($cache_key, $max + 1);

      // kick child process to sync cache
      // ...
      // fetch reqested headers from server
      $this->_fetch_headers($mailbox, join(",", $msg_index), $a_msg_headers, $cache_key);
      }

    // delete cached messages with a higher index than $max+1
    // Changed $max to $max+1 to fix this bug : #1484295
    $this->clear_message_cache($cache_key, $max + 1);

    // kick child process to sync cache
    // ...

    // return empty array if no messages found
    if (!is_array($a_msg_headers) || empty($a_msg_headers)) {
    if (!is_array($a_msg_headers) || empty($a_msg_headers))
      return array();
    }
    
    // use this class for message sorting
    $sorter = new rcube_header_sorter();
    $sorter->set_sequence_numbers($msg_index);
    $sorter->sort_headers($a_msg_headers);

    // if not already sorted
    if (!$headers_sorted)
      {
      // use this class for message sorting
      $sorter = new rcube_header_sorter();
      $sorter->set_sequence_numbers($msg_index);
      $sorter->sort_headers($a_msg_headers);

      if ($this->sort_order == 'DESC')
        $a_msg_headers = array_reverse($a_msg_headers);
      }
    if ($this->sort_order == 'DESC')
      $a_msg_headers = array_reverse($a_msg_headers);	    

    return array_values($a_msg_headers);
    }
@@ -643,14 +652,15 @@
   * @access  private
   * @see     rcube_imap::list_header_set()
   */
  function _list_header_set($mailbox, $page=NULL, $sort_field=NULL, $sort_order=NULL)
  private function _list_header_set($mailbox, $page=NULL, $sort_field=NULL, $sort_order=NULL)
    {
    if (!strlen($mailbox) || empty($this->search_set))
      return array();

    $msgs = $this->search_set;
    $a_msg_headers = array();
    $start_msg = ($this->list_page-1) * $this->page_size;
    $page = $page ? $page : $this->list_page;
    $start_msg = ($page-1) * $this->page_size;

    $this->_set_sort_order($sort_field, $sort_order);

@@ -728,9 +738,9 @@
   * @return array   array with two values: first index, last index
   * @access private
   */
  function _get_message_range($max, $page)
  private function _get_message_range($max, $page)
    {
    $start_msg = ($this->list_page-1) * $this->page_size;
    $start_msg = ($page-1) * $this->page_size;
    
    if ($page=='all')
      {
@@ -755,7 +765,6 @@
    return array($begin, $end);
    }
    
    

  /**
   * Fetches message headers
@@ -765,41 +774,41 @@
   * @param  string  Message index to fetch
   * @param  array   Reference to message headers array
   * @param  array   Array with cache index
   * @return int     Number of deleted messages
   * @return int     Messages count
   * @access private
   */
  function _fetch_headers($mailbox, $msgs, &$a_msg_headers, $cache_key)
  private function _fetch_headers($mailbox, $msgs, &$a_msg_headers, $cache_key)
    {
    // cache is incomplete
    $cache_index = $this->get_message_cache_index($cache_key);
    
    // fetch reuested headers from server
    $a_header_index = iil_C_FetchHeaders($this->conn, $mailbox, $msgs);
    $deleted_count = 0;
    
    // fetch reqested headers from server
    $a_header_index = iil_C_FetchHeaders($this->conn, $mailbox, $msgs, false, false, $this->fetch_add_headers);

    if (!empty($a_header_index))
      {
      // cache is incomplete
      $cache_index = $this->get_message_cache_index($cache_key);
    
      foreach ($a_header_index as $i => $headers)
        {
        { 
/*
        if ($headers->deleted && $this->skip_deleted)
          {
          // delete from cache
          if ($cache_index[$headers->id] && $cache_index[$headers->id] == $headers->uid)
            $this->remove_message_cache($cache_key, $headers->id);
            $this->remove_message_cache($cache_key, $headers->uid);

          $deleted_count++;
          continue;
          }

*/
        // add message to cache
        if ($this->caching_enabled && $cache_index[$headers->id] != $headers->uid)
          $this->add_message_cache($cache_key, $headers->id, $headers);
          $this->add_message_cache($cache_key, $headers->id, $headers, NULL,
      !in_array((string)$headers->uid, $cache_index, true));

        $a_msg_headers[$headers->uid] = $headers;
        }
      }
        
    return $deleted_count;

    return count($a_msg_headers);
    }
    
  
@@ -815,7 +824,7 @@
    {
    $this->_set_sort_order($sort_field, $sort_order);

    $mailbox = $mbox_name ? $this->_mod_mailbox($mbox_name) : $this->mailbox;
    $mailbox = $mbox_name ? $this->mod_mailbox($mbox_name) : $this->mailbox;
    $key = "{$mailbox}:{$this->sort_field}:{$this->sort_order}:{$this->search_string}.msgi";

    // we have a saved search result. get index from there
@@ -828,14 +837,14 @@
        if ($this->sort_field && $this->search_sort_field != $this->sort_field)
          $this->search('', $this->search_string, $this->search_charset, $this->sort_field);

   if ($this->sort_order == 'DESC')
        if ($this->sort_order == 'DESC')
          $this->cache[$key] = array_reverse($this->search_set);
   else
     $this->cache[$key] = $this->search_set;
        else
          $this->cache[$key] = $this->search_set;
        }
      else
        {
   $a_index = iil_C_FetchHeaderIndex($this->conn, $mailbox, join(',', $this->search_set), $this->sort_field);
        $a_index = iil_C_FetchHeaderIndex($this->conn, $mailbox, join(',', $this->search_set), $this->sort_field, $this->skip_deleted);

        if ($this->sort_order=="ASC")
          asort($a_index);
@@ -862,8 +871,7 @@
      }

    // fetch complete message index
    $msg_count = $this->_messagecount($mailbox);
    if ($this->get_capability('sort') && ($a_index = iil_C_Sort($this->conn, $mailbox, $this->sort_field, '')))
    if ($this->get_capability('sort') && ($a_index = iil_C_Sort($this->conn, $mailbox, $this->sort_field, $this->skip_deleted ? 'UNDELETED' : '')))
      {
      if ($this->sort_order == 'DESC')
        $a_index = array_reverse($a_index);
@@ -872,7 +880,7 @@
      }
    else
      {
      $a_index = iil_C_FetchHeaderIndex($this->conn, $mailbox, "1:$msg_count", $this->sort_field);
      $a_index = iil_C_FetchHeaderIndex($this->conn, $mailbox, "1:*", $this->sort_field, $this->skip_deleted);

      if ($this->sort_order=="ASC")
        asort($a_index);
@@ -893,10 +901,12 @@
    {
    $cache_key = $mailbox.'.msg';
    $cache_index = $this->get_message_cache_index($cache_key);
    $msg_count = $this->_messagecount($mailbox);

    // fetch complete message index
    $a_message_index = iil_C_FetchHeaderIndex($this->conn, $mailbox, "1:$msg_count", 'UID');
    $a_message_index = iil_C_FetchHeaderIndex($this->conn, $mailbox, "1:*", 'UID', $this->skip_deleted);
    
    if ($a_message_index === false)
      return false;
        
    foreach ($a_message_index as $id => $uid)
      {
@@ -910,27 +920,32 @@
      // message in cache but in wrong position
      if (in_array((string)$uid, $cache_index, TRUE))
        {
        unset($cache_index[$id]);        
        unset($cache_index[$id]);
        }
      
      // other message at this position
      if (isset($cache_index[$id]))
        {
        $this->remove_message_cache($cache_key, $id);
   $for_remove[] = $cache_index[$id];
        unset($cache_index[$id]);
        }
        

      // fetch complete headers and add to cache
      $headers = iil_C_FetchHeader($this->conn, $mailbox, $id);
      $this->add_message_cache($cache_key, $headers->id, $headers);
   $for_update[] = $id;
      }

    // those ids that are still in cache_index have been deleted      
    // clear messages at wrong positions and those deleted that are still in cache_index      
    if (!empty($for_remove))
      $cache_index = array_merge($cache_index, $for_remove);
    
    if (!empty($cache_index))
      {
      foreach ($cache_index as $id => $uid)
        $this->remove_message_cache($cache_key, $id);
      $this->remove_message_cache($cache_key, $cache_index);

    // fetch complete headers and add to cache
    if (!empty($for_update)) {
      if ($headers = iil_C_FetchHeader($this->conn, $mailbox, join(',', $for_update), false, $this->fetch_add_headers))
        foreach ($headers as $header)
          $this->add_message_cache($cache_key, $header->id, $header, NULL,
      in_array((string)$header->uid, (array)$for_remove, true));
      }
    }

@@ -950,15 +965,15 @@
    if (!$str)
      return false;
    
    $mailbox = $mbox_name ? $this->_mod_mailbox($mbox_name) : $this->mailbox;
    $mailbox = $mbox_name ? $this->mod_mailbox($mbox_name) : $this->mailbox;

    $results = $this->_search_index($mailbox, $str, $charset, $sort_field);

    // try search with ISO charset (should be supported by server)
    // try search with US-ASCII charset (should be supported by server)
    // only if UTF-8 search is not supported
    if (empty($results) && !is_array($results) && !empty($charset) && $charset!='ISO-8859-1')
    if (empty($results) && !is_array($results) && !empty($charset) && $charset != 'US-ASCII')
      {
   // convert strings to ISO-8859-1
   // convert strings to US_ASCII
        if(preg_match_all('/\{([0-9]+)\}\r\n/', $str, $matches, PREG_OFFSET_CAPTURE))
     {
     $last = 0; $res = '';
@@ -966,7 +981,8 @@
       {
       $string_offset = $m[1] + strlen($m[0]) + 4; // {}\r\n
       $string = substr($str, $string_offset - 1, $m[0]);
       $string = rcube_charset_convert($string, $charset, 'ISO-8859-1');
       $string = rcube_charset_convert($string, $charset, 'US-ASCII');
       if (!$string) continue;
       $res .= sprintf("%s{%d}\r\n%s", substr($str, $last, $m[1] - $last - 1), strlen($string), $string);
       $last = $m[0] + $string_offset - 1;
       }
@@ -976,7 +992,7 @@
   else // strings for conversion not found
     $res = $str;
     
   $results = $this->search($mbox_name, $res, 'ISO-8859-1', $sort_field);
   $results = $this->search($mbox_name, $res, NULL, $sort_field);
      }

    $this->set_search_set($str, $results, $charset, $sort_field);
@@ -992,8 +1008,13 @@
   * @access private
   * @see rcube_imap::search()
   */
  function _search_index($mailbox, $criteria='ALL', $charset=NULL, $sort_field=NULL)
  private function _search_index($mailbox, $criteria='ALL', $charset=NULL, $sort_field=NULL)
    {
    $orig_criteria = $criteria;

    if ($this->skip_deleted && !preg_match('/UNDELETED/', $criteria))
      $criteria = 'UNDELETED '.$criteria;

    if ($sort_field && $this->get_capability('sort'))
      {
      $charset = $charset ? $charset : $this->default_charset;
@@ -1009,6 +1030,11 @@
        if (empty($val))
          unset($a_messages[$i]);
      }
    
    // update messagecount cache ?
//    $a_mailbox_cache = get_cache('messagecount');
//    $a_mailbox_cache[$mailbox][$criteria] = sizeof($a_messages);
//    $this->update_cache('messagecount', $a_mailbox_cache);
        
    return $a_messages;
    }
@@ -1053,14 +1079,14 @@
   */
  function get_headers($id, $mbox_name=NULL, $is_uid=TRUE, $bodystr=FALSE)
    {
    $mailbox = $mbox_name ? $this->_mod_mailbox($mbox_name) : $this->mailbox;
    $mailbox = $mbox_name ? $this->mod_mailbox($mbox_name) : $this->mailbox;
    $uid = $is_uid ? $id : $this->_id2uid($id);

    // get cached headers
    if ($uid && ($headers = &$this->get_cached_message($mailbox.'.msg', $uid)))
      return $headers;

    $headers = iil_C_FetchHeader($this->conn, $mailbox, $id, $is_uid, $bodystr);
    $headers = iil_C_FetchHeader($this->conn, $mailbox, $id, $is_uid, $bodystr, $this->fetch_add_headers);

    // write headers cache
    if ($headers)
@@ -1068,7 +1094,7 @@
      if ($headers->uid && $headers->id)
        $this->uid_id_map[$mailbox][$headers->uid] = $headers->id;

      $this->add_message_cache($mailbox.'.msg', $headers->id, $headers);
      $this->add_message_cache($mailbox.'.msg', $headers->id, $headers, NULL, true);
      }

    return $headers;
@@ -1086,29 +1112,30 @@
  function &get_structure($uid, $structure_str='')
    {
    $cache_key = $this->mailbox.'.msg';
    $headers = &$this->get_cached_message($cache_key, $uid, true);
    $headers = &$this->get_cached_message($cache_key, $uid);

    // return cached message structure
    if (is_object($headers) && is_object($headers->structure)) {
      return $headers->structure;
    }

    // resolve message sequence number
    if (!($msg_id = $this->_uid2id($uid))) {
      return FALSE;
    }

    if (!$structure_str)
      $structure_str = iil_C_FetchStructureString($this->conn, $this->mailbox, $msg_id);
      $structure_str = iil_C_FetchStructureString($this->conn, $this->mailbox, $uid, true);
    $structure = iml_GetRawStructureArray($structure_str);
    $struct = false;

    // parse structure and add headers
    if (!empty($structure))
      {
      $this->_msg_id = $msg_id;
      $headers = $this->get_headers($uid);
      
      $this->_msg_id = $headers->id;

      // set message charset from message headers
      if ($headers->charset)
        $this->struct_charset = $headers->charset;
      else
        $this->struct_charset = $this->_structure_charset($structure);

      $struct = &$this->_structure_part($structure);
      $struct->headers = get_object_vars($headers);

@@ -1138,7 +1165,7 @@
    {
    $struct = new rcube_message_part;
    $struct->mime_id = empty($parent) ? (string)$count : "$parent.$count";
    

    // multipart
    if (is_array($part[0]))
      {
@@ -1160,18 +1187,19 @@
     // fetch message headers if message/rfc822 or named part (could contain Content-Location header)
     if (strtolower($part[$i][0]) == 'message' ||
       (in_array('name', (array)$part[$i][2]) && (empty($part[$i][3]) || $part[$i][3]=='NIL'))) {
       $part_headers[] = $struct->mime_id ? $struct->mime_id.'.'.$i+1 : $i+1;
       $part_headers[] = $struct->mime_id ? $struct->mime_id.'.'.($i+1) : $i+1;
       }
    

      // pre-fetch headers of all parts (in one command for better performance)
      if ($part_headers)
        $part_headers = iil_C_FetchMIMEHeaders($this->conn, $this->mailbox, $this->_msg_id, $part_headers);

      $struct->parts = array();
      for ($i=0, $count=0; $i<count($part); $i++)
        if (is_array($part[$i]) && count($part[$i]) > 3)
        if (is_array($part[$i]) && count($part[$i]) > 3) {
          $struct->parts[] = $this->_structure_part($part[$i], ++$count, $struct->mime_id,
      $part_headers[$struct->mime_id ? $struck->mime_id.'.'.$i+1 : $i+1]);
      $part_headers[$struct->mime_id ? $struct->mime_id.'.'.($i+1) : $i+1]);
   }

      return $struct;
      }
@@ -1238,7 +1266,7 @@
    // fetch message headers if message/rfc822 or named part (could contain Content-Location header)
    if ($struct->ctype_primary == 'message' || ($struct->ctype_parameters['name'] && !$struct->content_id)) {
      if (empty($raw_headers))
        $raw_headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, $struct->mime_id);
        $raw_headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, false, $struct->mime_id);
      $struct->headers = $this->_parse_headers($raw_headers) + $struct->headers;
    }

@@ -1248,7 +1276,7 @@
    }

    // normalize filename property
    $this->_set_part_filename($struct);
    $this->_set_part_filename($struct, $raw_headers);

    return $struct;
    }
@@ -1259,8 +1287,9 @@
   *
   * @access private
   * @param  object rcube_message_part Part object
   * @param  string Part's raw headers
   */
  function _set_part_filename(&$part)
  private function _set_part_filename(&$part, $headers=null)
    {
    if (!empty($part->d_parameters['filename']))
      $filename_mime = $part->d_parameters['filename'];
@@ -1278,10 +1307,9 @@
      }
      // some servers (eg. dovecot-1.x) have no support for parameter value continuations
      // we must fetch and parse headers "manually"
      //TODO: fetching headers for a second time is not effecient, this code should be moved somewhere earlier --tensor
      if ($i<2) {
        // TODO: fetch only Content-Type/Content-Disposition header
        $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, $part->mime_id);
   if (!$headers)
          $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, false, $part->mime_id);
        $filename_mime = '';
        $i = 0;
        while (preg_match('/filename\*'.$i.'\s*=\s*"*([^"\n;]+)[";]*/', $headers, $matches)) {
@@ -1297,7 +1325,8 @@
        $i++;
      }
      if ($i<2) {
        $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, $part->mime_id);
   if (!$headers)
          $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, false, $part->mime_id);
        $filename_encoded = '';
        $i = 0; $matches = array();
        while (preg_match('/filename\*'.$i.'\*\s*=\s*"*([^"\n;]+)[";]*/', $headers, $matches)) {
@@ -1313,7 +1342,8 @@
        $i++;
      }
      if ($i<2) {
        $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, $part->mime_id);
   if (!$headers)
          $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, false, $part->mime_id);
        $filename_mime = '';
        $i = 0; $matches = array();
        while (preg_match('/\s+name\*'.$i.'\s*=\s*"*([^"\n;]+)[";]*/', $headers, $matches)) {
@@ -1329,7 +1359,8 @@
        $i++;
      }
      if ($i<2) {
        $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, $part->mime_id);
   if (!$headers)
          $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, false, $part->mime_id);
        $filename_encoded = '';
        $i = 0; $matches = array();
        while (preg_match('/\s+name\*'.$i.'\*\s*=\s*"*([^"\n;]+)[";]*/', $headers, $matches)) {
@@ -1350,7 +1381,8 @@
    // decode filename
    if (!empty($filename_mime)) {
      $part->filename = rcube_imap::decode_mime_string($filename_mime, 
        $part->charset ? $part->charset : rc_detect_encoding($filename_mime, $this->default_charset));
        $part->charset ? $part->charset : $this->struct_charset ? $this->struct_charset :
       rc_detect_encoding($filename_mime, $this->default_charset));
      } 
    else if (!empty($filename_encoded)) {
      // decode filename according to RFC 2231, Section 4
@@ -1361,8 +1393,25 @@
      $part->filename = rcube_charset_convert(urldecode($filename_encoded), $filename_charset);
      }
    }
     
  


  /**
   * Get charset name from message structure (first part)
   *
   * @access private
   * @param  array  Message structure
   * @return string Charset name
   */
  function _structure_charset($structure)
    {
      while (is_array($structure)) {
   if (is_array($structure[2]) && $structure[2][0] == 'charset')
     return $structure[2][1];
   $structure = $structure[0];
   }
    } 


  /**
   * Fetch message body of a specific message from the server
   *
@@ -1375,13 +1424,10 @@
   */
  function &get_message_part($uid, $part=1, $o_part=NULL, $print=NULL, $fp=NULL)
    {
    if (!($msg_id = $this->_uid2id($uid)))
      return FALSE;
    
    // get part encoding if not provided
    if (!is_object($o_part))
      {
      $structure_str = iil_C_FetchStructureString($this->conn, $this->mailbox, $msg_id); 
      $structure_str = iil_C_FetchStructureString($this->conn, $this->mailbox, $uid, true); 
      $structure = iml_GetRawStructureArray($structure_str);
      $part_type = iml_GetPartTypeCode($structure, $part);
      $o_part = new rcube_message_part;
@@ -1394,44 +1440,19 @@

    if (!$part) $part = 'TEXT';

    if ($print)
      {
      $mode = $o_part->encoding == 'base64' ? 3 : ($o_part->encoding == 'quoted-printable' ? 1 : 2);
      $body = iil_C_HandlePartBody($this->conn, $this->mailbox, $msg_id, $part, $mode);
    $body = iil_C_HandlePartBody($this->conn, $this->mailbox, $uid, true, $part,
        $o_part->encoding, $print, $fp);
      
      // we have to decode the part manually before printing
      if ($mode == 1)
        {
        echo $this->mime_decode($body, $o_part->encoding);
        $body = true;
        }
      }
    else
      {
      if ($fp && $o_part->encoding == 'base64')
        return iil_C_HandlePartBody($this->conn, $this->mailbox, $msg_id, $part, 3, $fp);
      else
        $body = iil_C_HandlePartBody($this->conn, $this->mailbox, $msg_id, $part, 1);
    if ($fp || $print)
      return true;

      // decode part body
      if ($o_part->encoding)
        $body = $this->mime_decode($body, $o_part->encoding);
    // convert charset (if text or message part)
    if ($o_part->ctype_primary=='text' || $o_part->ctype_primary=='message') {
      // assume default if no charset specified
      if (empty($o_part->charset))
        $o_part->charset = $this->default_charset;

      // convert charset (if text or message part)
      if ($o_part->ctype_primary=='text' || $o_part->ctype_primary=='message')
        {
        // assume default if no charset specified
        if (empty($o_part->charset))
          $o_part->charset = $this->default_charset;

        $body = rcube_charset_convert($body, $o_part->charset);
        }
      
      if ($fp)
        {
        fwrite($fp, $body);
        return true;
        }
      $body = rcube_charset_convert($body, $o_part->charset);
      }
    
    return $body;
@@ -1448,8 +1469,7 @@
  function &get_body($uid, $part=1)
    {
    $headers = $this->get_headers($uid);
    return rcube_charset_convert(
      $this->mime_decode($this->get_message_part($uid, $part), 'quoted-printable'),
    return rcube_charset_convert($this->get_message_part($uid, $part, NULL),
      $headers->charset ? $headers->charset : $this->default_charset);
    }

@@ -1462,10 +1482,7 @@
   */
  function &get_raw_body($uid)
    {
    if (!($msg_id = $this->_uid2id($uid)))
      return FALSE;

    return iil_C_HandlePartBody($this->conn, $this->mailbox, $msg_id);
    return iil_C_HandlePartBody($this->conn, $this->mailbox, $uid, true);
    }


@@ -1477,12 +1494,7 @@
   */
  function &get_raw_headers($uid)
    {
    if (!($msg_id = $this->_uid2id($uid)))
      return FALSE;

    $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $msg_id, NULL);

    return $headers;    
    return iil_C_FetchPartHeader($this->conn, $this->mailbox, $uid, true);
    }
    

@@ -1493,10 +1505,7 @@
   */ 
  function print_raw_body($uid)
    {
    if (!($msg_id = $this->_uid2id($uid)))
      return FALSE;

    iil_C_HandlePartBody($this->conn, $this->mailbox, $msg_id, NULL, 2);
    iil_C_HandlePartBody($this->conn, $this->mailbox, $uid, true, NULL, NULL, true);
    }


@@ -1505,40 +1514,31 @@
   *
   * @param mixed  Message UIDs as array or as comma-separated string
   * @param string Flag to set: SEEN, UNDELETED, DELETED, RECENT, ANSWERED, DRAFT, MDNSENT
   * @param string Folder name
   * @return boolean True on success, False on failure
   */
  function set_flag($uids, $flag)
  function set_flag($uids, $flag, $mbox_name=NULL)
    {
    $mailbox = $mbox_name ? $this->mod_mailbox($mbox_name) : $this->mailbox;

    $flag = strtoupper($flag);
    $msg_ids = array();
    if (!is_array($uids))
      $uids = explode(',',$uids);
      
    foreach ($uids as $uid) {
      $msg_ids[$uid] = $this->_uid2id($uid);
    }
      
    if ($flag=='UNDELETED')
      $result = iil_C_Undelete($this->conn, $this->mailbox, join(',', array_values($msg_ids)));
      $result = iil_C_Undelete($this->conn, $mailbox, join(',', $uids));
    else if ($flag=='UNSEEN')
      $result = iil_C_Unseen($this->conn, $this->mailbox, join(',', array_values($msg_ids)));
      $result = iil_C_Unseen($this->conn, $mailbox, join(',', $uids));
    else if ($flag=='UNFLAGGED')
      $result = iil_C_UnFlag($this->conn, $this->mailbox, join(',', array_values($msg_ids)), 'FLAGGED');
      $result = iil_C_UnFlag($this->conn, $mailbox, join(',', $uids), 'FLAGGED');
    else
      $result = iil_C_Flag($this->conn, $this->mailbox, join(',', array_values($msg_ids)), $flag);
      $result = iil_C_Flag($this->conn, $mailbox, join(',', $uids), $flag);

    // reload message headers if cached
    $cache_key = $this->mailbox.'.msg';
    if ($this->caching_enabled)
      {
      foreach ($msg_ids as $uid => $id)
        {
        if ($cached_headers = $this->get_cached_message($cache_key, $uid))
          {
          $this->remove_message_cache($cache_key, $id);
          //$this->get_headers($uid);
          }
        }
      $cache_key = $mailbox.'.msg';
      $this->remove_message_cache($cache_key, $uids);

      // close and re-open connection
      // this prevents connection problems with Courier 
@@ -1546,15 +1546,15 @@
      }

    // set nr of messages that were flaged
    $count = count($msg_ids);
    $count = count($uids);

    // clear message count cache
    if ($result && $flag=='SEEN')
      $this->_set_messagecount($this->mailbox, 'UNSEEN', $count*(-1));
      $this->_set_messagecount($mailbox, 'UNSEEN', $count*(-1));
    else if ($result && $flag=='UNSEEN')
      $this->_set_messagecount($this->mailbox, 'UNSEEN', $count);
      $this->_set_messagecount($mailbox, 'UNSEEN', $count);
    else if ($result && $flag=='DELETED')
      $this->_set_messagecount($this->mailbox, 'ALL', $count*(-1));
      $this->_set_messagecount($mailbox, 'ALL', $count*(-1));

    return $result;
    }
@@ -1569,7 +1569,7 @@
   */
  function save_message($mbox_name, &$message)
    {
    $mailbox = $this->_mod_mailbox($mbox_name);
    $mailbox = $this->mod_mailbox($mbox_name);

    // make sure mailbox exists
    if (($mailbox == 'INBOX') || in_array($mailbox, $this->_list_mailboxes()))
@@ -1595,11 +1595,11 @@
   */
  function move_message($uids, $to_mbox, $from_mbox='')
    {
    $to_mbox = $this->_mod_mailbox($to_mbox);
    $from_mbox = $from_mbox ? $this->_mod_mailbox($from_mbox) : $this->mailbox;
    $to_mbox = $this->mod_mailbox($to_mbox);
    $from_mbox = $from_mbox ? $this->mod_mailbox($from_mbox) : $this->mailbox;

    // make sure mailbox exists
    if (!in_array($to_mbox, $this->_list_mailboxes()))
    if ($to_mbox != 'INBOX' && !in_array($to_mbox, $this->_list_mailboxes()))
      {
      if (in_array($to_mbox_in, $this->default_folders))
        $this->create_mailbox($to_mbox_in, TRUE);
@@ -1611,48 +1611,33 @@
    $a_uids = is_string($uids) ? explode(',', $uids) : (is_array($uids) ? $uids : NULL);
    
    // exit if no message uids are specified
    if (!is_array($a_uids))
    if (!is_array($a_uids) || empty($a_uids))
      return false;

    // convert uids to message ids
    $a_mids = array();
    foreach ($a_uids as $uid)
      $a_mids[] = $this->_uid2id($uid, $from_mbox);

    $iil_move = iil_C_Move($this->conn, join(',', $a_mids), $from_mbox, $to_mbox);
    $iil_move = iil_C_Move($this->conn, join(',', $a_uids), $from_mbox, $to_mbox);
    $moved = !($iil_move === false || $iil_move < 0);
    
    // send expunge command in order to have the moved message
    // really deleted from the source mailbox
    if ($moved) {
      // but only when flag_for_deletion is set to false
      if (!rcmail::get_instance()->config->get('flag_for_deletion', false))
        {
        $this->_expunge($from_mbox, FALSE);
        $this->_clear_messagecount($from_mbox);
        $this->_clear_messagecount($to_mbox);
        }
      $this->_expunge($from_mbox, FALSE, $a_uids);
      $this->_clear_messagecount($from_mbox);
      $this->_clear_messagecount($to_mbox);
    }
    // moving failed
    else if (rcmail::get_instance()->config->get('delete_always', false)) {
      return iil_C_Delete($this->conn, $from_mbox, join(',', $a_mids));
      return iil_C_Delete($this->conn, $from_mbox, join(',', $a_uids));
    }
      
    // remove message ids from search set
    if ($moved && $this->search_set && $from_mbox == $this->mailbox)
    if ($moved && $this->search_set && $from_mbox == $this->mailbox) {
      foreach ($a_uids as $uid)
        $a_mids[] = $this->_uid2id($uid, $from_mbox);
      $this->search_set = array_diff($this->search_set, $a_mids);

    }
    // update cached message headers
    $cache_key = $from_mbox.'.msg';
    if ($moved && ($a_cache_index = $this->get_message_cache_index($cache_key)))
      {
      $start_index = 100000;
      foreach ($a_uids as $uid)
        {
        if (($index = array_search($uid, $a_cache_index)) !== FALSE)
          $start_index = min($index, $start_index);
        }

    if ($moved && $start_index = $this->get_message_cache_index_min($cache_key, $a_uids)) {
      // clear cache from the lowest index on
      $this->clear_message_cache($cache_key, $start_index);
      }
@@ -1670,46 +1655,36 @@
   */
  function delete_message($uids, $mbox_name='')
    {
    $mailbox = $mbox_name ? $this->_mod_mailbox($mbox_name) : $this->mailbox;
    $mailbox = $mbox_name ? $this->mod_mailbox($mbox_name) : $this->mailbox;

    // convert the list of uids to array
    $a_uids = is_string($uids) ? explode(',', $uids) : (is_array($uids) ? $uids : NULL);
    
    // exit if no message uids are specified
    if (!is_array($a_uids))
    if (!is_array($a_uids) || empty($a_uids))
      return false;

    // convert uids to message ids
    $a_mids = array();
    foreach ($a_uids as $uid)
      $a_mids[] = $this->_uid2id($uid, $mailbox);
        
    $deleted = iil_C_Delete($this->conn, $mailbox, join(',', $a_mids));
    $deleted = iil_C_Delete($this->conn, $mailbox, join(',', $a_uids));
    
    // send expunge command in order to have the deleted message
    // really deleted from the mailbox
    if ($deleted)
      {
      $this->_expunge($mailbox, FALSE);
      $this->_expunge($mailbox, FALSE, $a_uids);
      $this->_clear_messagecount($mailbox);
      unset($this->uid_id_map[$mailbox]);
      }

    // remove message ids from search set
    if ($deleted && $this->search_set && $mailbox == $this->mailbox)
    if ($deleted && $this->search_set && $mailbox == $this->mailbox) {
      foreach ($a_uids as $uid)
        $a_mids[] = $this->_uid2id($uid, $mailbox);
      $this->search_set = array_diff($this->search_set, $a_mids);

    }
    
    // remove deleted messages from cache
    $cache_key = $mailbox.'.msg';
    if ($deleted && ($a_cache_index = $this->get_message_cache_index($cache_key)))
      {
      $start_index = 100000;
      foreach ($a_uids as $uid)
        {
        if (($index = array_search($uid, $a_cache_index)) !== FALSE)
          $start_index = min($index, $start_index);
        }

    if ($deleted && $start_index = $this->get_message_cache_index_min($cache_key, $a_uids)) {
      // clear cache from the lowest index on
      $this->clear_message_cache($cache_key, $start_index);
      }
@@ -1726,7 +1701,7 @@
   */
  function clear_mailbox($mbox_name=NULL)
    {
    $mailbox = !empty($mbox_name) ? $this->_mod_mailbox($mbox_name) : $this->mailbox;
    $mailbox = !empty($mbox_name) ? $this->mod_mailbox($mbox_name) : $this->mailbox;
    $msg_count = $this->_messagecount($mailbox, 'ALL');
    
    if ($msg_count>0)
@@ -1758,7 +1733,7 @@
   */
  function expunge($mbox_name='', $clear_cache=TRUE)
    {
    $mailbox = $mbox_name ? $this->_mod_mailbox($mbox_name) : $this->mailbox;
    $mailbox = $mbox_name ? $this->mod_mailbox($mbox_name) : $this->mailbox;
    return $this->_expunge($mailbox, $clear_cache);
    }

@@ -1767,11 +1742,20 @@
   * Send IMAP expunge command and clear cache
   *
   * @see rcube_imap::expunge()
   * @param string    Mailbox name
   * @param boolean    False if cache should not be cleared
   * @param string    List of UIDs to remove, separated by comma
   * @return boolean True on success
   * @access private
   */
  function _expunge($mailbox, $clear_cache=TRUE)
  private function _expunge($mailbox, $clear_cache=TRUE, $uids=NULL)
    {
    $result = iil_C_Expunge($this->conn, $mailbox);
    if ($uids && $this->get_capability('UIDPLUS')) 
      $a_uids = is_array($uids) ? join(',', $uids) : $uids;
    else
      $a_uids = NULL;

    $result = iil_C_Expunge($this->conn, $mailbox, $a_uids);

    if ($result>=0 && $clear_cache)
      {
@@ -1802,12 +1786,12 @@
      return $sa_unsubscribed;
      
    // retrieve list of folders from IMAP server
    $a_mboxes = iil_C_ListMailboxes($this->conn, $this->_mod_mailbox($root), '*');
    $a_mboxes = iil_C_ListMailboxes($this->conn, $this->mod_mailbox($root), '*');

    // modify names with root dir
    foreach ($a_mboxes as $mbox_name)
      {
      $name = $this->_mod_mailbox($mbox_name, 'out');
      $name = $this->mod_mailbox($mbox_name, 'out');
      if (strlen($name))
        $a_folders[] = $name;
      }
@@ -1879,7 +1863,7 @@
    // reduce mailbox name to 100 chars
    $name = substr($name, 0, 100);

    $abs_name = $this->_mod_mailbox($name);
    $abs_name = $this->mod_mailbox($name);
    $a_mailbox_cache = $this->get_cache('mailboxes');

    if (strlen($abs_name) && (!is_array($a_mailbox_cache) || !in_array($abs_name, $a_mailbox_cache)))
@@ -1908,8 +1892,8 @@
    $name = substr($new_name, 0, 100);

    // make absolute path
    $mailbox = $this->_mod_mailbox($mbox_name);
    $abs_name = $this->_mod_mailbox($name);
    $mailbox = $this->mod_mailbox($mbox_name);
    $abs_name = $this->mod_mailbox($name);
    
    // check if mailbox is subscribed
    $a_subscribed = $this->_list_mailboxes();
@@ -1950,7 +1934,7 @@
  /**
   * Remove mailboxes from server
   *
   * @param string Mailbox name
   * @param string Mailbox name(s) string/array
   * @return boolean True on success
   */
  function delete_mailbox($mbox_name)
@@ -1962,21 +1946,23 @@
    else if (is_string($mbox_name) && strlen($mbox_name))
      $a_mboxes = explode(',', $mbox_name);

    $all_mboxes = iil_C_ListMailboxes($this->conn, $this->_mod_mailbox($root), '*');
    $all_mboxes = iil_C_ListMailboxes($this->conn, $this->mod_mailbox($root), '*');

    if (is_array($a_mboxes))
      foreach ($a_mboxes as $mbox_name)
        {
        $mailbox = $this->_mod_mailbox($mbox_name);
        $mailbox = $this->mod_mailbox($mbox_name);

        // unsubscribe mailbox before deleting
        iil_C_UnSubscribe($this->conn, $mailbox);

        // send delete command to server
        $result = iil_C_DeleteFolder($this->conn, $mailbox);
        if ($result>=0)
        if ($result >= 0) {
          $deleted = TRUE;

          $this->clear_message_cache($mailbox.'.msg');
     }
	  
        foreach ($all_mboxes as $c_mbox)
          {
          $regex = preg_quote($mailbox . $this->delimiter, '/');
@@ -1985,18 +1971,17 @@
            {
            iil_C_UnSubscribe($this->conn, $c_mbox);
            $result = iil_C_DeleteFolder($this->conn, $c_mbox);
            if ($result>=0)
            if ($result >= 0) {
              $deleted = TRUE;
            }
             $this->clear_message_cache($c_mbox.'.msg');
              }
       }
          }
        }

    // clear mailboxlist cache
    if ($deleted)
      {
      $this->clear_message_cache($mailbox.'.msg');
      $this->clear_cache('mailboxes');
      }

    return $deleted;
    }
@@ -2007,13 +1992,13 @@
   */
  function create_default_folders()
    {
    $a_folders = iil_C_ListMailboxes($this->conn, $this->_mod_mailbox(''), '*');
    $a_subscribed = iil_C_ListSubscribed($this->conn, $this->_mod_mailbox(''), '*');
    $a_folders = iil_C_ListMailboxes($this->conn, $this->mod_mailbox(''), '*');
    $a_subscribed = iil_C_ListSubscribed($this->conn, $this->mod_mailbox(''), '*');
    
    // create default folders if they do not exist
    foreach ($this->default_folders as $folder)
      {
      $abs_name = $this->_mod_mailbox($folder);
      $abs_name = $this->mod_mailbox($folder);
      if (!in_array_nocase($abs_name, $a_folders))
        $this->create_mailbox($folder, TRUE);
      else if (!in_array_nocase($abs_name, $a_subscribed))
@@ -2046,8 +2031,7 @@
    // read cache
    if (!isset($this->cache[$key]) && $this->caching_enabled)
      {
      $cache_data = $this->_read_cache_record('IMAP.'.$key);
      $this->cache[$key] = strlen($cache_data) ? unserialize($cache_data) : FALSE;
      return $this->_read_cache_record($key);
      }
    
    return $this->cache[$key];
@@ -2073,7 +2057,7 @@
      foreach ($this->cache as $key => $data)
        {
        if ($this->cache_changes[$key])
          $this->_write_cache_record('IMAP.'.$key, serialize($data));
          $this->_write_cache_record($key, serialize($data));
        }
      }    
    }
@@ -2089,7 +2073,7 @@
    if ($key===NULL)
      {
      foreach ($this->cache as $key => $data)
        $this->_clear_cache_record('IMAP.'.$key);
        $this->_clear_cache_record($key);

      $this->cache = array();
      $this->cache_changed = FALSE;
@@ -2097,7 +2081,7 @@
      }
    else
      {
      $this->_clear_cache_record('IMAP.'.$key);
      $this->_clear_cache_record($key);
      $this->cache_changes[$key] = FALSE;
      unset($this->cache[$key]);
      }
@@ -2106,35 +2090,33 @@
  /**
   * @access private
   */
  function _read_cache_record($key)
  private function _read_cache_record($key)
    {
    $cache_data = FALSE;
    
    if ($this->db)
      {
      // get cached data from DB
      $sql_result = $this->db->query(
        "SELECT cache_id, data
        "SELECT cache_id, data, cache_key
         FROM ".get_table_name('cache')."
         WHERE  user_id=?
         AND    cache_key=?",
        $_SESSION['user_id'],
        $key);
    AND cache_key LIKE 'IMAP.%'",
        $_SESSION['user_id']);

      if ($sql_arr = $this->db->fetch_assoc($sql_result))
      while ($sql_arr = $this->db->fetch_assoc($sql_result))
        {
        $cache_data = $sql_arr['data'];
        $this->cache_keys[$key] = $sql_arr['cache_id'];
   $sql_key = preg_replace('/^IMAP\./', '', $sql_arr['cache_key']);
        $this->cache_keys[$sql_key] = $sql_arr['cache_id'];
   $this->cache[$sql_key] = $sql_arr['data'] ? unserialize($sql_arr['data']) : FALSE;
        }
      }

    return $cache_data;
    return $this->cache[$key];
    }

  /**
   * @access private
   */
  function _write_cache_record($key, $data)
  private function _write_cache_record($key, $data)
    {
    if (!$this->db)
      return FALSE;
@@ -2148,7 +2130,7 @@
         WHERE  user_id=?
         AND    cache_key=?",
        $_SESSION['user_id'],
        $key);
        'IMAP.'.$key);
                                     
      if ($sql_arr = $this->db->fetch_assoc($sql_result))
        $this->cache_keys[$key] = $sql_arr['cache_id'];
@@ -2166,7 +2148,7 @@
         AND    cache_key=?",
        $data,
        $_SESSION['user_id'],
        $key);
        'IMAP.'.$key);
      }
    // add new cache record
    else
@@ -2176,7 +2158,7 @@
         (created, user_id, cache_key, data)
         VALUES (".$this->db->now().", ?, ?, ?)",
        $_SESSION['user_id'],
        $key,
        'IMAP.'.$key,
        $data);
      }
    }
@@ -2184,14 +2166,14 @@
  /**
   * @access private
   */
  function _clear_cache_record($key)
  private function _clear_cache_record($key)
    {
    $this->db->query(
      "DELETE FROM ".get_table_name('cache')."
       WHERE  user_id=?
       AND    cache_key=?",
      $_SESSION['user_id'],
      $key);
      'IMAP.'.$key);
    }


@@ -2208,8 +2190,8 @@
   * @param string Internal cache key
   * @return int -3 = off, -2 = incomplete, -1 = dirty
   */
  function check_cache_status($mailbox, $cache_key)
    {
  private function check_cache_status($mailbox, $cache_key)
  {
    if (!$this->caching_enabled)
      return -3;

@@ -2219,30 +2201,42 @@

    // console("Cache check: $msg_count !== ".count($cache_index));

    if ($cache_count==$msg_count)
      {
      // get highest index
      $header = iil_C_FetchHeader($this->conn, $mailbox, "$msg_count");
      $cache_uid = array_pop($cache_index);
      
      // uids of highest message matches -> cache seems OK
      if ($cache_uid == $header->uid)
        return 1;
    if ($cache_count==$msg_count) {
      if ($this->skip_deleted) {
   $h_index = iil_C_FetchHeaderIndex($this->conn, $mailbox, "1:*", 'UID', $this->skip_deleted);

   if (sizeof($h_index) == $cache_count) {
     $cache_index = array_flip($cache_index);
     foreach ($h_index as $idx => $uid)
            unset($cache_index[$uid]);

     if (empty($cache_index))
       return 1;
   }
   return -2;
      } else {
        // get highest index
        $header = iil_C_FetchHeader($this->conn, $mailbox, "$msg_count");
        $cache_uid = array_pop($cache_index);
      
        // uids of highest message matches -> cache seems OK
        if ($cache_uid == $header->uid)
          return 1;
      }
      // cache is dirty
      return -1;
      }
    }
    // if cache count differs less than 10% report as dirty
    else if (abs($msg_count - $cache_count) < $msg_count/10)
      return -1;
    else
      return -2;
    }
  }

  /**
   * @access private
   */
  function get_message_cache($key, $from, $to, $sort_field, $sort_order)
  private function get_message_cache($key, $from, $to, $sort_field, $sort_order)
    {
    $cache_key = "$key:$from:$to:$sort_field:$sort_order";
    $db_header_fields = array('idx', 'uid', 'subject', 'from', 'to', 'cc', 'date', 'size');
@@ -2258,8 +2252,7 @@
         FROM ".get_table_name('messages')."
         WHERE  user_id=?
         AND    cache_key=?
         ORDER BY ".$this->db->quoteIdentifier($sort_field)." ".
         strtoupper($sort_order),
         ORDER BY ".$this->db->quoteIdentifier($sort_field)." ".strtoupper($sort_order),
        $from,
        $to-$from,
        $_SESSION['user_id'],
@@ -2268,30 +2261,28 @@
      while ($sql_arr = $this->db->fetch_assoc($sql_result))
        {
        $uid = $sql_arr['uid'];
        $this->cache[$cache_key][$uid] = unserialize($sql_arr['headers']);
        
        $this->cache[$cache_key][$uid] =  $this->db->decode(unserialize($sql_arr['headers']));

        // featch headers if unserialize failed
        if (empty($this->cache[$cache_key][$uid]))
          $this->cache[$cache_key][$uid] = iil_C_FetchHeader($this->conn, preg_replace('/.msg$/', '', $key), $uid, true);
          $this->cache[$cache_key][$uid] = iil_C_FetchHeader($this->conn, preg_replace('/.msg$/', '', $key), $uid, true, $this->fetch_add_headers);
        }
      }
      

    return $this->cache[$cache_key];
    }

  /**
   * @access private
   */
  function &get_cached_message($key, $uid, $struct=false)
  private function &get_cached_message($key, $uid)
    {
    $internal_key = '__single_msg';
    
    if ($this->caching_enabled && (!isset($this->cache[$internal_key][$uid]) ||
        ($struct && empty($this->cache[$internal_key][$uid]->structure))))
    if ($this->caching_enabled && !isset($this->cache[$internal_key][$uid]))
      {
      $sql_select = "idx, uid, headers" . ($struct ? ", structure" : '');
      $sql_result = $this->db->query(
        "SELECT $sql_select
        "SELECT idx, headers, structure
         FROM ".get_table_name('messages')."
         WHERE  user_id=?
         AND    cache_key=?
@@ -2302,9 +2293,10 @@

      if ($sql_arr = $this->db->fetch_assoc($sql_result))
        {
        $this->cache[$internal_key][$uid] = unserialize($sql_arr['headers']);
   $this->uid_id_map[preg_replace('/\.msg$/', '', $key)][$uid] = $sql_arr['idx'];
        $this->cache[$internal_key][$uid] = $this->db->decode(unserialize($sql_arr['headers']));
        if (is_object($this->cache[$internal_key][$uid]) && !empty($sql_arr['structure']))
          $this->cache[$internal_key][$uid]->structure = unserialize($sql_arr['structure']);
          $this->cache[$internal_key][$uid]->structure = $this->db->decode(unserialize($sql_arr['structure']));
        }
      }

@@ -2314,7 +2306,7 @@
  /**
   * @access private
   */  
  function get_message_cache_index($key, $force=FALSE, $sort_field='idx', $sort_order='ASC')
  private function get_message_cache_index($key, $force=FALSE, $sort_field='idx', $sort_order='ASC')
    {
    static $sa_message_index = array();
    
@@ -2344,21 +2336,22 @@
  /**
   * @access private
   */
  function add_message_cache($key, $index, $headers, $struct=null)
  private function add_message_cache($key, $index, $headers, $struct=null, $force=false)
    {
    if (empty($key) || !is_object($headers) || empty($headers->uid))
        return;

    // add to internal (fast) cache
    $this->cache['__single_msg'][$headers->uid] = $headers;
    $this->cache['__single_msg'][$headers->uid] = clone $headers;
    $this->cache['__single_msg'][$headers->uid]->structure = $struct;
    

    // no further caching
    if (!$this->caching_enabled)
      return;
    
    // check for an existing record (probly headers are cached but structure not)
    $sql_result = $this->db->query(
    if (!$force) {
      $sql_result = $this->db->query(
        "SELECT message_id
         FROM ".get_table_name('messages')."
         WHERE  user_id=?
@@ -2368,18 +2361,21 @@
        $_SESSION['user_id'],
        $key,
        $headers->uid);
      if ($sql_arr = $this->db->fetch_assoc($sql_result))
        $message_id = $sql_arr['message_id'];
      }

    // update cache record
    if ($sql_arr = $this->db->fetch_assoc($sql_result))
    if ($message_id)
      {
      $this->db->query(
        "UPDATE ".get_table_name('messages')."
         SET   idx=?, headers=?, structure=?
         WHERE message_id=?",
        $index,
        serialize($headers),
        is_object($struct) ? serialize($struct) : NULL,
        $sql_arr['message_id']
        serialize($this->db->encode(clone $headers)),
        is_object($struct) ? serialize($this->db->encode(clone $struct)) : NULL,
        $message_id
        );
      }
    else  // insert new record
@@ -2392,13 +2388,13 @@
        $key,
        $index,
        $headers->uid,
        (string)substr($this->decode_header($headers->subject, TRUE), 0, 128),
        (string)substr($this->decode_header($headers->from, TRUE), 0, 128),
        (string)substr($this->decode_header($headers->to, TRUE), 0, 128),
        (string)substr($this->decode_header($headers->cc, TRUE), 0, 128),
        (string)rc_substr($this->db->encode($this->decode_header($headers->subject, TRUE)), 0, 128),
        (string)rc_substr($this->db->encode($this->decode_header($headers->from, TRUE)), 0, 128),
        (string)rc_substr($this->db->encode($this->decode_header($headers->to, TRUE)), 0, 128),
        (string)rc_substr($this->db->encode($this->decode_header($headers->cc, TRUE)), 0, 128),
        (int)$headers->size,
        serialize($headers),
        is_object($struct) ? serialize($struct) : NULL
        serialize($this->db->encode(clone $headers)),
        is_object($struct) ? serialize($this->db->encode(clone $struct)) : NULL
        );
      }
    }
@@ -2406,25 +2402,24 @@
  /**
   * @access private
   */
  function remove_message_cache($key, $index)
  private function remove_message_cache($key, $uids)
    {
    if (!$this->caching_enabled)
      return;
    
    $this->db->query(
      "DELETE FROM ".get_table_name('messages')."
       WHERE  user_id=?
       AND    cache_key=?
       AND    idx=?",
      WHERE  user_id=?
      AND    cache_key=?
      AND    uid IN (".$this->db->array2list($uids, 'integer').")",
      $_SESSION['user_id'],
      $key,
      $index);
      $key);
    }

  /**
   * @access private
   */
  function clear_message_cache($key, $start_index=1)
  private function clear_message_cache($key, $start_index=1)
    {
    if (!$this->caching_enabled)
      return;
@@ -2439,7 +2434,28 @@
      $start_index);
    }

  /**
   * @access private
   */
  private function get_message_cache_index_min($key, $uids=NULL)
    {
    if (!$this->caching_enabled)
      return;
    
    $sql_result = $this->db->query(
      "SELECT MIN(idx) AS minidx
      FROM ".get_table_name('messages')."
      WHERE  user_id=?
      AND    cache_key=?"
      .(!empty($uids) ? " AND uid IN (".$this->db->array2list($uids, 'integer').")" : ''),
      $_SESSION['user_id'],
      $key);

    if ($sql_arr = $this->db->fetch_assoc($sql_result))
      return $sql_arr['minidx'];
    else
      return 0;  
    }


  /* --------------------------------
@@ -2489,6 +2505,40 @@
    
    return $out;
    }
  
  
  /**
   * Decode a Microsoft Outlook TNEF part (winmail.dat)
   *
   * @param object rcube_message_part Message part to decode
   * @param string UID of the message
   * @return array List of rcube_message_parts extracted from windmail.dat
   */
  function tnef_decode(&$part, $uid)
  {
    if (!isset($part->body))
      $part->body = $this->get_message_part($uid, $part->mime_id, $part);

    $pid = 0;
    $tnef_parts = array();
    $tnef_arr = tnef_decode($part->body);
    foreach ($tnef_arr as $winatt) {
      $tpart = new rcube_message_part;
      $tpart->filename = $winatt["name"];
      $tpart->encoding = 'stream';
      $tpart->ctype_primary = $winatt["type0"];
      $tpart->ctype_secondary = $winatt["type1"];
      $tpart->mimetype = strtolower($winatt["type0"] . "/" . $winatt["type1"]);
      $tpart->mime_id = "winmail." . $part->mime_id . ".$pid";
      $tpart->size = $winatt["size"];
      $tpart->body = $winatt['stream'];
      
      $tnef_parts[] = $tpart;
      $pid++;
    }

    return $tnef_parts;
  }


  /**
@@ -2569,7 +2619,7 @@
   *
   * @access private
   */
  function _decode_mime_string_part($str)
  private function _decode_mime_string_part($str)
    {
    $a = explode('?', $str);
    $count = count($a);
@@ -2601,16 +2651,11 @@
   * @param string Input string
   * @param string Part encoding
   * @return string Decoded string
   * @access private
   */
  function mime_decode($input, $encoding='7bit')
    {
    switch (strtolower($encoding))
      {
      case '7bit':
        return $input;
        break;
      
      case 'quoted-printable':
        return quoted_printable_decode($input);
        break;
@@ -2618,7 +2663,15 @@
      case 'base64':
        return base64_decode($input);
        break;
      

      case 'x-uuencode':
      case 'x-uue':
      case 'uue':
      case 'uuencode':
        return convert_uudecode($input);
        break;
						      
      case '7bit':
      default:
        return $input;
      }
@@ -2626,7 +2679,7 @@


  /**
   * Convert body charset to UTF-8 according to the ctype_parameters
   * Convert body charset to RCMAIL_CHARSET according to the ctype_parameters
   *
   * @param string Part body to decode
   * @param string Charset to convert from
@@ -2651,7 +2704,7 @@
   */
  function get_id($uid, $mbox_name=NULL) 
    {
      $mailbox = $mbox_name ? $this->_mod_mailbox($mbox_name) : $this->mailbox;
      $mailbox = $mbox_name ? $this->mod_mailbox($mbox_name) : $this->mailbox;
      return $this->_uid2id($uid, $mailbox);
    }

@@ -2665,21 +2718,19 @@
   */
  function get_uid($id,$mbox_name=NULL)
    {
      $mailbox = $mbox_name ? $this->_mod_mailbox($mbox_name) : $this->mailbox;
      $mailbox = $mbox_name ? $this->mod_mailbox($mbox_name) : $this->mailbox;
      return $this->_id2uid($id, $mailbox);
    }



  /* --------------------------------
   *         private methods
   * --------------------------------*/


  /**
   * @access private
   * Modify folder name for input/output according to root dir and namespace
   *
   * @param string  Folder name
   * @param string  Mode
   * @return string Folder name
   */
  function _mod_mailbox($mbox_name, $mode='in')
  function mod_mailbox($mbox_name, $mode='in')
    {
    if ((!empty($this->root_ns) && $this->root_ns == $mbox_name) || $mbox_name == 'INBOX')
      return $mbox_name;
@@ -2692,11 +2743,16 @@
    return $mbox_name;
    }


  /* --------------------------------
   *         private methods
   * --------------------------------*/

  /**
   * Validate the given input and save to local properties
   * @access private
   */
  function _set_sort_order($sort_field, $sort_order)
  private function _set_sort_order($sort_field, $sort_order)
  {
    if ($sort_field != null)
      $this->sort_field = asciiwords($sort_field);
@@ -2708,7 +2764,7 @@
   * Sort mailboxes first by default folders and then in alphabethical order
   * @access private
   */
  function _sort_mailbox_list($a_folders)
  private function _sort_mailbox_list($a_folders)
    {
    $a_out = $a_defaults = $folders = array();

@@ -2723,7 +2779,7 @@
      if (($p = array_search(strtolower($folder), $this->default_folders_lc)) !== false && !$a_defaults[$p])
        $a_defaults[$p] = $folder;
      else
        $folders[$folder] = rc_strtolower(rcube_charset_convert($folder, 'UTF-7'));
        $folders[$folder] = rc_strtolower(rcube_charset_convert($folder, 'UTF7-IMAP'));
      }

    // sort folders and place defaults on the top
@@ -2749,7 +2805,7 @@
  /**
   * @access private
   */
  function _rsort($folder, $delimiter, &$list, &$out)
  private function _rsort($folder, $delimiter, &$list, &$out)
    {
      while (list($key, $name) = each($list)) {
   if (strpos($name, $folder.$delimiter) === 0) {
@@ -2766,7 +2822,7 @@
  /**
   * @access private
   */
  function _uid2id($uid, $mbox_name=NULL)
  private function _uid2id($uid, $mbox_name=NULL)
    {
    if (!$mbox_name)
      $mbox_name = $this->mailbox;
@@ -2780,7 +2836,7 @@
  /**
   * @access private
   */
  function _id2uid($id, $mbox_name=NULL)
  private function _id2uid($id, $mbox_name=NULL)
    {
    if (!$mbox_name)
      $mbox_name = $this->mailbox;
@@ -2802,14 +2858,14 @@
   * Subscribe/unsubscribe a list of mailboxes and update local cache
   * @access private
   */
  function _change_subscription($a_mboxes, $mode)
  private function _change_subscription($a_mboxes, $mode)
    {
    $updated = FALSE;
    
    if (is_array($a_mboxes))
      foreach ($a_mboxes as $i => $mbox_name)
        {
        $mailbox = $this->_mod_mailbox($mbox_name);
        $mailbox = $this->mod_mailbox($mbox_name);
        $a_mboxes[$i] = $mailbox;

        if ($mode=='subscribe')
@@ -2846,7 +2902,7 @@
   * Increde/decrese messagecount for a specific mailbox
   * @access private
   */
  function _set_messagecount($mbox_name, $mode, $increment)
  private function _set_messagecount($mbox_name, $mode, $increment)
    {
    $a_mailbox_cache = FALSE;
    $mailbox = $mbox_name ? $mbox_name : $this->mailbox;
@@ -2875,7 +2931,7 @@
   * Remove messagecount of a specific mailbox from cache
   * @access private
   */
  function _clear_messagecount($mbox_name='')
  private function _clear_messagecount($mbox_name='')
    {
    $a_mailbox_cache = FALSE;
    $mailbox = $mbox_name ? $mbox_name : $this->mailbox;
@@ -2894,7 +2950,7 @@
   * Split RFC822 header string into an associative array
   * @access private
   */
  function _parse_headers($headers)
  private function _parse_headers($headers)
    {
    $a_headers = array();
    $lines = explode("\n", $headers);
@@ -2917,16 +2973,16 @@
  /**
   * @access private
   */
  function _parse_address_list($str, $decode=true)
  private function _parse_address_list($str, $decode=true)
    {
    // remove any newlines and carriage returns before
    $a = $this->_explode_quoted_string('[,;]', preg_replace( "/[\r\n]/", " ", $str));
    $a = rcube_explode_quoted_string('[,;]', preg_replace( "/[\r\n]/", " ", $str));
    $result = array();

    foreach ($a as $key => $val)
      {
      $val = preg_replace("/([\"\w])</", "$1 <", $val);
      $sub_a = $this->_explode_quoted_string(' ', $decode ? $this->decode_header($val) : $val);
      $sub_a = rcube_explode_quoted_string(' ', $decode ? $this->decode_header($val) : $val);
      $result[$key]['name'] = '';

      foreach ($sub_a as $k => $v)
@@ -2944,29 +3000,6 @@
        $result[$key]['address'] = $result[$key]['name'];
      }
    
    return $result;
    }


  /**
   * @access private
   */
  function _explode_quoted_string($delimiter, $string)
    {
    $result = array();
    $strlen = strlen($string);
    for ($q=$p=$i=0; $i < $strlen; $i++)
    {
      if ($string{$i} == "\"" && $string{$i-1} != "\\")
        $q = $q ? false : true;
      else if (!$q && preg_match("/$delimiter/", $string{$i}))
      {
        $result[] = substr($string, $p, $i - $p);
        $p = $i + 1;
      }
    }
    
    $result[] = substr($string, $p);
    return $result;
    }

@@ -2993,6 +3026,13 @@
  var $d_parameters = array();
  var $ctype_parameters = array();

  function __clone()
  {
    if (isset($this->parts))
      foreach ($this->parts as $idx => $part)
        if (is_object($part))
     $this->parts[$idx] = clone $part;
  }				
}


@@ -3050,71 +3090,3 @@
      return $posa - $posb;
   }
}


/**
 * Add quoted-printable encoding to a given string
 * 
 * @param string   String to encode
 * @param int      Add new line after this number of characters
 * @param boolean  True if spaces should be converted into =20
 * @return string Encoded string
 */
function quoted_printable_encode($input, $line_max=76, $space_conv=false)
  {
  $hex = array('0','1','2','3','4','5','6','7','8','9','A','B','C','D','E','F');
  $lines = preg_split("/(?:\r\n|\r|\n)/", $input);
  $eol = "\r\n";
  $escape = "=";
  $output = "";

  while( list(, $line) = each($lines))
    {
    //$line = rtrim($line); // remove trailing white space -> no =20\r\n necessary
    $linlen = strlen($line);
    $newline = "";
    for($i = 0; $i < $linlen; $i++)
      {
      $c = substr( $line, $i, 1 );
      $dec = ord( $c );
      if ( ( $i == 0 ) && ( $dec == 46 ) ) // convert first point in the line into =2E
        {
        $c = "=2E";
        }
      if ( $dec == 32 )
        {
        if ( $i == ( $linlen - 1 ) ) // convert space at eol only
          {
          $c = "=20";
          }
        else if ( $space_conv )
          {
          $c = "=20";
          }
        }
      else if ( ($dec == 61) || ($dec < 32 ) || ($dec > 126) )  // always encode "\t", which is *not* required
        {
        $h2 = floor($dec/16);
        $h1 = floor($dec%16);
        $c = $escape.$hex["$h2"].$hex["$h1"];
        }
         
      if ( (strlen($newline) + strlen($c)) >= $line_max )  // CRLF is not counted
        {
        $output .= $newline.$escape.$eol; // soft line break; " =\r\n" is okay
        $newline = "";
        // check if newline first character will be point or not
        if ( $dec == 46 )
          {
          $c = "=2E";
          }
        }
      $newline .= $c;
      } // end of for
    $output .= $newline.$eol;
    } // end of while

  return trim($output);
  }