No more case-insensitive folder name comparisons

thomascube

2010-03-02 c8cf268b9db55ca0a27f669a060eea320b2d5f9e

 program/include/rcube_imap.php

@@ -36,7 +36,7 @@
 *
 * @package    Mail
 * @author     Thomas Bruederli <roundcube@gmail.com>
 * @version    1.40
 * @version    1.5
 * @link       http://ilohamail.org
 */
class rcube_imap
@@ -50,12 +50,12 @@
  var $page_size = 10;
  var $sort_field = 'date';
  var $sort_order = 'DESC';
  var $index_sort = true;
  var $delimiter = NULL;
  var $caching_enabled = FALSE;
  var $default_charset = 'ISO-8859-1';
  var $struct_charset = NULL;
  var $default_folders = array('INBOX');
  var $default_folders_lc = array('inbox');
  var $fetch_add_headers = '';
  var $cache = array();
  var $cache_keys = array();  
@@ -69,7 +69,9 @@
  var $search_sort_field = '';  
  var $debug_level = 1;
  var $error_code = 0;
  var $options = array('imap' => 'check');
  var $options = array('auth_method' => 'check');
  
  private $host, $user, $pass, $port, $ssl;


  /**
@@ -101,19 +103,27 @@
    // check for Open-SSL support in PHP build
    if ($use_ssl && extension_loaded('openssl'))
      $ICL_SSL = $use_ssl == 'imaps' ? 'ssl' : $use_ssl;
    else if ($use_ssl)
      {
      raise_error(array('code' => 403, 'type' => 'imap', 'file' => __FILE__,
                        'message' => 'Open SSL not available;'), TRUE, FALSE);
    else if ($use_ssl) {
      raise_error(array('code' => 403, 'type' => 'imap',
        'file' => __FILE__, 'line' => __LINE__,
        'message' => "Open SSL not available"), TRUE, FALSE);
      $port = 143;
      }
    }

    $ICL_PORT = $port;
    $IMAP_USE_INTERNAL_DATE = false;

    $this->conn = iil_Connect($host, $user, $pass, $this->options);
    $this->host = $host;
    $this->user = $user;
    $attempt = 0;
    do {
      $data = rcmail::get_instance()->plugins->exec_hook('imap_connect', array('host' => $host, 'user' => $user, 'attempt' => ++$attempt));
      if (!empty($data['pass']))
        $pass = $data['pass'];

      $this->conn = iil_Connect($data['host'], $data['user'], $pass, $this->options);
    } while(!$this->conn && $data['retry']);

    $this->host = $data['host'];
    $this->user = $data['user'];
    $this->pass = $pass;
    $this->port = $port;
    $this->ssl = $use_ssl;
@@ -126,21 +136,21 @@
    else if (!$this->conn && $GLOBALS['iil_error'])
      {
      $this->error_code = $GLOBALS['iil_errornum'];
      raise_error(array('code' => 403,
                       'type' => 'imap',
                       'message' => $GLOBALS['iil_error']), TRUE, FALSE);
      raise_error(array('code' => 403, 'type' => 'imap',
        'file' => __FILE__, 'line' => __LINE__,
        'message' => $GLOBALS['iil_error']), TRUE, FALSE);
      }

    // get server properties
    if ($this->conn)
      {
      if (!empty($this->conn->delimiter))
        $this->delimiter = $this->conn->delimiter;
      if (!empty($this->conn->rootdir))
        {
        $this->set_rootdir($this->conn->rootdir);
        $this->root_ns = preg_replace('/[.\/]$/', '', $this->conn->rootdir);
        }
      if (empty($this->delimiter))
   $this->get_hierarchy_delimiter();
      }

    return $this->conn ? TRUE : FALSE;
@@ -231,15 +241,10 @@
    if (is_array($arr))
      {
      $this->default_folders = $arr;
      $this->default_folders_lc = array();

      // add inbox if not included
      if (!in_array_nocase('INBOX', $this->default_folders))
        array_unshift($this->default_folders, 'INBOX');

      // create a second list with lower cased names
      foreach ($this->default_folders as $mbox)
        $this->default_folders_lc[] = strtolower($mbox);
      }
    }

@@ -475,7 +480,6 @@
   */
  private function _messagecount($mailbox='', $mode='ALL', $force=FALSE)
    {
    $a_mailbox_cache = FALSE;
    $mode = strtoupper($mode);

    if (empty($mailbox))
@@ -537,13 +541,14 @@
   * @param   int      Current page to list
   * @param   string   Header field to sort by
   * @param   string   Sort order [ASC|DESC]
   * @param   boolean  Number of slice items to extract from result array
   * @return  array    Indexed array with message header objects
   * @access  public   
   */
  function list_headers($mbox_name='', $page=NULL, $sort_field=NULL, $sort_order=NULL)
  function list_headers($mbox_name='', $page=NULL, $sort_field=NULL, $sort_order=NULL, $slice=0)
    {
    $mailbox = $mbox_name ? $this->mod_mailbox($mbox_name) : $this->mailbox;
    return $this->_list_headers($mailbox, $page, $sort_field, $sort_order);
    return $this->_list_headers($mailbox, $page, $sort_field, $sort_order, false, $slice);
    }


@@ -553,14 +558,14 @@
   * @access  private
   * @see     rcube_imap::list_headers
   */
  private function _list_headers($mailbox='', $page=NULL, $sort_field=NULL, $sort_order=NULL, $recursive=FALSE)
  private function _list_headers($mailbox='', $page=NULL, $sort_field=NULL, $sort_order=NULL, $recursive=FALSE, $slice=0)
    {
    if (!strlen($mailbox))
      return array();

    // use saved message set
    if ($this->search_string && $mailbox == $this->mailbox)
      return $this->_list_header_set($mailbox, $page, $sort_field, $sort_order);
      return $this->_list_header_set($mailbox, $page, $sort_field, $sort_order, $slice);

    $this->_set_sort_order($sort_field, $sort_order);

@@ -573,39 +578,68 @@
      {
      $start_msg = ($page-1) * $this->page_size;
      $a_msg_headers = $this->get_message_cache($cache_key, $start_msg, $start_msg+$this->page_size, $this->sort_field, $this->sort_order);
      return array_values($a_msg_headers);
      $result = array_values($a_msg_headers);
      if ($slice)
        $result = array_slice($result, -$slice, $slice);
      return $result;
      }
    // cache is dirty, sync it
    else if ($this->caching_enabled && $cache_status==-1 && !$recursive)
      {
      $this->sync_header_index($mailbox);
      return $this->_list_headers($mailbox, $page, $this->sort_field, $this->sort_order, TRUE);
      return $this->_list_headers($mailbox, $page, $this->sort_field, $this->sort_order, TRUE, $slice);
      }

    // retrieve headers from IMAP
    $a_msg_headers = array();

    if ($this->get_capability('sort') && ($msg_index = iil_C_Sort($this->conn, $mailbox, $this->sort_field, $this->skip_deleted ? 'UNDELETED' : '')))
    // use message index sort for sorting by Date (for better performance)
    if ($this->index_sort && $this->sort_field == 'date')
      {
        if ($this->skip_deleted) {
          // @TODO: this could be cached
     if ($msg_index = $this->_search_index($mailbox, 'ALL UNDELETED')) {
            $max = max($msg_index);
            list($begin, $end) = $this->_get_message_range(count($msg_index), $page);
            $msg_index = array_slice($msg_index, $begin, $end-$begin);
       }
   } else if ($max = iil_C_CountMessages($this->conn, $mailbox)) {
          list($begin, $end) = $this->_get_message_range($max, $page);
     $msg_index = range($begin+1, $end);
   } else
     $msg_index = array();

        if ($slice)
          $msg_index = array_slice($msg_index, ($this->sort_order == 'DESC' ? 0 : -$slice), $slice);

        // fetch reqested headers from server
   if ($msg_index)
          $this->_fetch_headers($mailbox, join(",", $msg_index), $a_msg_headers, $cache_key);
      }
    // use SORT command
    else if ($this->get_capability('sort') && ($msg_index = iil_C_Sort($this->conn, $mailbox, $this->sort_field, $this->skip_deleted ? 'UNDELETED' : '')))
      {
      list($begin, $end) = $this->_get_message_range(count($msg_index), $page);
      $max = max($msg_index);
      $msg_index = array_slice($msg_index, $begin, $end-$begin);

      if ($slice)
        $msg_index = array_slice($msg_index, ($this->sort_order == 'DESC' ? 0 : -$slice), $slice);

      // fetch reqested headers from server
      $this->_fetch_headers($mailbox, join(',', $msg_index), $a_msg_headers, $cache_key);
      }
    else
    // fetch specified header for all messages and sort
    else if ($a_index = iil_C_FetchHeaderIndex($this->conn, $mailbox, "1:*", $this->sort_field, $this->skip_deleted))
      {
      $a_index = iil_C_FetchHeaderIndex($this->conn, $mailbox, "1:*", $this->sort_field, $this->skip_deleted);
    
      if (empty($a_index))
        return array();

      asort($a_index); // ASC
      $msg_index = array_keys($a_index);
      $max = max($msg_index);
      list($begin, $end) = $this->_get_message_range(count($msg_index), $page);
      $msg_index = array_slice($msg_index, $begin, $end-$begin);

      if ($slice)
        $msg_index = array_slice($msg_index, ($this->sort_order == 'DESC' ? 0 : -$slice), $slice);

      // fetch reqested headers from server
      $this->_fetch_headers($mailbox, join(",", $msg_index), $a_msg_headers, $cache_key);
@@ -641,11 +675,12 @@
   * @param   int      Current page to list
   * @param   string   Header field to sort by
   * @param   string   Sort order [ASC|DESC]
   * @param   boolean  Number of slice items to extract from result array
   * @return  array    Indexed array with message header objects
   * @access  private
   * @see     rcube_imap::list_header_set()
   */
  private function _list_header_set($mailbox, $page=NULL, $sort_field=NULL, $sort_order=NULL)
  private function _list_header_set($mailbox, $page=NULL, $sort_field=NULL, $sort_order=NULL, $slice=0)
    {
    if (!strlen($mailbox) || empty($this->search_set))
      return array();
@@ -657,14 +692,34 @@

    $this->_set_sort_order($sort_field, $sort_order);

    // quickest method
    if ($this->index_sort && $this->search_sort_field == 'date' && $this->sort_field == 'date')
      {
      if ($sort_order == 'DESC')
        $msgs = array_reverse($msgs);

      // get messages uids for one page
      $msgs = array_slice(array_values($msgs), $start_msg, min(count($msgs)-$start_msg, $this->page_size));

      if ($slice)
        $msgs = array_slice($msgs, -$slice, $slice);

      // fetch headers
      $this->_fetch_headers($mailbox, join(',',$msgs), $a_msg_headers, NULL);

      // I didn't found in RFC that FETCH always returns messages sorted by index
      $sorter = new rcube_header_sorter();
      $sorter->set_sequence_numbers($msgs);
      $sorter->sort_headers($a_msg_headers);

      return array_values($a_msg_headers);
      }
    // sorted messages, so we can first slice array and then fetch only wanted headers
    if ($this->get_capability('sort')) // SORT searching result
    if ($this->get_capability('sort') && (!$this->index_sort || $this->sort_field != 'date')) // SORT searching result
      {
      // reset search set if sorting field has been changed
      if ($this->sort_field && $this->search_sort_field != $this->sort_field)
        {
        $msgs = $this->search('', $this->search_string, $this->search_charset, $this->sort_field);
        }

      // return empty array if no messages found
      if (empty($msgs))
@@ -675,6 +730,9 @@

      // get messages uids for one page
      $msgs = array_slice(array_values($msgs), $start_msg, min(count($msgs)-$start_msg, $this->page_size));

      if ($slice)
        $msgs = array_slice($msgs, -$slice, $slice);

      // fetch headers
      $this->_fetch_headers($mailbox, join(',',$msgs), $a_msg_headers, NULL);
@@ -687,11 +745,14 @@
      }
    else { // SEARCH searching result, need sorting
      $cnt = count($msgs);
      if ($cnt > 300 && $cnt > $this->page_size) { // experimantal value for best result
      // 300: experimantal value for best result
      if (($cnt > 300 && $cnt > $this->page_size) || ($this->index_sort && $this->sort_field == 'date')) {
        // use memory less expensive (and quick) method for big result set
   $a_index = $this->message_index('', $this->sort_field, $this->sort_order);
        // get messages uids for one page...
        $msgs = array_slice($a_index, $start_msg, min($cnt-$start_msg, $this->page_size));
        if ($slice)
          $msgs = array_slice($msgs, -$slice, $slice);
   // ...and fetch headers
        $this->_fetch_headers($mailbox, join(',', $msgs), $a_msg_headers, NULL);

@@ -717,7 +778,11 @@
        $a_msg_headers = iil_SortHeaders($a_msg_headers, $this->sort_field, $this->sort_order);
      
        // only return the requested part of the set
        return array_slice(array_values($a_msg_headers), $start_msg, min($cnt-$start_msg, $this->page_size));
   $a_msg_headers = array_slice(array_values($a_msg_headers), $start_msg, min($cnt-$start_msg, $this->page_size));
        if ($slice)
          $a_msg_headers = array_slice($a_msg_headers, -$slice, $slice);

        return $a_msg_headers;
        }
      }
    }
@@ -779,23 +844,18 @@
      {
      // cache is incomplete
      $cache_index = $this->get_message_cache_index($cache_key);
    
      foreach ($a_header_index as $i => $headers)
        { 
/*
        if ($headers->deleted && $this->skip_deleted)
          {
          // delete from cache
          if ($cache_index[$headers->id] && $cache_index[$headers->id] == $headers->uid)
            $this->remove_message_cache($cache_key, $headers->uid);

          continue;
          }
*/
        // add message to cache
        if ($this->caching_enabled && $cache_index[$headers->id] != $headers->uid)
          $this->add_message_cache($cache_key, $headers->id, $headers, NULL,
      !in_array((string)$headers->uid, $cache_index, true));
      foreach ($a_header_index as $i => $headers) {
        if ($this->caching_enabled && $cache_index[$headers->id] != $headers->uid) {
     // prevent index duplicates
     if ($cache_index[$headers->id]) {
       $this->remove_message_cache($cache_key, $headers->id, true);
       unset($cache_index[$headers->id]);
       }
          // add message to cache
     $this->add_message_cache($cache_key, $headers->id, $headers, NULL,
       !in_array($headers->uid, $cache_index));
     }

        $a_msg_headers[$headers->uid] = $headers;
        }
@@ -820,12 +880,26 @@
    $mailbox = $mbox_name ? $this->mod_mailbox($mbox_name) : $this->mailbox;
    $key = "{$mailbox}:{$this->sort_field}:{$this->sort_order}:{$this->search_string}.msgi";

    // we have a saved search result. get index from there
    // we have a saved search result, get index from there
    if (!isset($this->cache[$key]) && $this->search_string && $mailbox == $this->mailbox)
    {
      $this->cache[$key] = array();
      
      if ($this->get_capability('sort'))
      // use message index sort for sorting by Date
      if ($this->index_sort && $this->sort_field == 'date')
        {
   $msgs = $this->search_set;
	
   if ($this->search_sort_field != 'date')
     sort($msgs);
	
        if ($this->sort_order == 'DESC')
          $this->cache[$key] = array_reverse($msgs);
        else
          $this->cache[$key] = $msgs;
        }
      // sort with SORT command
      else if ($this->get_capability('sort'))
        {
        if ($this->sort_field && $this->search_sort_field != $this->sort_field)
          $this->search('', $this->search_string, $this->search_charset, $this->sort_field);
@@ -863,8 +937,22 @@
      return array_keys($a_index);
      }

    // use message index sort for sorting by Date
    if ($this->index_sort && $this->sort_field == 'date')
      {
      if ($this->skip_deleted) {
        $a_index = $this->_search_index($mailbox, 'ALL');
      } else if ($max = $this->_messagecount($mailbox)) {
        $a_index = range(1, $max);
      }

      if ($this->sort_order == 'DESC')
        $a_index = array_reverse($a_index);

      $this->cache[$key] = $a_index;
      }
    // fetch complete message index
    if ($this->get_capability('sort') && ($a_index = iil_C_Sort($this->conn, $mailbox, $this->sort_field, $this->skip_deleted ? 'UNDELETED' : '')))
    else if ($this->get_capability('sort') && ($a_index = iil_C_Sort($this->conn, $mailbox, $this->sort_field, $this->skip_deleted ? 'UNDELETED' : '')))
      {
      if ($this->sort_order == 'DESC')
        $a_index = array_reverse($a_index);
@@ -938,7 +1026,7 @@
      if ($headers = iil_C_FetchHeader($this->conn, $mailbox, join(',', $for_update), false, $this->fetch_add_headers))
        foreach ($headers as $header)
          $this->add_message_cache($cache_key, $header->id, $header, NULL,
      in_array((string)$header->uid, (array)$for_remove, true));
      in_array($header->uid, (array)$for_remove));
      }
    }

@@ -1008,22 +1096,23 @@
    if ($this->skip_deleted && !preg_match('/UNDELETED/', $criteria))
      $criteria = 'UNDELETED '.$criteria;

    if ($sort_field && $this->get_capability('sort'))
      {
    if ($sort_field && $this->get_capability('sort') && (!$this->index_sort || $sort_field != 'date')) {
      $charset = $charset ? $charset : $this->default_charset;
      $a_messages = iil_C_Sort($this->conn, $mailbox, $sort_field, $criteria, FALSE, $charset);
      }
    else
      $a_messages = iil_C_Search($this->conn, $mailbox, ($charset ? "CHARSET $charset " : '') . $criteria);

    // clean message list (there might be some empty entries)
    if (is_array($a_messages))
      {
      foreach ($a_messages as $i => $val)
        if (empty($val))
          unset($a_messages[$i]);
      }
    else {
      if ($orig_criteria == 'ALL') {
        $max = $this->_messagecount($mailbox);
        $a_messages = $max ? range(1, $max) : array();
        }
      else {
        $a_messages = iil_C_Search($this->conn, $mailbox, ($charset ? "CHARSET $charset " : '') . $criteria);
    
        // I didn't found that SEARCH always returns sorted IDs
        if ($this->index_sort && $this->sort_field == 'date')
          sort($a_messages);
        }
      }
    // update messagecount cache ?
//    $a_mailbox_cache = get_cache('messagecount');
//    $a_mailbox_cache[$mailbox][$criteria] = sizeof($a_messages);
@@ -1112,27 +1201,32 @@
      return $headers->structure;
    }

    // resolve message sequence number
    if (!($msg_id = $this->_uid2id($uid))) {
      return FALSE;
    }

    if (!$structure_str)
      $structure_str = iil_C_FetchStructureString($this->conn, $this->mailbox, $msg_id);
      $structure_str = iil_C_FetchStructureString($this->conn, $this->mailbox, $uid, true);
    $structure = iml_GetRawStructureArray($structure_str);
    $struct = false;

    // parse structure and add headers
    if (!empty($structure))
      {
      $this->_msg_id = $msg_id;
      $headers = $this->get_headers($uid);
      $this->_msg_id = $headers->id;

      // set message charset from message headers
      if ($headers->charset)
        $this->struct_charset = $headers->charset;
      else
        $this->struct_charset = $this->_structure_charset($structure);

      // Here we can recognize malformed BODYSTRUCTURE and 
      // 1. [@TODO] parse the message in other way to create our own message structure
      // 2. or just show the raw message body.
      // Example of structure for malformed MIME message:
      // ("text" "plain" ("charset" "us-ascii") NIL NIL "7bit" 2154 70 NIL NIL NIL)
      if ($headers->ctype && $headers->ctype != 'text/plain'
     && $structure[0] == 'text' && $structure[1] == 'plain') {
   return false;  
   }

      $struct = &$this->_structure_part($structure);
      $struct->headers = get_object_vars($headers);
@@ -1147,7 +1241,7 @@

      // write structure to cache
      if ($this->caching_enabled)
        $this->add_message_cache($cache_key, $msg_id, $headers, $struct);
        $this->add_message_cache($cache_key, $this->_msg_id, $headers, $struct);
      }

    return $struct;
@@ -1159,7 +1253,7 @@
   *
   * @access private
   */
  function &_structure_part($part, $count=0, $parent='', $raw_headers=null)
  function &_structure_part($part, $count=0, $parent='', $mime_headers=null, $raw_headers=null)
    {
    $struct = new rcube_message_part;
    $struct->mime_id = empty($parent) ? (string)$count : "$parent.$count";
@@ -1181,28 +1275,43 @@

      // build parts list for headers pre-fetching
      for ($i=0, $count=0; $i<count($part); $i++)
        if (is_array($part[$i]) && count($part[$i]) > 3)
     // fetch message headers if message/rfc822 or named part (could contain Content-Location header)
     if (strtolower($part[$i][0]) == 'message' ||
       (in_array('name', (array)$part[$i][2]) && (empty($part[$i][3]) || $part[$i][3]=='NIL'))) {
       $part_headers[] = $struct->mime_id ? $struct->mime_id.'.'.($i+1) : $i+1;
       }

        if (is_array($part[$i]) && count($part[$i]) > 3) {
          // fetch message headers if message/rfc822 or named part (could contain Content-Location header)
     if (!is_array($part[$i][0])) {
            $tmp_part_id = $struct->mime_id ? $struct->mime_id.'.'.($i+1) : $i+1;
            if (strtolower($part[$i][0]) == 'message' && strtolower($part[$i][1]) == 'rfc822') {
         $raw_part_headers[] = $tmp_part_id;
         $mime_part_headers[] = $tmp_part_id;
              }
            else if (in_array('name', (array)$part[$i][2]) && (empty($part[$i][3]) || $part[$i][3]=='NIL')) {
         $mime_part_headers[] = $tmp_part_id;
         }
            }
          }
        
      // pre-fetch headers of all parts (in one command for better performance)
      if ($part_headers)
        $part_headers = iil_C_FetchMIMEHeaders($this->conn, $this->mailbox, $this->_msg_id, $part_headers);
      // @TODO: we could do this before _structure_part() call, to fetch
      // headers for parts on all levels
      if ($mime_part_headers)
        $mime_part_headers = iil_C_FetchMIMEHeaders($this->conn, $this->mailbox,
          $this->_msg_id, $mime_part_headers);
      // we'll need a real content-type of message/rfc822 part
      if ($raw_part_headers)
        $raw_part_headers = iil_C_FetchMIMEHeaders($this->conn, $this->mailbox,
          $this->_msg_id, $raw_part_headers, false);

      $struct->parts = array();
      for ($i=0, $count=0; $i<count($part); $i++)
        if (is_array($part[$i]) && count($part[$i]) > 3) {
          $tmp_part_id = $struct->mime_id ? $struct->mime_id.'.'.($i+1) : $i+1;
          $struct->parts[] = $this->_structure_part($part[$i], ++$count, $struct->mime_id,
      $part_headers[$struct->mime_id ? $struct->mime_id.'.'.($i+1) : $i+1]);
       $mime_part_headers[$tmp_part_id], $raw_part_headers[$tmp_part_id]);
   }

      return $struct;
      }
    
    


    // regular part
    $struct->ctype_primary = strtolower($part[0]);
    $struct->ctype_secondary = strtolower($part[1]);
@@ -1263,18 +1372,30 @@
    
    // fetch message headers if message/rfc822 or named part (could contain Content-Location header)
    if ($struct->ctype_primary == 'message' || ($struct->ctype_parameters['name'] && !$struct->content_id)) {
      if (empty($raw_headers))
        $raw_headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, $struct->mime_id);
      $struct->headers = $this->_parse_headers($raw_headers) + $struct->headers;
    }
      if (empty($mime_headers))
        $mime_headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, false, $struct->mime_id);
      $struct->headers = $this->_parse_headers($mime_headers) + $struct->headers;

      // get real headers for message of type 'message/rfc822'
      if ($struct->mimetype == 'message/rfc822') {
        if (empty($raw_headers))
          $raw_headers = iil_C_FetchMIMEHeaders($this->conn, $this->mailbox, $this->_msg_id, (array)$struct->mime_id, false);
        $struct->real_headers = $this->_parse_headers($raw_headers);

        // get real content-type of message/rfc822
        if (preg_match('/^([a-z0-9_\/-]+)/i', $struct->real_headers['content-type'], $matches)) {
          $struct->real_mimetype = strtolower($matches[1]);
          }                                                    
        }
      }

    if ($struct->ctype_primary=='message') {
      if (is_array($part[8]) && empty($struct->parts))
      if (is_array($part[8]) && $di != 8 && empty($struct->parts))
        $struct->parts[] = $this->_structure_part($part[8], ++$count, $struct->mime_id);
    }
      }

    // normalize filename property
    $this->_set_part_filename($struct, $raw_headers);
    $this->_set_part_filename($struct, $mime_headers);

    return $struct;
    }
@@ -1307,7 +1428,7 @@
      // we must fetch and parse headers "manually"
      if ($i<2) {
   if (!$headers)
          $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, $part->mime_id);
          $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, false, $part->mime_id);
        $filename_mime = '';
        $i = 0;
        while (preg_match('/filename\*'.$i.'\s*=\s*"*([^"\n;]+)[";]*/', $headers, $matches)) {
@@ -1324,7 +1445,7 @@
      }
      if ($i<2) {
   if (!$headers)
          $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, $part->mime_id);
          $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, false, $part->mime_id);
        $filename_encoded = '';
        $i = 0; $matches = array();
        while (preg_match('/filename\*'.$i.'\*\s*=\s*"*([^"\n;]+)[";]*/', $headers, $matches)) {
@@ -1341,7 +1462,7 @@
      }
      if ($i<2) {
   if (!$headers)
          $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, $part->mime_id);
          $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, false, $part->mime_id);
        $filename_mime = '';
        $i = 0; $matches = array();
        while (preg_match('/\s+name\*'.$i.'\s*=\s*"*([^"\n;]+)[";]*/', $headers, $matches)) {
@@ -1358,7 +1479,7 @@
      }
      if ($i<2) {
   if (!$headers)
          $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, $part->mime_id);
          $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $this->_msg_id, false, $part->mime_id);
        $filename_encoded = '';
        $i = 0; $matches = array();
        while (preg_match('/\s+name\*'.$i.'\*\s*=\s*"*([^"\n;]+)[";]*/', $headers, $matches)) {
@@ -1422,14 +1543,15 @@
   */
  function &get_message_part($uid, $part=1, $o_part=NULL, $print=NULL, $fp=NULL)
    {
    if (!($msg_id = $this->_uid2id($uid)))
      return FALSE;
    
    // get part encoding if not provided
    if (!is_object($o_part))
      {
      $structure_str = iil_C_FetchStructureString($this->conn, $this->mailbox, $msg_id); 
      $structure_str = iil_C_FetchStructureString($this->conn, $this->mailbox, $uid, true); 
      $structure = iml_GetRawStructureArray($structure_str);
      // error or message not found
      if (empty($structure))
        return false;

      $part_type = iml_GetPartTypeCode($structure, $part);
      $o_part = new rcube_message_part;
      $o_part->ctype_primary = $part_type==0 ? 'text' : ($part_type==2 ? 'message' : 'other');
@@ -1441,16 +1563,16 @@

    if (!$part) $part = 'TEXT';

    $body = iil_C_HandlePartBody($this->conn, $this->mailbox, $msg_id, $part,
    $body = iil_C_HandlePartBody($this->conn, $this->mailbox, $uid, true, $part,
        $o_part->encoding, $print, $fp);
      

    if ($fp || $print)
      return true;

    // convert charset (if text or message part)
    if ($o_part->ctype_primary=='text' || $o_part->ctype_primary=='message') {
      // assume default if no charset specified
      if (empty($o_part->charset))
      if (empty($o_part->charset) || strtolower($o_part->charset) == 'us-ascii')
        $o_part->charset = $this->default_charset;

      $body = rcube_charset_convert($body, $o_part->charset);
@@ -1483,10 +1605,7 @@
   */
  function &get_raw_body($uid)
    {
    if (!($msg_id = $this->_uid2id($uid)))
      return FALSE;

    return iil_C_HandlePartBody($this->conn, $this->mailbox, $msg_id);
    return iil_C_HandlePartBody($this->conn, $this->mailbox, $uid, true);
    }


@@ -1498,12 +1617,7 @@
   */
  function &get_raw_headers($uid)
    {
    if (!($msg_id = $this->_uid2id($uid)))
      return FALSE;

    $headers = iil_C_FetchPartHeader($this->conn, $this->mailbox, $msg_id, NULL);

    return $headers;    
    return iil_C_FetchPartHeader($this->conn, $this->mailbox, $uid, true);
    }
    

@@ -1514,10 +1628,7 @@
   */ 
  function print_raw_body($uid)
    {
    if (!($msg_id = $this->_uid2id($uid)))
      return FALSE;

    iil_C_HandlePartBody($this->conn, $this->mailbox, $msg_id, NULL, NULL, true);
    iil_C_HandlePartBody($this->conn, $this->mailbox, $uid, true, NULL, NULL, true);
    }


@@ -1527,9 +1638,10 @@
   * @param mixed  Message UIDs as array or as comma-separated string
   * @param string Flag to set: SEEN, UNDELETED, DELETED, RECENT, ANSWERED, DRAFT, MDNSENT
   * @param string Folder name
   * @param boolean True to skip message cache clean up
   * @return boolean True on success, False on failure
   */
  function set_flag($uids, $flag, $mbox_name=NULL)
  function set_flag($uids, $flag, $mbox_name=NULL, $skip_cache=false)
    {
    $mailbox = $mbox_name ? $this->mod_mailbox($mbox_name) : $this->mailbox;

@@ -1537,24 +1649,15 @@
    if (!is_array($uids))
      $uids = explode(',',$uids);
      
    if ($flag=='UNDELETED')
      $result = iil_C_Undelete($this->conn, $mailbox, join(',', $uids));
    else if ($flag=='UNSEEN')
      $result = iil_C_Unseen($this->conn, $mailbox, join(',', $uids));
    else if ($flag=='UNFLAGGED')
      $result = iil_C_UnFlag($this->conn, $mailbox, join(',', $uids), 'FLAGGED');
    if (strpos($flag, 'UN') === 0)
      $result = iil_C_UnFlag($this->conn, $mailbox, join(',', $uids), substr($flag, 2));
    else
      $result = iil_C_Flag($this->conn, $mailbox, join(',', $uids), $flag);

    // reload message headers if cached
    if ($this->caching_enabled)
      {
    if ($this->caching_enabled && !$skip_cache) {
      $cache_key = $mailbox.'.msg';
      $this->remove_message_cache($cache_key, $uids);

      // close and re-open connection
      // this prevents connection problems with Courier 
      $this->reconnect();
      }

    // set nr of messages that were flaged
@@ -1573,19 +1676,44 @@


  /**
   * Remove message flag for one or several messages
   *
   * @param mixed  Message UIDs as array or as comma-separated string
   * @param string Flag to unset: SEEN, DELETED, RECENT, ANSWERED, DRAFT, MDNSENT
   * @param string Folder name
   * @return boolean True on success, False on failure
   * @see set_flag
   */
  function unset_flag($uids, $flag, $mbox_name=NULL)
    {
    return $this->set_flag($uids, 'UN'.$flag, $mbox_name);
    }


  /**
   * Append a mail message (source) to a specific mailbox
   *
   * @param string Target mailbox
   * @param string Message source
   * @param string   Target mailbox
   * @param string   The message source string or filename
   * @param string   Headers string if $message contains only the body
   * @param boolean  True if $message is a filename
   *
   * @return boolean True on success, False on error
   */
  function save_message($mbox_name, &$message)
  function save_message($mbox_name, &$message, $headers='', $is_file=false)
    {
    $mailbox = $this->mod_mailbox($mbox_name);

    // make sure mailbox exists
    if (($mailbox == 'INBOX') || in_array($mailbox, $this->_list_mailboxes()))
      $saved = iil_C_Append($this->conn, $mailbox, $message);
    if (($mailbox == 'INBOX') || in_array($mailbox, $this->_list_mailboxes())) {
      if ($is_file) {
        $separator = rcmail::get_instance()->config->header_delimiter();
        $saved = iil_C_AppendFromFile($this->conn, $mailbox, $message,
          $headers, $separator.$separator);
        }
      else
        $saved = iil_C_Append($this->conn, $mailbox, $message);
      }

    if ($saved)
      {
@@ -1607,25 +1735,35 @@
   */
  function move_message($uids, $to_mbox, $from_mbox='')
    {
    $fbox = $from_mbox;
    $tbox = $to_mbox;
    $to_mbox = $this->mod_mailbox($to_mbox);
    $from_mbox = $from_mbox ? $this->mod_mailbox($from_mbox) : $this->mailbox;

    // make sure mailbox exists
    if ($to_mbox != 'INBOX' && !in_array($to_mbox, $this->_list_mailboxes()))
      {
      if (in_array($to_mbox_in, $this->default_folders))
        $this->create_mailbox($to_mbox_in, TRUE);
      if (in_array($tbox, $this->default_folders))
        $this->create_mailbox($tbox, TRUE);
      else
        return FALSE;
      }

    // convert the list of uids to array
    $a_uids = is_string($uids) ? explode(',', $uids) : (is_array($uids) ? $uids : NULL);
    

    // exit if no message uids are specified
    if (!is_array($a_uids) || empty($a_uids))
      return false;

    // flag messages as read before moving them
    $config = rcmail::get_instance()->config;
    if ($config->get('read_when_deleted') && $tbox == $config->get('trash_mbox')) {
      // don't flush cache (4th argument)
      $this->set_flag($uids, 'SEEN', $fbox, true);
      }

    // move messages
    $iil_move = iil_C_Move($this->conn, join(',', $a_uids), $from_mbox, $to_mbox);
    $moved = !($iil_move === false || $iil_move < 0);
    
@@ -1640,13 +1778,14 @@
    else if (rcmail::get_instance()->config->get('delete_always', false)) {
      return iil_C_Delete($this->conn, $from_mbox, join(',', $a_uids));
    }
      

    // remove message ids from search set
    if ($moved && $this->search_set && $from_mbox == $this->mailbox) {
      foreach ($a_uids as $uid)
        $a_mids[] = $this->_uid2id($uid, $from_mbox);
      $this->search_set = array_diff($this->search_set, $a_mids);
    }

    // update cached message headers
    $cache_key = $from_mbox.'.msg';
    if ($moved && $start_index = $this->get_message_cache_index_min($cache_key, $a_uids)) {
@@ -1677,7 +1816,7 @@
      return false;

    $deleted = iil_C_Delete($this->conn, $mailbox, join(',', $a_uids));
    

    // send expunge command in order to have the deleted message
    // really deleted from the mailbox
    if ($deleted)
@@ -1693,7 +1832,7 @@
        $a_mids[] = $this->_uid2id($uid, $mailbox);
      $this->search_set = array_diff($this->search_set, $a_mids);
    }
    

    // remove deleted messages from cache
    $cache_key = $mailbox.'.msg';
    if ($deleted && $start_index = $this->get_message_cache_index_min($cache_key, $a_uids)) {
@@ -2011,9 +2150,9 @@
    foreach ($this->default_folders as $folder)
      {
      $abs_name = $this->mod_mailbox($folder);
      if (!in_array_nocase($abs_name, $a_folders))
      if (!in_array($abs_name, $a_folders))
        $this->create_mailbox($folder, TRUE);
      else if (!in_array_nocase($abs_name, $a_subscribed))
      else if (!in_array($abs_name, $a_subscribed))
        $this->subscribe($folder);
      }
    }
@@ -2040,8 +2179,8 @@
   */
  function get_cache($key)
    {
    // read cache
    if (!isset($this->cache[$key]) && $this->caching_enabled)
    // read cache (if it was not read before)
    if (!count($this->cache) && $this->caching_enabled)
      {
      return $this->_read_cache_record($key);
      }
@@ -2118,7 +2257,8 @@
        {
   $sql_key = preg_replace('/^IMAP\./', '', $sql_arr['cache_key']);
        $this->cache_keys[$sql_key] = $sql_arr['cache_id'];
   $this->cache[$sql_key] = $sql_arr['data'] ? unserialize($sql_arr['data']) : FALSE;
   if (!isset($this->cache[$sql_key]))
     $this->cache[$sql_key] = $sql_arr['data'] ? unserialize($sql_arr['data']) : FALSE;
        }
      }

@@ -2132,23 +2272,6 @@
    {
    if (!$this->db)
      return FALSE;

    // check if we already have a cache entry for this key
    if (!isset($this->cache_keys[$key]))
      {
      $sql_result = $this->db->query(
        "SELECT cache_id
         FROM ".get_table_name('cache')."
         WHERE  user_id=?
         AND    cache_key=?",
        $_SESSION['user_id'],
        'IMAP.'.$key);
                                     
      if ($sql_arr = $this->db->fetch_assoc($sql_result))
        $this->cache_keys[$key] = $sql_arr['cache_id'];
      else
        $this->cache_keys[$key] = FALSE;
      }

    // update existing cache record
    if ($this->cache_keys[$key])
@@ -2172,6 +2295,18 @@
        $_SESSION['user_id'],
        'IMAP.'.$key,
        $data);

      // get cache entry ID for this key
      $sql_result = $this->db->query(
        "SELECT cache_id
         FROM ".get_table_name('cache')."
         WHERE  user_id=?
         AND    cache_key=?",
        $_SESSION['user_id'],
        'IMAP.'.$key);
                                     
        if ($sql_arr = $this->db->fetch_assoc($sql_result))
          $this->cache_keys[$key] = $sql_arr['cache_id'];
      }
    }

@@ -2186,6 +2321,8 @@
       AND    cache_key=?",
      $_SESSION['user_id'],
      'IMAP.'.$key);
      
    unset($this->cache_keys[$key]);
    }


@@ -2200,18 +2337,26 @@
   *
   * @param string Mailbox name
   * @param string Internal cache key
   * @return int -3 = off, -2 = incomplete, -1 = dirty
   * @return int   Cache status: -3 = off, -2 = incomplete, -1 = dirty
   */
  private function check_cache_status($mailbox, $cache_key)
  {
    if (!$this->caching_enabled)
      return -3;

    $cache_index = $this->get_message_cache_index($cache_key, TRUE);
    $cache_index = $this->get_message_cache_index($cache_key);
    $msg_count = $this->_messagecount($mailbox);
    $cache_count = count($cache_index);

    // console("Cache check: $msg_count !== ".count($cache_index));
    // empty mailbox
    if (!$msg_count)
      return $cache_count ? -2 : 1;

    // @TODO: We've got one big performance problem in cache status checking method
    // E.g. mailbox contains 1000 messages, in cache table we've got first 100
    // of them. Now if we want to display only that 100 (which we've got)
    // check_cache_status returns 'incomplete' and messages are fetched
    // from IMAP instead of DB.

    if ($cache_count==$msg_count) {
      if ($this->skip_deleted) {
@@ -2227,12 +2372,12 @@
   }
   return -2;
      } else {
        // get highest index
        $header = iil_C_FetchHeader($this->conn, $mailbox, "$msg_count");
        // get UID of message with highest index
        $uid = iil_C_ID2UID($this->conn, $mailbox, $msg_count);
        $cache_uid = array_pop($cache_index);
      
        // uids of highest message matches -> cache seems OK
        if ($cache_uid == $header->uid)
        if ($cache_uid == $uid)
          return 1;
      }
      // cache is dirty
@@ -2253,8 +2398,13 @@
    $cache_key = "$key:$from:$to:$sort_field:$sort_order";
    $db_header_fields = array('idx', 'uid', 'subject', 'from', 'to', 'cc', 'date', 'size');
    
    if (!in_array($sort_field, $db_header_fields))
    $config = rcmail::get_instance()->config;

    // use idx sort for sorting by Date with index_sort=true or for unknown field
    if (($sort_field == 'date' && $this->index_sort)
      || !in_array($sort_field, $db_header_fields)) {
      $sort_field = 'idx';
      }
    
    if ($this->caching_enabled && !isset($this->cache[$cache_key]))
      {
@@ -2328,6 +2478,10 @@
    
    if (!empty($sa_message_index[$key]) && !$force)
      return $sa_message_index[$key];

    // use idx sort for sorting by Date with index_sort=true
    if ($sort_field == 'date' && $this->index_sort)
      $sort_field = 'idx';
    
    $sa_message_index[$key] = array();
    $sql_result = $this->db->query(
@@ -2368,8 +2522,7 @@
         FROM ".get_table_name('messages')."
         WHERE  user_id=?
         AND    cache_key=?
         AND    uid=?
         AND    del<>1",
         AND    uid=?",
        $_SESSION['user_id'],
        $key,
        $headers->uid);
@@ -2400,10 +2553,10 @@
        $key,
        $index,
        $headers->uid,
        (string)rc_substr($this->db->encode($this->decode_header($headers->subject, TRUE)), 0, 128),
        (string)rc_substr($this->db->encode($this->decode_header($headers->from, TRUE)), 0, 128),
        (string)rc_substr($this->db->encode($this->decode_header($headers->to, TRUE)), 0, 128),
        (string)rc_substr($this->db->encode($this->decode_header($headers->cc, TRUE)), 0, 128),
        (string)mb_substr($this->db->encode($this->decode_header($headers->subject, TRUE)), 0, 128),
        (string)mb_substr($this->db->encode($this->decode_header($headers->from, TRUE)), 0, 128),
        (string)mb_substr($this->db->encode($this->decode_header($headers->to, TRUE)), 0, 128),
        (string)mb_substr($this->db->encode($this->decode_header($headers->cc, TRUE)), 0, 128),
        (int)$headers->size,
        serialize($this->db->encode(clone $headers)),
        is_object($struct) ? serialize($this->db->encode(clone $struct)) : NULL
@@ -2414,16 +2567,16 @@
  /**
   * @access private
   */
  private function remove_message_cache($key, $uids)
  private function remove_message_cache($key, $ids, $idx=false)
    {
    if (!$this->caching_enabled)
      return;
    
    $this->db->query(
      "DELETE FROM ".get_table_name('messages')."
      WHERE  user_id=?
      AND    cache_key=?
      AND    uid IN (".$this->db->array2list($uids, 'integer').")",
      WHERE user_id=?
      AND cache_key=?
      AND ".($idx ? "idx" : "uid")." IN (".$this->db->array2list($ids, 'integer').")",
      $_SESSION['user_id'],
      $key);
    }
@@ -2438,12 +2591,10 @@
    
    $this->db->query(
      "DELETE FROM ".get_table_name('messages')."
       WHERE  user_id=?
       AND    cache_key=?
       AND    idx>=?",
      $_SESSION['user_id'],
      $key,
      $start_index);
       WHERE user_id=?
       AND cache_key=?
       AND idx>=?",
      $_SESSION['user_id'], $key, $start_index);
    }

  /**
@@ -2747,11 +2898,13 @@
    if ((!empty($this->root_ns) && $this->root_ns == $mbox_name) || $mbox_name == 'INBOX')
      return $mbox_name;

    if (!empty($this->root_dir) && $mode=='in') 
      $mbox_name = $this->root_dir.$this->delimiter.$mbox_name;
    else if (strlen($this->root_dir) && $mode=='out') 
      $mbox_name = substr($mbox_name, strlen($this->root_dir)+1);

    if (!empty($this->root_dir)) {
      if ($mode=='in')
        $mbox_name = $this->root_dir.$this->delimiter.$mbox_name;
      else if (!empty($mbox_name)) // $mode=='out'
        $mbox_name = substr($mbox_name, strlen($this->root_dir)+1);
      }
    
    return $mbox_name;
    }

@@ -2788,10 +2941,10 @@
      if ($folder{0}=='.')
        continue;

      if (($p = array_search(strtolower($folder), $this->default_folders_lc)) !== false && !$a_defaults[$p])
      if (($p = array_search($folder, $this->default_folders)) !== false && !$a_defaults[$p])
        $a_defaults[$p] = $folder;
      else
        $folders[$folder] = rc_strtolower(rcube_charset_convert($folder, 'UTF7-IMAP'));
        $folders[$folder] = mb_strtolower(rcube_charset_convert($folder, 'UTF7-IMAP'));
      }

    // sort folders and place defaults on the top
@@ -2852,15 +3005,12 @@
    {
    if (!$mbox_name)
      $mbox_name = $this->mailbox;
      
    $index = array_flip((array)$this->uid_id_map[$mbox_name]);
    if (isset($index[$id]))
      $uid = $index[$id];
    else
      {
      $uid = iil_C_ID2UID($this->conn, $mbox_name, $id);
      $this->uid_id_map[$mbox_name][$uid] = $id;
      }

    if ($uid = array_search($id, (array)$this->uid_id_map[$mbox_name]))
      return $uid;

    $uid = iil_C_ID2UID($this->conn, $mbox_name, $id);
    $this->uid_id_map[$mbox_name][$uid] = $id;
    
    return $uid;
    }
@@ -2873,7 +3023,7 @@
  private function _change_subscription($a_mboxes, $mode)
    {
    $updated = FALSE;
    

    if (is_array($a_mboxes))
      foreach ($a_mboxes as $i => $mbox_name)
        {
@@ -2881,15 +3031,12 @@
        $a_mboxes[$i] = $mailbox;

        if ($mode=='subscribe')
          $result = iil_C_Subscribe($this->conn, $mailbox);
          $updated = iil_C_Subscribe($this->conn, $mailbox);
        else if ($mode=='unsubscribe')
          $result = iil_C_UnSubscribe($this->conn, $mailbox);

        if ($result>=0)
          $updated = TRUE;
          $updated = iil_C_UnSubscribe($this->conn, $mailbox);
        }
        
    // get cached mailbox list    

    // get cached mailbox list
    if ($updated)
      {
      $a_mailbox_cache = $this->get_cache('mailboxes');
@@ -2901,7 +3048,7 @@
        $a_mailbox_cache = array_merge($a_mailbox_cache, $a_mboxes);
      else if ($mode=='unsubscribe')
        $a_mailbox_cache = array_diff($a_mailbox_cache, $a_mboxes);
        

      // write mailboxlist to cache
      $this->update_cache('mailboxes', $this->_sort_mailbox_list($a_mailbox_cache));
      }
@@ -2965,6 +3112,7 @@
  private function _parse_headers($headers)
    {
    $a_headers = array();
    $headers = preg_replace('/\r?\n(\t| )+/', ' ', $headers);
    $lines = explode("\n", $headers);
    $c = count($lines);
    for ($i=0; $i<$c; $i++)