Fix charset conversion error logging

thomascube

2009-03-11 c9a2fa9db0b3cc9edee0b4ee82d02849b5263766

 program/include/main.inc

@@ -5,7 +5,7 @@
 | program/include/main.inc                                              |
 |                                                                       |
 | This file is part of the RoundCube Webmail client                     |
 | Copyright (C) 2005-2008, RoundCube Dev, - Switzerland                 |
 | Copyright (C) 2005-2009, RoundCube Dev, - Switzerland                 |
 | Licensed under the GNU GPL                                            |
 |                                                                       |
 | PURPOSE:                                                              |
@@ -74,17 +74,7 @@
  $opt = rcmail::get_instance()->config->get($config_key);

  if (!empty($opt))
    {
    $db = &rcmail::get_instance()->db;
    
    if ($db->db_provider=='pgsql')
      {
      $db->db_handle->setOption('disable_smart_seqname', true);
      $db->db_handle->setOption('seqname_format', '%s');
      }
  
    return $opt;
    }
    
  return $sequence;
  }
@@ -133,20 +123,6 @@


/**
 * Add a localized label to the client environment
 * @deprecated
 */
function rcube_add_label()
  {
  global $OUTPUT;
  
  $arg_list = func_get_args();
  foreach ($arg_list as $i => $name)
    $OUTPUT->add_label($name);
  }


/**
 * Garbage collector function for temp files.
 * Remove temp files older than two days
 */
@@ -175,19 +151,19 @@
 * Garbage collector for cache entries.
 * Remove all expired message cache records
 */
function rcmail_message_cache_gc()
function rcmail_cache_gc()
  {
  global $DB, $CONFIG;
  
  // no cache lifetime configured
  if (empty($CONFIG['message_cache_lifetime']))
    return;
  $rcmail = rcmail::get_instance();
  $db = $rcmail->get_dbh();
  
  // get target timestamp
  $ts = get_offset_time($CONFIG['message_cache_lifetime'], -1);
  $ts = get_offset_time($rcmail->config->get('message_cache_lifetime', '30d'), -1);
  
  $DB->query("DELETE FROM ".get_table_name('messages')."
             WHERE  created < ".$DB->fromunixtime($ts));
  $db->query("DELETE FROM ".get_table_name('messages')."
             WHERE  created < " . $db->fromunixtime($ts));

  $db->query("DELETE FROM ".get_table_name('cache')."
              WHERE  created < " . $db->fromunixtime($ts));
  }


@@ -202,93 +178,113 @@
 */
function rcube_charset_convert($str, $from, $to=NULL)
  {
  static $mbstring_loaded = null, $convert_warning = false;
  static $mbstring_loaded = null;
  static $mbstring_list = null;
  static $convert_warning = false;

  $from = strtoupper($from);
  $to = $to==NULL ? strtoupper(RCMAIL_CHARSET) : strtoupper($to);
  $error = false; $conv = null;

  if ($from==$to || $str=='' || empty($from))
  # RFC1642
  if ($from == 'UNICODE-1-1-UTF-7')
    $from = 'UTF-7';
  if ($to == 'UNICODE-1-1-UTF-7')
    $to = 'UTF-7';

  if ($from == $to || empty($str) || empty($from))
    return $str;
    
  $aliases = array(
    'UNKNOWN-8BIT'   => 'ISO-8859-15',
    'X-UNKNOWN'      => 'ISO-8859-15',
    'X-USER-DEFINED' => 'ISO-8859-15',
    'ISO-8859-8-I'   => 'ISO-8859-8',
    'KS_C_5601-1987' => 'EUC-KR',
    'US-ASCII'         => 'ISO-8859-1',
    'ANSI_X3.110-1983' => 'ISO-8859-1',
    'ANSI_X3.4-1968'   => 'ISO-8859-1',
    'UNKNOWN-8BIT'     => 'ISO-8859-15',
    'X-UNKNOWN'        => 'ISO-8859-15',
    'X-USER-DEFINED'   => 'ISO-8859-15',
    'ISO-8859-8-I'     => 'ISO-8859-8',
    'KS_C_5601-1987'   => 'EUC-KR',
  );

  // convert charset using iconv module  
  if (function_exists('iconv') && $from != 'UTF-7' && $to != 'UTF-7')
    {
  if (function_exists('iconv') && $from != 'UTF-7' && $to != 'UTF-7') {
    $aliases['GB2312'] = 'GB18030';
    $_iconv = iconv(($aliases[$from] ? $aliases[$from] : $from), ($aliases[$to] ? $aliases[$to] : $to) . "//IGNORE", $str);
    if ($_iconv !== false)
      {
    if ($_iconv !== false) {
        return $_iconv;
      }
    }

  // settings for mbstring module (by Tadashi Jokagi)
  if (is_null($mbstring_loaded)) {
    if ($mbstring_loaded = extension_loaded("mbstring"))
      mb_internal_encoding(RCMAIL_CHARSET);
  }

  if (is_null($mbstring_loaded))
    $mbstring_loaded = extension_loaded('mbstring');
    
  // convert charset using mbstring module
  if ($mbstring_loaded)
    {
  if ($mbstring_loaded) {
    $aliases['UTF-7'] = 'UTF7-IMAP';
    $aliases['WINDOWS-1257'] = 'ISO-8859-13';
    
    // return if convert succeeded
    if (($out = mb_convert_encoding($str, ($aliases[$to] ? $aliases[$to] : $to), ($aliases[$from] ? $aliases[$from] : $from))) != '')
      return $out;
    if (is_null($mbstring_list)) {
      $mbstring_list = mb_list_encodings();
      $mbstring_list = array_map('strtoupper', $mbstring_list);
    }
    
  
    $mb_from = $aliases[$from] ? $aliases[$from] : $from;
    $mb_to = $aliases[$to] ? $aliases[$to] : $to;
    
    // return if encoding found, string matches encoding and convert succeeded
    if (in_array($mb_from, $mbstring_list) && in_array($mb_to, $mbstring_list)) {
      if (mb_check_encoding($str, $mb_from) && ($out = mb_convert_encoding($str, $mb_to, $mb_from)))
        return $out;
    }
  }

  # try to convert with custom classes
  if (class_exists('utf8'))
    $conv = new utf8();

  // convert string to UTF-8
  if ($from == 'UTF-7')
    $str = utf7_to_utf8($str);
  else if (($from == 'ISO-8859-1') && function_exists('utf8_encode'))
  if ($from == 'UTF-7') {
    if ($_str = utf7_to_utf8($str))
      $str = $_str;
    else
      $error = true;
  }
  else if (($from == 'ISO-8859-1') && function_exists('utf8_encode')) {
    $str = utf8_encode($str);
  else if ($from != 'UTF-8' && $conv)
    {
  }
  else if ($from != 'UTF-8' && $conv) {
    $conv->loadCharset($from);
    $str = $conv->strToUtf8($str);
    }
  }
  else if ($from != 'UTF-8')
    $error = true;

  // encode string for output
  if ($to == 'UTF-7')
  if ($to == 'UTF-7') {
    return utf8_to_utf7($str);
  else if ($to == 'ISO-8859-1' && function_exists('utf8_decode'))
  }
  else if ($to == 'ISO-8859-1' && function_exists('utf8_decode')) {
    return utf8_decode($str);
  else if ($to != 'UTF-8' && $conv)
    {
  }
  else if ($to != 'UTF-8' && $conv) {
    $conv->loadCharset($to);
    return $conv->utf8ToStr($str);
    }
  else if ($to != 'UTF-8')
  }
  else if ($to != 'UTF-8') {
    $error = true;

  }
  
  // report error
  if ($error && !$convert_warning)
    {
  if ($error && !$convert_warning){
    raise_error(array(
      'code' => 500,
      'type' => 'php',
      'file' => __FILE__,
      'message' => "Could not convert string charset. Make sure iconv is installed or lib/utf8.class is available"
      'message' => "Could not convert string from $from to $to. Make sure iconv is installed or lib/utf8.class is available"
      ), true, false);
    
    $convert_warning = true;
    }
  }
  
  // return UTF-8 string
  return $str;
@@ -347,7 +343,7 @@
      $str = strip_tags($str);
    
    // avoid douple quotation of &
    $out = preg_replace('/&amp;([a-z]{2,5}|#[0-9]{2,4});/', '&\\1;', strtr($str, $encode_arr));
    $out = preg_replace('/&amp;([A-Za-z]{2,6}|#[0-9]{2,4});/', '&\\1;', strtr($str, $encode_arr));
      
    return $newlines ? nl2br($out) : $out;
    }
@@ -370,6 +366,9 @@
      }

    $xml_rep_table['"'] = '&quot;';
    $js_rep_table['"'] = '\\"';
    $js_rep_table["'"] = "\\'";
    $js_rep_table["\\"] = "\\\\";
    }

  // encode for XML
@@ -382,7 +381,7 @@
    if ($charset!='UTF-8')
      $str = rcube_charset_convert($str, RCMAIL_CHARSET,$charset);
      
    return preg_replace(array("/\r?\n/", "/\r/", '/<\\//'), array('\n', '\n', '<\\/'), addslashes(strtr($str, $js_rep_table)));
    return preg_replace(array("/\r?\n/", "/\r/", '/<\\//'), array('\n', '\n', '<\\/'), strtr($str, $js_rep_table));
    }

  // no encoding given -> return original string
@@ -443,8 +442,11 @@
      $value = $_COOKIE[$fname];
    }
  
  // strip single quotes if magic_quotes_sybase is enabled
  if (ini_get('magic_quotes_sybase'))
    $value = str_replace("''", "'", $value);
  // strip slashes if magic_quotes enabled
  if ((bool)get_magic_quotes_gpc())
  else if (get_magic_quotes_gpc() || get_magic_quotes_runtime())
    $value = stripslashes($value);

  // remove HTML tags if not allowed    
@@ -575,7 +577,8 @@

  // use value from post
  if (!empty($_POST[$fname]))
    $value = get_input_value($fname, RCUBE_INPUT_POST);
    $value = get_input_value($fname, RCUBE_INPUT_POST,
       $type == 'textarea' && strpos($attrib['class'], 'mce_editor')!==false ? true : false);

  $out = $input->show($value);
         
@@ -591,43 +594,41 @@
 * @param string Container ID to use as prefix
 * @return string Modified CSS source
 */
function rcmail_mod_css_styles($source, $container_id, $base_url = '')
function rcmail_mod_css_styles($source, $container_id)
  {
  $a_css_values = array();
  $last_pos = 0;
  $replacements = new rcube_string_replacer;
  
  // ignore the whole block if evil styles are detected
  $stripped = preg_replace('/[^a-z\(:]/', '', rcmail_xss_entitiy_decode($source));
  if (preg_match('/expression|behavior|url\(|import/', $stripped))
    return '';
    return '/* evil! */';

  // cut out all contents between { and }
  while (($pos = strpos($source, '{', $last_pos)) && ($pos2 = strpos($source, '}', $pos)))
  {
    $key = sizeof($a_css_values);
    $a_css_values[$key] = substr($source, $pos+1, $pos2-($pos+1));
    $source = substr($source, 0, $pos+1) . "<<str_replacement[$key]>>" . substr($source, $pos2, strlen($source)-$pos2);
    $key = $replacements->add(substr($source, $pos+1, $pos2-($pos+1)));
    $source = substr($source, 0, $pos+1) . $replacements->get_replacement($key) . substr($source, $pos2, strlen($source)-$pos2);
    $last_pos = $pos+2;
  }

  
  // remove html comments and add #container to each tag selector.
  // also replace body definition because we also stripped off the <body> tag
  $styles = preg_replace(
    array(
      '/(^\s*<!--)|(-->\s*$)/',
      '/(^\s*|,\s*|\}\s*)([a-z0-9\._#][a-z0-9\.\-_]*)/im',
      '/@import\s+(url\()?[\'"]?([^\)\'"]+)[\'"]?(\))?/ime',
      '/<<str_replacement\[([0-9]+)\]>>/e',
      "/$container_id\s+body/i"
      "/$container_id\s+body/i",
    ),
    array(
      '',
      "\\1#$container_id \\2",
      "sprintf(\"@import url('./bin/modcss.php?u=%s&c=%s')\", urlencode(make_absolute_url('\\2','$base_url')), urlencode($container_id))",
      "\$a_css_values[\\1]",
      "$container_id div.rcmBody"
      "$container_id div.rcmBody",
    ),
    $source);
  
  // put block contents back in
  $styles = $replacements->resolve($styles);

  return $styles;
  }
@@ -643,11 +644,22 @@
function rcmail_xss_entitiy_decode($content)
{
  $out = html_entity_decode(html_entity_decode($content));
  $out = preg_replace('/\\\([a-z0-9]{4})/ie', "chr(hexdec('\\1'))", $out);
  $out = preg_replace_callback('/\\\([0-9a-f]{4})/i', 'rcmail_xss_entitiy_decode_callback', $out);
  $out = preg_replace('#/\*.*\*/#Um', '', $out);
  return $out;
}


/**
 * preg_replace_callback callback for rcmail_xss_entitiy_decode_callback
 *
 * @param array matches result from preg_replace_callback
 * @return string decoded entity
 */ 
function rcmail_xss_entitiy_decode_callback($matches)
{ 
  return chr(hexdec($matches[1]));
}

/**
 * Compose a valid attribute string for HTML tags
@@ -677,7 +689,7 @@
function parse_attrib_string($str)
  {
  $attrib = array();
  preg_match_all('/\s*([-_a-z]+)=(["\'])??(?(2)([^\2]+)\2|(\S+?))/Ui', stripslashes($str), $regs, PREG_SET_ORDER);
  preg_match_all('/\s*([-_a-z]+)=(["\'])??(?(2)([^\2]*)\2|(\S+?))/Ui', stripslashes($str), $regs, PREG_SET_ORDER);

  // convert attributes to an associative array (name => value)
  if ($regs)
@@ -708,10 +720,12 @@
    $ts = $date;
  else if (!empty($date))
    {
    while (($ts = @strtotime($date))===false)
    // support non-standard "GMTXXXX" literal
    $date = preg_replace('/GMT\s*([+-][0-9]+)/', '\\1', $date);
    // if date parsing fails, we have a date in non-rfc format.
    // remove token from the end and try again
    while ((($ts = @strtotime($date))===false) || ($ts < 0))
      {
        // if we have a date in non-rfc format
        // remove token from the end and try again
        $d = explode(' ', $date);
        array_pop($d);
        if (!$d) break;
@@ -849,7 +863,7 @@
  $log_entry = sprintf("[%s]: %s\n",
                 date("d-M-Y H:i:s O", mktime()),
                 $line);
                 

  if ($CONFIG['log_driver'] == 'syslog') {
    if ($name == 'errors')
      $prio = LOG_ERR;
@@ -860,10 +874,11 @@
    // log_driver == 'file' is assumed here
    if (empty($CONFIG['log_dir']))
      $CONFIG['log_dir'] = INSTALL_PATH.'logs';
      

    // try to open specific log file for writing
    if ($fp = @fopen($CONFIG['log_dir'].'/'.$name, 'a')) {
      fwrite($fp, $log_entry);
      fflush($fp);
      fclose($fp);
    }
  }
@@ -912,8 +927,7 @@
  $attrib += array('maxlength' => 100, 'relanames' => false);

  // add some labels to client
  rcube_add_label('purgefolderconfirm');
  rcube_add_label('deletemessagesconfirm');
  $RCMAIL->output->add_label('purgefolderconfirm', 'deletemessagesconfirm');
  
  $type = $attrib['type'] ? $attrib['type'] : 'ul';
  unset($attrib['type']);
@@ -1066,8 +1080,10 @@
      $classes[] = 'trash';
    else if ($folder['id']==$CONFIG['junk_mbox'])
      $classes[] = 'junk';
    else if ($folder['id']=='INBOX')
      $classes[] = 'inbox';
    else
      $classes[] = asciiwords($folder_class ? $folder_class : strtolower($folder['id']), true);
      $classes[] = '_'.asciiwords($folder_class ? $folder_class : strtolower($folder['id']), true);
      
    $classes[] = $zebra_class;
    
@@ -1157,17 +1173,15 @@
{
  global $CONFIG;

  $cname = null;
  $folder_lc = strtolower($folder_id);
  
  // for these mailboxes we have localized labels and css classes
  foreach (array('inbox', 'sent', 'drafts', 'trash', 'junk') as $smbx)
  foreach (array('sent', 'drafts', 'trash', 'junk') as $smbx)
  {
    if ($folder_lc == $smbx || $folder_id == $CONFIG[$smbx.'_mbox'])
      $cname = $smbx;
    if ($folder_id == $CONFIG[$smbx.'_mbox'])
      return $smbx;
  }
  
  return $cname;

  if ($folder_id == 'INBOX')
    return 'inbox';
}


@@ -1187,4 +1201,43 @@
}


/**
 * Output HTML editor scripts
 *
 * @param string Editor mode
 */
function rcube_html_editor($mode='')
{
  global $OUTPUT, $CONFIG;

  $lang = $tinylang = strtolower(substr($_SESSION['language'], 0, 2));
  if (!file_exists(INSTALL_PATH . 'program/js/tiny_mce/langs/'.$tinylang.'.js'))
    $tinylang = 'en';

  $OUTPUT->include_script('tiny_mce/tiny_mce.js');
  $OUTPUT->include_script('editor.js');
  $OUTPUT->add_script('rcmail_editor_init("$__skin_path", "'.JQ($tinylang).'", '.intval($CONFIG['enable_spellcheck']).', "'.$mode.'");');
}



/**
 * Helper class to turn relative urls into absolute ones
 * using a predefined base
 */
class rcube_base_replacer
{
  private $base_url;
  
  public function __construct($base)
  {
    $this->base_url = $base;
  }
  
  public function callback($matches)
  {
    return $matches[1] . '="' . make_absolute_url($matches[3], $this->base_url) . '"';
  }
}

?>