Fix rcube_utils::normalize_string() to support unicode characters + add arg...

Thomas Bruederli

2014-12-28 e8b82c2e7b0ae2e5d45ecb600813b8990568feb9

 program/lib/Roundcube/rcube_mime.php

@@ -3,8 +3,8 @@
/*
 +-----------------------------------------------------------------------+
 | This file is part of the Roundcube Webmail client                     |
 | Copyright (C) 2005-2012, The Roundcube Dev Team                       |
 | Copyright (C) 2011-2012, Kolab Systems AG                             |
 | Copyright (C) 2005-2014, The Roundcube Dev Team                       |
 | Copyright (C) 2011-2014, Kolab Systems AG                             |
 |                                                                       |
 | Licensed under the GNU General Public License version 3 or            |
 | any later version with exceptions for skins & plugins.                |
@@ -39,7 +39,6 @@
        self::$default_charset = $default_charset;
    }


    /**
     * Returns message/object character set name
     *
@@ -58,7 +57,6 @@
        return RCUBE_CHARSET;
    }


    /**
     * Parse the given raw message source and return a structure
     * of rcube_message_part objects.
@@ -75,7 +73,6 @@
        return self::structure_part($struct);
    }


    /**
     * Recursive method to convert a Mail_mimeDecode part into a rcube_message_part object
     *
@@ -88,28 +85,30 @@
    private static function structure_part($part, $count=0, $parent='')
    {
        $struct = new rcube_message_part;
        $struct->mime_id = $part->mime_id ? $part->mime_id : (empty($parent) ? (string)$count : "$parent.$count");
        $struct->headers = $part->headers;
        $struct->ctype_primary = $part->ctype_primary;
        $struct->ctype_secondary = $part->ctype_secondary;
        $struct->mimetype = $part->ctype_primary . '/' . $part->ctype_secondary;
        $struct->mime_id          = $part->mime_id ?: (empty($parent) ? (string)$count : "$parent.$count");
        $struct->headers          = $part->headers;
        $struct->mimetype         = $part->ctype_primary . '/' . $part->ctype_secondary;
        $struct->ctype_primary    = $part->ctype_primary;
        $struct->ctype_secondary  = $part->ctype_secondary;
        $struct->ctype_parameters = $part->ctype_parameters;

        if ($part->headers['content-transfer-encoding'])
        if ($part->headers['content-transfer-encoding']) {
            $struct->encoding = $part->headers['content-transfer-encoding'];
        if ($part->ctype_parameters['charset'])
            $struct->charset = $part->ctype_parameters['charset'];
        }

        $part_charset = $struct->charset ? $struct->charset : self::get_charset();
        if ($part->ctype_parameters['charset']) {
            $struct->charset = $part->ctype_parameters['charset'];
        }

        $part_charset = $struct->charset ?: self::get_charset();

        // determine filename
        if (($filename = $part->d_parameters['filename']) || ($filename = $part->ctype_parameters['name'])) {
            $struct->filename = rcube_mime::decode_mime_string($filename, $part_charset);
        }

        // copy part body and convert it to UTF-8 if necessary
        $struct->body = $part->ctype_primary == 'text' || !$part->ctype_parameters['charset'] ? rcube_charset::convert($part->body, $part_charset) : $part->body;
        $struct->size = strlen($part->body);
        $struct->body        = $part->body;
        $struct->size        = strlen($part->body);
        $struct->disposition = $part->disposition;

        foreach ((array)$part->parts as $child_part) {
@@ -118,7 +117,6 @@

        return $struct;
    }


    /**
     * Split an address list into a structured array list
@@ -169,7 +167,6 @@
        return $out;
    }


    /**
     * Decode a message header value
     *
@@ -184,7 +181,6 @@

        return $str;
    }


    /**
     * Decode a mime-encoded string to internal charset
@@ -282,12 +278,12 @@
        return rcube_charset::convert($input, $default_charset);
    }


    /**
     * Decode a mime part
     *
     * @param string $input    Input string
     * @param string $encoding Part encoding
     *
     * @return string Decoded string
     */
    public static function decode($input, $encoding = '7bit')
@@ -308,10 +304,8 @@
        }
    }


    /**
     * Split RFC822 header string into an associative array
     * @access private
     */
    public static function parse_headers($headers)
    {
@@ -331,7 +325,6 @@

        return $a_headers;
    }


    /**
     * @access private
@@ -366,6 +359,9 @@
                $address = 'MAILER-DAEMON';
                $name    = substr($val, 0, -strlen($m[1]));
            }
            else if (preg_match('/('.$email_rx.')/', $val, $m)) {
                $name = $m[1];
            }
            else {
                $name = $val;
            }
@@ -387,16 +383,17 @@

            if (!$address && $name) {
                $address = $name;
                $name    = '';
            }

            if ($address) {
                $address      = self::fix_email($address);
                $result[$key] = array('name' => $name, 'address' => $address);
            }
        }

        return $result;
    }


    /**
     * Explodes header (e.g. address-list) string into array of strings
@@ -472,19 +469,20 @@
        return $result;
    }


    /**
     * Interpret a format=flowed message body according to RFC 2646
     *
     * @param string  $text Raw body formatted as flowed text
     * @param string $text Raw body formatted as flowed text
     * @param string $mark Mark each flowed line with specified character
     *
     * @return string Interpreted text with unwrapped lines and stuffed space removed
     */
    public static function unfold_flowed($text)
    public static function unfold_flowed($text, $mark = null)
    {
        $text = preg_split('/\r?\n/', $text);
        $last = -1;
        $text    = preg_split('/\r?\n/', $text);
        $last    = -1;
        $q_level = 0;
        $marks   = array();

        foreach ($text as $idx => $line) {
            if (preg_match('/^(>+)/', $line, $m)) {
@@ -504,6 +502,10 @@
                ) {
                    $text[$last] .= $line;
                    unset($text[$idx]);

                    if ($mark) {
                        $marks[$last] = true;
                    }
                }
                else {
                    $last = $idx;
@@ -516,7 +518,7 @@
                }
                else {
                    // remove space-stuffing
                    $line = preg_replace('/^\s/', '', $line);
                    $line = preg_replace('/^ /', '', $line);

                    if (isset($text[$last]) && $line
                        && $text[$last] != '-- '
@@ -524,6 +526,10 @@
                    ) {
                        $text[$last] .= $line;
                        unset($text[$idx]);

                        if ($mark) {
                            $marks[$last] = true;
                        }
                    }
                    else {
                        $text[$idx] = $line;
@@ -534,15 +540,20 @@
            $q_level = $q;
        }

        if (!empty($marks)) {
            foreach (array_keys($marks) as $mk) {
                $text[$mk] = $mark . $text[$mk];
            }
        }

        return implode("\r\n", $text);
    }


    /**
     * Wrap the given text to comply with RFC 2646
     *
     * @param string $text Text to wrap
     * @param int $length Length
     * @param string $text    Text to wrap
     * @param int    $length  Length
     * @param string $charset Character encoding of $text
     *
     * @return string Wrapped text
@@ -574,7 +585,6 @@

        return implode("\r\n", $text);
    }


    /**
     * Improved wordwrap function with multibyte support.
@@ -695,7 +705,6 @@
        return implode($break, $result);
    }


    /**
     * A method to guess the mime_type of an attachment.
     *
@@ -714,8 +723,8 @@
    {
        static $mime_ext = array();

        $mime_type = null;
        $config = rcube::get_instance()->config;
        $mime_type  = null;
        $config     = rcube::get_instance()->config;
        $mime_magic = $config->get('mime_magic');

        if (!$skip_suffix && empty($mime_ext)) {
@@ -769,12 +778,13 @@
        return $mime_type;
    }


    /**
     * Get mimetype => file extension mapping
     *
     * @param string  Mime-Type to get extensions for
     * @return array  List of extensions matching the given mimetype or a hash array with ext -> mimetype mappings if $mimetype is not given
     * @param string Mime-Type to get extensions for
     *
     * @return array List of extensions matching the given mimetype or a hash array
     *               with ext -> mimetype mappings if $mimetype is not given
     */
    public static function get_mime_extensions($mimetype = null)
    {
@@ -802,6 +812,7 @@
            $file_paths[] = '/etc/httpd2/mime.types';
            $file_paths[] = '/etc/apache/mime.types';
            $file_paths[] = '/etc/apache2/mime.types';
            $file_paths[] = '/etc/nginx/mime.types';
            $file_paths[] = '/usr/local/etc/httpd/conf/mime.types';
            $file_paths[] = '/usr/local/etc/apache/conf/mime.types';
        }
@@ -866,7 +877,6 @@
        return $mimetype ? $mime_types[$mimetype] : $mime_extensions;
    }


    /**
     * Detect image type of the given binary data by checking magic numbers.
     *
@@ -885,4 +895,19 @@
        return 'image/' . $type;
    }

    /**
     * Try to fix invalid email addresses
     */
    public static function fix_email($email)
    {
        $parts = rcube_utils::explode_quoted_string('@', $email);
        foreach ($parts as $idx => $part) {
            // remove redundant quoting (#1490040)
            if ($part[0] == '"' && preg_match('/^"([a-zA-Z0-9._+=-]+)"$/', $part, $m)) {
                $parts[$idx] = $m[1];
            }
        }

        return implode('@', $parts);
    }
}