Strip folder name and .git from repo links in the project view

James Moger

2012-09-10 fabe060d3a435f116128851f828e35c2af5fde67

 src/com/gitblit/GitBlit.java

@@ -15,26 +15,40 @@
 */

package com.gitblit;



import java.io.BufferedReader;

import java.io.File;

import java.io.FileFilter;

import java.io.IOException;

import java.io.InputStream;

import java.io.InputStreamReader;

import java.lang.reflect.Field;

import java.text.MessageFormat;

import java.text.SimpleDateFormat;

import java.util.ArrayList;

import java.util.Arrays;

import java.util.Collection;

import java.util.Collections;

import java.util.Date;

import java.util.HashMap;

import java.util.LinkedHashMap;

import java.util.LinkedHashSet;

import java.util.List;

import java.util.Map;

import java.util.Map.Entry;

import java.util.Set;

import java.util.TimeZone;

import java.util.TreeMap;

import java.util.TreeSet;

import java.util.concurrent.ConcurrentHashMap;

import java.util.concurrent.Executors;

import java.util.concurrent.ScheduledExecutorService;

import java.util.concurrent.TimeUnit;

import java.util.concurrent.atomic.AtomicInteger;

import java.util.concurrent.atomic.AtomicReference;



import javax.mail.Message;

import javax.mail.MessagingException;

import javax.servlet.ServletContext;

import javax.servlet.ServletContextEvent;

import javax.servlet.ServletContextListener;

import javax.servlet.http.Cookie;

@@ -44,6 +58,10 @@
import org.eclipse.jgit.lib.Repository;

import org.eclipse.jgit.lib.RepositoryCache.FileKey;

import org.eclipse.jgit.lib.StoredConfig;

import org.eclipse.jgit.storage.file.FileBasedConfig;

import org.eclipse.jgit.storage.file.WindowCache;

import org.eclipse.jgit.storage.file.WindowCacheConfig;

import org.eclipse.jgit.transport.ServiceMayNotContinueException;

import org.eclipse.jgit.transport.resolver.FileResolver;

import org.eclipse.jgit.transport.resolver.RepositoryResolver;

import org.eclipse.jgit.transport.resolver.ServiceNotAuthorizedException;

@@ -54,17 +72,32 @@
import org.slf4j.LoggerFactory;



import com.gitblit.Constants.AccessRestrictionType;

import com.gitblit.Constants.AuthorizationControl;

import com.gitblit.Constants.FederationRequest;

import com.gitblit.Constants.FederationStrategy;

import com.gitblit.Constants.FederationToken;

import com.gitblit.models.FederationModel;

import com.gitblit.models.FederationProposal;

import com.gitblit.models.FederationSet;

import com.gitblit.models.Metric;

import com.gitblit.models.ProjectModel;

import com.gitblit.models.RepositoryModel;

import com.gitblit.models.SearchResult;

import com.gitblit.models.ServerSettings;

import com.gitblit.models.ServerStatus;

import com.gitblit.models.SettingModel;

import com.gitblit.models.TeamModel;

import com.gitblit.models.UserModel;

import com.gitblit.utils.ArrayUtils;

import com.gitblit.utils.ByteFormat;

import com.gitblit.utils.ContainerUtils;

import com.gitblit.utils.DeepCopier;

import com.gitblit.utils.FederationUtils;

import com.gitblit.utils.JGitUtils;

import com.gitblit.utils.JsonUtils;

import com.gitblit.utils.MetricUtils;

import com.gitblit.utils.ObjectCache;

import com.gitblit.utils.StringUtils;

import com.google.gson.Gson;

import com.google.gson.GsonBuilder;



/**

 * GitBlit is the servlet context listener singleton that acts as the core for

@@ -85,7 +118,7 @@
public class GitBlit implements ServletContextListener {



   private static GitBlit gitblit;



	
   private final Logger logger = LoggerFactory.getLogger(GitBlit.class);



   private final ScheduledExecutorService scheduledExecutor = Executors.newScheduledThreadPool(5);

@@ -95,17 +128,37 @@


   private final Map<String, FederationModel> federationPullResults = new ConcurrentHashMap<String, FederationModel>();



   private final ObjectCache<Long> repositorySizeCache = new ObjectCache<Long>();



   private final ObjectCache<List<Metric>> repositoryMetricsCache = new ObjectCache<List<Metric>>();

	
   private final Map<String, RepositoryModel> repositoryListCache = new ConcurrentHashMap<String, RepositoryModel>();

	
   private final Map<String, ProjectModel> projectCache = new ConcurrentHashMap<String, ProjectModel>();

	
   private final AtomicReference<String> repositoryListSettingsChecksum = new AtomicReference<String>("");



   private RepositoryResolver<Void> repositoryResolver;



   private File repositoriesFolder;

   private ServletContext servletContext;



   private boolean exportAll = true;

   private File repositoriesFolder;



   private IUserService userService;



   private IStoredSettings settings;



   private ServerSettings settingsModel;



   private ServerStatus serverStatus;



   private MailExecutor mailExecutor;

	
   private LuceneExecutor luceneExecutor;

	
   private TimeZone timezone;

	
   private FileBasedConfig projectConfigs;



   public GitBlit() {

      if (gitblit == null) {

@@ -134,6 +187,33 @@
   public static boolean isGO() {

      return self().settings instanceof FileSettings;

   }

	
   /**

    * Returns the preferred timezone for the Gitblit instance.

    * 
    * @return a timezone

    */

   public static TimeZone getTimezone() {

      if (self().timezone == null) {

         String tzid = getString("web.timezone", null);

         if (StringUtils.isEmpty(tzid)) {

            self().timezone = TimeZone.getDefault();

            return self().timezone;

         }

         self().timezone = TimeZone.getTimeZone(tzid);

      }

      return self().timezone;

   }

	
   /**

    * Returns the user-defined blob encodings.

    * 
    * @return an array of encodings, may be empty

    */

   public static String [] getEncodings() {

      return getStrings(Keys.web.blobEncodings).toArray(new String[0]);

   }

	


   /**

    * Returns the boolean value for the specified key. If the key does not

@@ -203,6 +283,17 @@
   }



   /**

    * Returns a map of space-separated key-value pairs from the specified key.

    * 
    * @see IStoredSettings.getStrings(String key)

    * @param name

    * @return map of string, string

    */

   public static Map<String, String> getMap(String key) {

      return self().settings.getMap(key);

   }



   /**

    * Returns the list of keys whose name starts with the specified prefix. If

    * the prefix is null or empty, all key names are returned.

    * 

@@ -222,6 +313,81 @@
    */

   public static boolean isDebugMode() {

      return self().settings.getBoolean(Keys.web.debugMode, false);

   }



   /**

    * Returns the file object for the specified configuration key.

    * 
    * @return the file

    */

   public static File getFileOrFolder(String key, String defaultFileOrFolder) {

      String fileOrFolder = GitBlit.getString(key, defaultFileOrFolder);

      return getFileOrFolder(fileOrFolder);

   }



   /**

    * Returns the file object which may have it's base-path determined by

    * environment variables for running on a cloud hosting service. All Gitblit

    * file or folder retrievals are (at least initially) funneled through this

    * method so it is the correct point to globally override/alter filesystem

    * access based on environment or some other indicator.

    * 
    * @return the file

    */

   public static File getFileOrFolder(String fileOrFolder) {

      String openShift = System.getenv("OPENSHIFT_DATA_DIR");

      if (!StringUtils.isEmpty(openShift)) {

         // running on RedHat OpenShift

         return new File(openShift, fileOrFolder);

      }

      return new File(fileOrFolder);

   }



   /**

    * Returns the path of the repositories folder. This method checks to see if

    * Gitblit is running on a cloud service and may return an adjusted path.

    * 
    * @return the repositories folder path

    */

   public static File getRepositoriesFolder() {

      return getFileOrFolder(Keys.git.repositoriesFolder, "git");

   }



   /**

    * Returns the path of the proposals folder. This method checks to see if

    * Gitblit is running on a cloud service and may return an adjusted path.

    * 
    * @return the proposals folder path

    */

   public static File getProposalsFolder() {

      return getFileOrFolder(Keys.federation.proposalsFolder, "proposals");

   }



   /**

    * Returns the path of the Groovy folder. This method checks to see if

    * Gitblit is running on a cloud service and may return an adjusted path.

    * 
    * @return the Groovy scripts folder path

    */

   public static File getGroovyScriptsFolder() {

      return getFileOrFolder(Keys.groovy.scriptsFolder, "groovy");

   }



   /**

    * Updates the list of server settings.

    * 
    * @param settings

    * @return true if the update succeeded

    */

   public boolean updateSettings(Map<String, String> updatedSettings) {

      return settings.saveSettings(updatedSettings);

   }



   public ServerStatus getStatus() {

      // update heap memory status

      serverStatus.heapAllocated = Runtime.getRuntime().totalMemory();

      serverStatus.heapFree = Runtime.getRuntime().freeMemory();

      return serverStatus;

   }



   /**

@@ -248,6 +414,39 @@
   public void setUserService(IUserService userService) {

      logger.info("Setting up user service " + userService.toString());

      this.userService = userService;

      this.userService.setup(settings);

   }

	
   /**

    * 
    * @return true if the user service supports credential changes

    */

   public boolean supportsCredentialChanges() {

      return userService.supportsCredentialChanges();

   }



   /**

    * 
    * @return true if the user service supports display name changes

    */

   public boolean supportsDisplayNameChanges() {

      return userService.supportsDisplayNameChanges();

   }



   /**

    * 
    * @return true if the user service supports email address changes

    */

   public boolean supportsEmailAddressChanges() {

      return userService.supportsEmailAddressChanges();

   }



   /**

    * 
    * @return true if the user service supports team membership changes

    */

   public boolean supportsTeamMembershipChanges() {

      return userService.supportsTeamMembershipChanges();

   }



   /**

@@ -329,13 +528,31 @@
            userCookie = new Cookie(Constants.NAME, "");

         } else {

            // set cookie for login

            char[] cookie = userService.getCookie(user);

            userCookie = new Cookie(Constants.NAME, new String(cookie));

            userCookie.setMaxAge(Integer.MAX_VALUE);

            String cookie = userService.getCookie(user);

            if (StringUtils.isEmpty(cookie)) {

               // create empty cookie

               userCookie = new Cookie(Constants.NAME, "");

            } else {

               // create real cookie

               userCookie = new Cookie(Constants.NAME, cookie);

               userCookie.setMaxAge(Integer.MAX_VALUE);

            }

         }

         userCookie.setPath("/");

         response.addCookie(userCookie);

      }

   }

	
   /**

    * Logout a user.

    * 
    * @param user

    */

   public void logout(UserModel user) {

      if (userService == null) {

         return;

      }

      userService.logout(user);

   }



   /**

@@ -346,8 +563,18 @@
    */

   public List<String> getAllUsernames() {

      List<String> names = new ArrayList<String>(userService.getAllUsernames());

      Collections.sort(names);

      return names;

   }



   /**

    * Returns the list of all users available to the login service.

    * 
    * @see IUserService.getAllUsernames()

    * @return list of all usernames

    */

   public List<UserModel> getAllUsers() {

      List<UserModel> users = userService.getAllUsers();

      return users;

   }



   /**

@@ -410,9 +637,180 @@
    */

   public void updateUserModel(String username, UserModel user, boolean isCreate)

         throws GitBlitException {

      if (!username.equalsIgnoreCase(user.username)) {

         if (userService.getUserModel(user.username) != null) {

            throw new GitBlitException(MessageFormat.format(

                  "Failed to rename ''{0}'' because ''{1}'' already exists.", username,

                  user.username));

         }

      }

      if (!userService.updateUserModel(username, user)) {

         throw new GitBlitException(isCreate ? "Failed to add user!" : "Failed to update user!");

      }

   }



   /**

    * Returns the list of available teams that a user or repository may be

    * assigned to.

    * 
    * @return the list of teams

    */

   public List<String> getAllTeamnames() {

      List<String> teams = new ArrayList<String>(userService.getAllTeamNames());

      return teams;

   }



   /**

    * Returns the list of available teams that a user or repository may be

    * assigned to.

    * 
    * @return the list of teams

    */

   public List<TeamModel> getAllTeams() {

      List<TeamModel> teams = userService.getAllTeams();

      return teams;

   }



   /**

    * Returns the TeamModel object for the specified name.

    * 
    * @param teamname

    * @return a TeamModel object or null

    */

   public TeamModel getTeamModel(String teamname) {

      return userService.getTeamModel(teamname);

   }



   /**

    * Returns the list of all teams who are allowed to bypass the access

    * restriction placed on the specified repository.

    * 
    * @see IUserService.getTeamnamesForRepositoryRole(String)

    * @param repository

    * @return list of all teamnames that can bypass the access restriction

    */

   public List<String> getRepositoryTeams(RepositoryModel repository) {

      return userService.getTeamnamesForRepositoryRole(repository.name);

   }



   /**

    * Sets the list of all uses who are allowed to bypass the access

    * restriction placed on the specified repository.

    * 
    * @see IUserService.setTeamnamesForRepositoryRole(String, List<String>)

    * @param repository

    * @param teamnames

    * @return true if successful

    */

   public boolean setRepositoryTeams(RepositoryModel repository, List<String> repositoryTeams) {

      return userService.setTeamnamesForRepositoryRole(repository.name, repositoryTeams);

   }



   /**

    * Updates the TeamModel object for the specified name.

    * 
    * @param teamname

    * @param team

    * @param isCreate

    */

   public void updateTeamModel(String teamname, TeamModel team, boolean isCreate)

         throws GitBlitException {

      if (!teamname.equalsIgnoreCase(team.name)) {

         if (userService.getTeamModel(team.name) != null) {

            throw new GitBlitException(MessageFormat.format(

                  "Failed to rename ''{0}'' because ''{1}'' already exists.", teamname,

                  team.name));

         }

      }

      if (!userService.updateTeamModel(teamname, team)) {

         throw new GitBlitException(isCreate ? "Failed to add team!" : "Failed to update team!");

      }

   }



   /**

    * Delete the team object with the specified teamname

    * 
    * @see IUserService.deleteTeam(String)

    * @param teamname

    * @return true if successful

    */

   public boolean deleteTeam(String teamname) {

      return userService.deleteTeam(teamname);

   }

	
   /**

    * Adds the repository to the list of cached repositories if Gitblit is

    * configured to cache the repository list.

    * 
    * @param name

    */

   private void addToCachedRepositoryList(String name, RepositoryModel model) {

      if (settings.getBoolean(Keys.git.cacheRepositoryList, true)) {

         repositoryListCache.put(name, model);

      }

   }

	
   /**

    * Removes the repository from the list of cached repositories.

    * 
    * @param name

    */

   private void removeFromCachedRepositoryList(String name) {

      if (StringUtils.isEmpty(name)) {

         return;

      }

      repositoryListCache.remove(name);

   }



   /**

    * Clears all the cached metadata for the specified repository.

    * 
    * @param repositoryName

    */

   private void clearRepositoryMetadataCache(String repositoryName) {

      repositorySizeCache.remove(repositoryName);

      repositoryMetricsCache.remove(repositoryName);

   }

	
   /**

    * Resets the repository list cache.

    * 
    */

   public void resetRepositoryListCache() {

      logger.info("Repository cache manually reset");

      repositoryListCache.clear();

   }

	
   /**

    * Calculate the checksum of settings that affect the repository list cache.

    * @return a checksum

    */

   private String getRepositoryListSettingsChecksum() {

      StringBuilder ns = new StringBuilder();

      ns.append(settings.getString(Keys.git.cacheRepositoryList, "")).append('\n');

      ns.append(settings.getString(Keys.git.onlyAccessBareRepositories, "")).append('\n');

      ns.append(settings.getString(Keys.git.searchRepositoriesSubfolders, "")).append('\n');

      ns.append(settings.getString(Keys.git.searchRecursionDepth, "")).append('\n');

      ns.append(settings.getString(Keys.git.searchExclusions, "")).append('\n');

      String checksum = StringUtils.getSHA1(ns.toString());

      return checksum;

   }

	
   /**

    * Compare the last repository list setting checksum to the current checksum.

    * If different then clear the cache so that it may be rebuilt.

    * 
    * @return true if the cached repository list is valid since the last check

    */

   private boolean isValidRepositoryList() {

      String newChecksum = getRepositoryListSettingsChecksum();

      boolean valid = newChecksum.equals(repositoryListSettingsChecksum.get());

      repositoryListSettingsChecksum.set(newChecksum);

      if (!valid && settings.getBoolean(Keys.git.cacheRepositoryList,  true)) {

         logger.info("Repository list settings have changed. Clearing repository list cache.");

         repositoryListCache.clear();

      }

      return valid;

   }



   /**

@@ -422,8 +820,48 @@
    * @return list of all repositories

    */

   public List<String> getRepositoryList() {

      return JGitUtils.getRepositoryList(repositoriesFolder, exportAll,

            settings.getBoolean(Keys.git.searchRepositoriesSubfolders, true));

      if (repositoryListCache.size() == 0 || !isValidRepositoryList()) {

         // we are not caching OR we have not yet cached OR the cached list is invalid

         long startTime = System.currentTimeMillis();

         List<String> repositories = JGitUtils.getRepositoryList(repositoriesFolder, 
               settings.getBoolean(Keys.git.onlyAccessBareRepositories, false),

               settings.getBoolean(Keys.git.searchRepositoriesSubfolders, true),

               settings.getInteger(Keys.git.searchRecursionDepth, -1),

               settings.getStrings(Keys.git.searchExclusions));



         if (!settings.getBoolean(Keys.git.cacheRepositoryList,  true)) {

            // we are not caching

            StringUtils.sortRepositorynames(repositories);

            return repositories;

         } else {

            // we are caching this list

            String msg = "{0} repositories identified in {1} msecs";



            // optionally (re)calculate repository sizes

            if (getBoolean(Keys.web.showRepositorySizes, true)) {

               msg = "{0} repositories identified with calculated folder sizes in {1} msecs";

               for (String repository : repositories) {

                  RepositoryModel model = getRepositoryModel(repository);

                  if (!model.skipSizeCalculation) {

                     calculateSize(model);

                  }

               }

            } else {

               // update cache

               for (String repository : repositories) {

                  getRepositoryModel(repository);

               }

            }

				
            long duration = System.currentTimeMillis() - startTime;

            logger.info(MessageFormat.format(msg, repositoryListCache.size(), duration));

         }

      }

		
      // return sorted copy of cached list

      List<String> list = new ArrayList<String>(repositoryListCache.keySet());		
      StringUtils.sortRepositorynames(list);

      return list;

   }



   /**

@@ -433,21 +871,44 @@
    * @return repository or null

    */

   public Repository getRepository(String repositoryName) {

      return getRepository(repositoryName, true);

   }



   /**

    * Returns the JGit repository for the specified name.

    * 
    * @param repositoryName

    * @param logError

    * @return repository or null

    */

   public Repository getRepository(String repositoryName, boolean logError) {

      Repository r = null;

      try {

         r = repositoryResolver.open(null, repositoryName);

      } catch (RepositoryNotFoundException e) {

         r = null;

         logger.error("GitBlit.getRepository(String) failed to find "

               + new File(repositoriesFolder, repositoryName).getAbsolutePath());

         if (logError) {

            logger.error("GitBlit.getRepository(String) failed to find "

                  + new File(repositoriesFolder, repositoryName).getAbsolutePath());

         }

      } catch (ServiceNotAuthorizedException e) {

         r = null;

         logger.error("GitBlit.getRepository(String) failed to find "

               + new File(repositoriesFolder, repositoryName).getAbsolutePath(), e);

         if (logError) {

            logger.error("GitBlit.getRepository(String) failed to find "

                  + new File(repositoriesFolder, repositoryName).getAbsolutePath(), e);

         }

      } catch (ServiceNotEnabledException e) {

         r = null;

         logger.error("GitBlit.getRepository(String) failed to find "

               + new File(repositoriesFolder, repositoryName).getAbsolutePath(), e);

         if (logError) {

            logger.error("GitBlit.getRepository(String) failed to find "

                  + new File(repositoriesFolder, repositoryName).getAbsolutePath(), e);

         }

      } catch (ServiceMayNotContinueException e) {

         r = null;

         if (logError) {

            logger.error("GitBlit.getRepository(String) failed to find "

                  + new File(repositoriesFolder, repositoryName).getAbsolutePath(), e);

         }

      }

      return r;

   }

@@ -459,6 +920,7 @@
    * @return list of repository models accessible to user

    */

   public List<RepositoryModel> getRepositoryModels(UserModel user) {

      long methodStart = System.currentTimeMillis();

      List<String> list = getRepositoryList();

      List<RepositoryModel> repositories = new ArrayList<RepositoryModel>();

      for (String repo : list) {

@@ -467,6 +929,26 @@
            repositories.add(model);

         }

      }

      if (getBoolean(Keys.web.showRepositorySizes, true)) {

         int repoCount = 0;

         long startTime = System.currentTimeMillis();

         ByteFormat byteFormat = new ByteFormat();

         for (RepositoryModel model : repositories) {

            if (!model.skipSizeCalculation) {

               repoCount++;

               model.size = byteFormat.format(calculateSize(model));

            }

         }

         long duration = System.currentTimeMillis() - startTime;

         if (duration > 250) {

            // only log calcualtion time if > 250 msecs

            logger.info(MessageFormat.format("{0} repository sizes calculated in {1} msecs",

               repoCount, duration));

         }

      }

      long duration = System.currentTimeMillis() - methodStart;

      logger.info(MessageFormat.format("{0} repository models loaded for {1} in {2} msecs",

            repositories.size(), user == null ? "anonymous" : user.username, duration));

      return repositories;

   }



@@ -484,7 +966,7 @@
         return null;

      }

      if (model.accessRestriction.atLeast(AccessRestrictionType.VIEW)) {

         if (user != null && user.canAccessRepository(model.name)) {

         if (user != null && user.canAccessRepository(model)) {

            return model;

         }

         return null;

@@ -501,6 +983,203 @@
    * @return repository model or null

    */

   public RepositoryModel getRepositoryModel(String repositoryName) {

      if (!repositoryListCache.containsKey(repositoryName)) {

         RepositoryModel model = loadRepositoryModel(repositoryName);

         if (model == null) {

            return null;

         }

         addToCachedRepositoryList(repositoryName, model);			
         return model;

      }

		
      // cached model

      RepositoryModel model = repositoryListCache.get(repositoryName);

		
      // check for updates

      Repository r = getRepository(repositoryName);

      if (r == null) {

         // repository is missing

         removeFromCachedRepositoryList(repositoryName);

         logger.error(MessageFormat.format("Repository \"{0}\" is missing! Removing from cache.", repositoryName));

         return null;

      }

		
      FileBasedConfig config = (FileBasedConfig) getRepositoryConfig(r);

      if (config.isOutdated()) {

         // reload model

         logger.info(MessageFormat.format("Config for \"{0}\" has changed. Reloading model and updating cache.", repositoryName));

         model = loadRepositoryModel(repositoryName);

         removeFromCachedRepositoryList(repositoryName);

         addToCachedRepositoryList(repositoryName, model);

      } else {

         // update a few repository parameters 
         if (!model.hasCommits) {

            // update hasCommits, assume a repository only gains commits :)

            model.hasCommits = JGitUtils.hasCommits(r);

         }



         model.lastChange = JGitUtils.getLastChange(r);

      }

      r.close();

		
      // return a copy of the cached model

      return DeepCopier.copy(model);

   }

	
	
   /**

    * Returns the map of project config.  This map is cached and reloaded if

    * the underlying projects.conf file changes.

    * 
    * @return project config map

    */

   private Map<String, ProjectModel> getProjectConfigs() {

      if (projectConfigs.isOutdated()) {

			
         try {

            projectConfigs.load();

         } catch (Exception e) {

         }



         // project configs

         String rootName = GitBlit.getString(Keys.web.repositoryRootGroupName, "main");

         ProjectModel rootProject = new ProjectModel(rootName, true);



         Map<String, ProjectModel> configs = new HashMap<String, ProjectModel>();

         // cache the root project under its alias and an empty path

         configs.put("", rootProject);

         configs.put(rootProject.name.toLowerCase(), rootProject);



         for (String name : projectConfigs.getSubsections("project")) {

            ProjectModel project;

            if (name.equalsIgnoreCase(rootName)) {

               project = rootProject;

            } else {

               project = new ProjectModel(name);

            }

            project.title = projectConfigs.getString("project", name, "title");

            project.description = projectConfigs.getString("project", name, "description");

            // TODO add more interesting metadata

            // project manager?

            // commit message regex?

            // RW+

            // RW

            // R

            configs.put(name.toLowerCase(), project);				
         }

         projectCache.clear();

         projectCache.putAll(configs);

      }

      return projectCache;

   }

	
   /**

    * Returns a list of project models for the user.

    * 
    * @param user

    * @return list of projects that are accessible to the user

    */

   public List<ProjectModel> getProjectModels(UserModel user) {

      Map<String, ProjectModel> configs = getProjectConfigs();



      // per-user project lists, this accounts for security and visibility

      Map<String, ProjectModel> map = new TreeMap<String, ProjectModel>();

      // root project

      map.put("", configs.get(""));

		
      for (RepositoryModel model : getRepositoryModels(user)) {

         String rootPath = StringUtils.getRootPath(model.name).toLowerCase();			
         if (!map.containsKey(rootPath)) {

            ProjectModel project;

            if (configs.containsKey(rootPath)) {

               // clone the project model because it's repository list will

               // be tailored for the requesting user

               project = DeepCopier.copy(configs.get(rootPath));

            } else {

               project = new ProjectModel(rootPath);

            }

            map.put(rootPath, project);

         }

         map.get(rootPath).addRepository(model);

      }

		
      // sort projects, root project first

      List<ProjectModel> projects = new ArrayList<ProjectModel>(map.values());

      Collections.sort(projects);

      projects.remove(map.get(""));

      projects.add(0, map.get(""));

      return projects;

   }

	
   /**

    * Returns the project model for the specified user.

    * 
    * @param name

    * @param user

    * @return a project model, or null if it does not exist

    */

   public ProjectModel getProjectModel(String name, UserModel user) {

      for (ProjectModel project : getProjectModels(user)) {

         if (project.name.equalsIgnoreCase(name)) {

            return project;

         }

      }

      return null;

   }

	
   /**

    * Returns a project model for the Gitblit/system user.

    * 
    * @param name a project name

    * @return a project model or null if the project does not exist

    */

   public ProjectModel getProjectModel(String name) {

      Map<String, ProjectModel> configs = getProjectConfigs();

      ProjectModel project = configs.get(name.toLowerCase());

      if (project == null) {

         return null;

      }

      // clone the object

      project = DeepCopier.copy(project);

      String folder = name.toLowerCase() + "/";

      for (String repository : getRepositoryList()) {

         if (repository.toLowerCase().startsWith(folder)) {

            project.addRepository(repository);

         }

      }

      return project;

   }

	
   /**

    * Workaround JGit.  I need to access the raw config object directly in order

    * to see if the config is dirty so that I can reload a repository model.

    * If I use the stock JGit method to get the config it already reloads the

    * config.  If the config changes are made within Gitblit this is fine as

    * the returned config will still be flagged as dirty.  BUT... if the config

    * is manipulated outside Gitblit then it fails to recognize this as dirty.

    *  
    * @param r

    * @return a config

    */

   private StoredConfig getRepositoryConfig(Repository r) {

      try {

         Field f = r.getClass().getDeclaredField("repoConfig");

         f.setAccessible(true);

         StoredConfig config = (StoredConfig) f.get(r);

         return config;

      } catch (Exception e) {

         logger.error("Failed to retrieve \"repoConfig\" via reflection", e);

      }

      return r.getConfig();

   }

	
   /**

    * Create a repository model from the configuration and repository data.

    * 
    * @param repositoryName

    * @return a repositoryModel or null if the repository does not exist

    */

   private RepositoryModel loadRepositoryModel(String repositoryName) {

      Repository r = getRepository(repositoryName);

      if (r == null) {

         return null;

@@ -508,38 +1187,88 @@
      RepositoryModel model = new RepositoryModel();

      model.name = repositoryName;

      model.hasCommits = JGitUtils.hasCommits(r);

      model.lastChange = JGitUtils.getLastChange(r, null);

      StoredConfig config = JGitUtils.readConfig(r);

      model.lastChange = JGitUtils.getLastChange(r);

      model.isBare = r.isBare();

		
      StoredConfig config = r.getConfig();

      if (config != null) {

         model.description = getConfig(config, "description", "");

         model.owner = getConfig(config, "owner", "");

         model.useTickets = getConfig(config, "useTickets", false);

         model.useDocs = getConfig(config, "useDocs", false);

         model.accessRestriction = AccessRestrictionType.fromName(getConfig(config,

               "accessRestriction", null));

               "accessRestriction", settings.getString(Keys.git.defaultAccessRestriction, null)));

         model.authorizationControl = AuthorizationControl.fromName(getConfig(config,

               "authorizationControl", settings.getString(Keys.git.defaultAuthorizationControl, null)));

         model.showRemoteBranches = getConfig(config, "showRemoteBranches", false);

         model.isFrozen = getConfig(config, "isFrozen", false);

         model.showReadme = getConfig(config, "showReadme", false);

         model.skipSizeCalculation = getConfig(config, "skipSizeCalculation", false);

         model.skipSummaryMetrics = getConfig(config, "skipSummaryMetrics", false);

         model.federationStrategy = FederationStrategy.fromName(getConfig(config,

               "federationStrategy", null));

         model.federationSets = new ArrayList<String>(Arrays.asList(config.getStringList(

               "gitblit", null, "federationSets")));

               Constants.CONFIG_GITBLIT, null, "federationSets")));

         model.isFederated = getConfig(config, "isFederated", false);

         model.origin = config.getString("remote", "origin", "url");

         model.preReceiveScripts = new ArrayList<String>(Arrays.asList(config.getStringList(

               Constants.CONFIG_GITBLIT, null, "preReceiveScript")));

         model.postReceiveScripts = new ArrayList<String>(Arrays.asList(config.getStringList(

               Constants.CONFIG_GITBLIT, null, "postReceiveScript")));

         model.mailingLists = new ArrayList<String>(Arrays.asList(config.getStringList(

               Constants.CONFIG_GITBLIT, null, "mailingList")));

         model.indexedBranches = new ArrayList<String>(Arrays.asList(config.getStringList(

               Constants.CONFIG_GITBLIT, null, "indexBranch")));

			
         // Custom defined properties

         model.customFields = new LinkedHashMap<String, String>();

         for (String aProperty : config.getNames(Constants.CONFIG_GITBLIT, Constants.CONFIG_CUSTOM_FIELDS)) {

            model.customFields.put(aProperty, config.getString(Constants.CONFIG_GITBLIT, Constants.CONFIG_CUSTOM_FIELDS, aProperty));

         }

      }

      model.HEAD = JGitUtils.getHEADRef(r);

      model.availableRefs = JGitUtils.getAvailableHeadTargets(r);

      r.close();

      return model;

   }

	
   /**

    * Determines if this server has the requested repository.

    * 
    * @param name

    * @return true if the repository exists

    */

   public boolean hasRepository(String repositoryName) {

      if (settings.getBoolean(Keys.git.cacheRepositoryList, true)) {

         // if we are caching use the cache to determine availability

         // otherwise we end up adding a phantom repository to the cache

         return repositoryListCache.containsKey(repositoryName);

      }		
      Repository r = getRepository(repositoryName, false);

      if (r == null) {

         return false;

      }

      r.close();

      return true;

   }



   /**

    * Returns the size in bytes of the repository.

    * Returns the size in bytes of the repository. Gitblit caches the

    * repository sizes to reduce the performance penalty of recursive

    * calculation. The cache is updated if the repository has been changed

    * since the last calculation.

    * 

    * @param model

    * @return size in bytes

    */

   public long calculateSize(RepositoryModel model) {

      if (repositorySizeCache.hasCurrent(model.name, model.lastChange)) {

         return repositorySizeCache.getObject(model.name);

      }

      File gitDir = FileKey.resolve(new File(repositoriesFolder, model.name), FS.DETECTED);

      return com.gitblit.utils.FileUtils.folderSize(gitDir);

      long size = com.gitblit.utils.FileUtils.folderSize(gitDir);

      repositorySizeCache.updateObject(model.name, model.lastChange, size);

      return size;

   }



   /**

@@ -575,10 +1304,32 @@
            repository.close();

         }

      }

		
      // close any open index writer/searcher in the Lucene executor

      luceneExecutor.close(repositoryName);

   }



   /**

    * Returns the gitblit string vlaue for the specified key. If key is not

    * Returns the metrics for the default branch of the specified repository.

    * This method builds a metrics cache. The cache is updated if the

    * repository is updated. A new copy of the metrics list is returned on each

    * call so that modifications to the list are non-destructive.

    * 
    * @param model

    * @param repository

    * @return a new array list of metrics

    */

   public List<Metric> getRepositoryDefaultMetrics(RepositoryModel model, Repository repository) {

      if (repositoryMetricsCache.hasCurrent(model.name, model.lastChange)) {

         return new ArrayList<Metric>(repositoryMetricsCache.getObject(model.name));

      }

      List<Metric> metrics = MetricUtils.getDateMetrics(repository, null, true, null, getTimezone());

      repositoryMetricsCache.updateObject(model.name, model.lastChange, metrics);

      return new ArrayList<Metric>(metrics);

   }



   /**

    * Returns the gitblit string value for the specified key. If key is not

    * set, returns defaultValue.

    * 

    * @param config

@@ -587,7 +1338,7 @@
    * @return field value or defaultValue

    */

   private String getConfig(StoredConfig config, String field, String defaultValue) {

      String value = config.getString("gitblit", null, field);

      String value = config.getString(Constants.CONFIG_GITBLIT, null, field);

      if (StringUtils.isEmpty(value)) {

         return defaultValue;

      }

@@ -595,7 +1346,7 @@
   }



   /**

    * Returns the gitblit boolean vlaue for the specified key. If key is not

    * Returns the gitblit boolean value for the specified key. If key is not

    * set, returns defaultValue.

    * 

    * @param config

@@ -604,7 +1355,7 @@
    * @return field value or defaultValue

    */

   private boolean getConfig(StoredConfig config, String field, boolean defaultValue) {

      return config.getBoolean("gitblit", field, defaultValue);

      return config.getBoolean(Constants.CONFIG_GITBLIT, field, defaultValue);

   }



   /**

@@ -640,6 +1391,15 @@
      } else {

         // rename repository

         if (!repositoryName.equalsIgnoreCase(repository.name)) {

            if (!repository.name.toLowerCase().endsWith(

                  org.eclipse.jgit.lib.Constants.DOT_GIT_EXT)) {

               repository.name += org.eclipse.jgit.lib.Constants.DOT_GIT_EXT;

            }

            if (new File(repositoriesFolder, repository.name).exists()) {

               throw new GitBlitException(MessageFormat.format(

                     "Failed to rename ''{0}'' because ''{1}'' already exists.",

                     repositoryName, repository.name));

            }

            closeRepository(repositoryName);

            File folder = new File(repositoriesFolder, repositoryName);

            File destFolder = new File(repositoriesFolder, repository.name);

@@ -648,6 +1408,11 @@
                     MessageFormat

                           .format("Can not rename repository ''{0}'' to ''{1}'' because ''{1}'' already exists.",

                                 repositoryName, repository.name));

            }

            File parentFile = destFolder.getParentFile();

            if (!parentFile.exists() && !parentFile.mkdirs()) {

               throw new GitBlitException(MessageFormat.format(

                     "Failed to create folder ''{0}''", parentFile.getAbsolutePath()));

            }

            if (!folder.renameTo(destFolder)) {

               throw new GitBlitException(MessageFormat.format(

@@ -660,6 +1425,9 @@
                     "Failed to rename repository permissions ''{0}'' to ''{1}''.",

                     repositoryName, repository.name));

            }



            // clear the cache

            clearRepositoryMetadataCache(repositoryName);

         }



         // load repository

@@ -672,16 +1440,35 @@
            logger.error("Service not authorized", e);

         } catch (ServiceNotEnabledException e) {

            logger.error("Service not enabled", e);

         } catch (ServiceMayNotContinueException e) {

            logger.error("Service may not continue", e);

         }

      }



      // update settings

      if (r != null) {

         updateConfiguration(r, repository);

         // only update symbolic head if it changes

         String currentRef = JGitUtils.getHEADRef(r);

         if (!StringUtils.isEmpty(repository.HEAD) && !repository.HEAD.equals(currentRef)) {

            logger.info(MessageFormat.format("Relinking {0} HEAD from {1} to {2}", 
                  repository.name, currentRef, repository.HEAD));

            if (JGitUtils.setHEADtoRef(r, repository.HEAD)) {

               // clear the cache

               clearRepositoryMetadataCache(repository.name);

            }

         }



         // close the repository object

         r.close();

      }

		
      // update repository cache

      removeFromCachedRepositoryList(repositoryName);

      // model will actually be replaced on next load because config is stale

      addToCachedRepositoryList(repository.name, repository);

   }



	
   /**

    * Updates the Gitblit configuration for the specified repository.

    * 

@@ -691,23 +1478,60 @@
    *            the Gitblit repository model

    */

   public void updateConfiguration(Repository r, RepositoryModel repository) {

      StoredConfig config = JGitUtils.readConfig(r);

      config.setString("gitblit", null, "description", repository.description);

      config.setString("gitblit", null, "owner", repository.owner);

      config.setBoolean("gitblit", null, "useTickets", repository.useTickets);

      config.setBoolean("gitblit", null, "useDocs", repository.useDocs);

      config.setString("gitblit", null, "accessRestriction", repository.accessRestriction.name());

      config.setBoolean("gitblit", null, "showRemoteBranches", repository.showRemoteBranches);

      config.setBoolean("gitblit", null, "isFrozen", repository.isFrozen);

      config.setBoolean("gitblit", null, "showReadme", repository.showReadme);

      config.setStringList("gitblit", null, "federationSets", repository.federationSets);

      config.setString("gitblit", null, "federationStrategy",

      StoredConfig config = r.getConfig();

      config.setString(Constants.CONFIG_GITBLIT, null, "description", repository.description);

      config.setString(Constants.CONFIG_GITBLIT, null, "owner", repository.owner);

      config.setBoolean(Constants.CONFIG_GITBLIT, null, "useTickets", repository.useTickets);

      config.setBoolean(Constants.CONFIG_GITBLIT, null, "useDocs", repository.useDocs);

      config.setString(Constants.CONFIG_GITBLIT, null, "accessRestriction", repository.accessRestriction.name());

      config.setString(Constants.CONFIG_GITBLIT, null, "authorizationControl", repository.authorizationControl.name());

      config.setBoolean(Constants.CONFIG_GITBLIT, null, "showRemoteBranches", repository.showRemoteBranches);

      config.setBoolean(Constants.CONFIG_GITBLIT, null, "isFrozen", repository.isFrozen);

      config.setBoolean(Constants.CONFIG_GITBLIT, null, "showReadme", repository.showReadme);

      config.setBoolean(Constants.CONFIG_GITBLIT, null, "skipSizeCalculation", repository.skipSizeCalculation);

      config.setBoolean(Constants.CONFIG_GITBLIT, null, "skipSummaryMetrics", repository.skipSummaryMetrics);

      config.setString(Constants.CONFIG_GITBLIT, null, "federationStrategy",

            repository.federationStrategy.name());

      config.setBoolean("gitblit", null, "isFederated", repository.isFederated);

      config.setBoolean(Constants.CONFIG_GITBLIT, null, "isFederated", repository.isFederated);



      updateList(config, "federationSets", repository.federationSets);

      updateList(config, "preReceiveScript", repository.preReceiveScripts);

      updateList(config, "postReceiveScript", repository.postReceiveScripts);

      updateList(config, "mailingList", repository.mailingLists);

      updateList(config, "indexBranch", repository.indexedBranches);

		
      // User Defined Properties

      if (repository.customFields != null) {

         if (repository.customFields.size() == 0) {

            // clear section

            config.unsetSection(Constants.CONFIG_GITBLIT, Constants.CONFIG_CUSTOM_FIELDS);

         } else {

            for (Entry<String, String> property : repository.customFields.entrySet()) {

               // set field

               String key = property.getKey();

               String value = property.getValue();

               config.setString(Constants.CONFIG_GITBLIT, Constants.CONFIG_CUSTOM_FIELDS, key, value);

            }

         }

      }



      try {

         config.save();

      } catch (IOException e) {

         logger.error("Failed to save repository config!", e);

      }

   }

	
   private void updateList(StoredConfig config, String field, List<String> list) {

      // a null list is skipped, not cleared

      // this is for RPC administration where an older manager might be used

      if (list == null) {

         return;

      }

      if (ArrayUtils.isEmpty(list)) {

         config.unset(Constants.CONFIG_GITBLIT, null, field);

      } else {

         config.setStringList(Constants.CONFIG_GITBLIT, null, field, list);

      }

   }



@@ -732,10 +1556,15 @@
   public boolean deleteRepository(String repositoryName) {

      try {

         closeRepository(repositoryName);

         // clear the repository cache

         clearRepositoryMetadataCache(repositoryName);

         removeFromCachedRepositoryList(repositoryName);



         File folder = new File(repositoriesFolder, repositoryName);

         if (folder.exists() && folder.isDirectory()) {

            FileUtils.delete(folder, FileUtils.RECURSIVE | FileUtils.RETRY);

            if (userService.deleteRepositoryRole(repositoryName)) {

               logger.info(MessageFormat.format("Repository \"{0}\" deleted", repositoryName));

               return true;

            }

         }

@@ -830,8 +1659,8 @@
      // Schedule the federation executor

      List<FederationModel> registrations = getFederationRegistrations();

      if (registrations.size() > 0) {

         scheduledExecutor.schedule(new FederationPullExecutor(registrations), 1,

               TimeUnit.MINUTES);

         FederationPullExecutor executor = new FederationPullExecutor(registrations, true);

         scheduledExecutor.schedule(executor, 1, TimeUnit.MINUTES);

      }

   }



@@ -843,76 +1672,7 @@
    */

   public List<FederationModel> getFederationRegistrations() {

      if (federationRegistrations.isEmpty()) {

         List<String> keys = settings.getAllKeys(Keys.federation._ROOT);

         keys.remove(Keys.federation.name);

         keys.remove(Keys.federation.passphrase);

         keys.remove(Keys.federation.allowProposals);

         keys.remove(Keys.federation.proposalsFolder);

         keys.remove(Keys.federation.defaultFrequency);

         keys.remove(Keys.federation.sets);

         Collections.sort(keys);

         Map<String, FederationModel> federatedModels = new HashMap<String, FederationModel>();

         for (String key : keys) {

            String value = key.substring(Keys.federation._ROOT.length() + 1);

            List<String> values = StringUtils.getStringsFromValue(value, "\\.");

            String server = values.get(0);

            if (!federatedModels.containsKey(server)) {

               federatedModels.put(server, new FederationModel(server));

            }

            String setting = values.get(1);

            if (setting.equals("url")) {

               // url of the origin Gitblit instance

               federatedModels.get(server).url = settings.getString(key, "");

            } else if (setting.equals("token")) {

               // token for the origin Gitblit instance

               federatedModels.get(server).token = settings.getString(key, "");

            } else if (setting.equals("frequency")) {

               // frequency of the pull operation

               federatedModels.get(server).frequency = settings.getString(key, "");

            } else if (setting.equals("folder")) {

               // destination folder of the pull operation

               federatedModels.get(server).folder = settings.getString(key, "");

            } else if (setting.equals("mirror")) {

               // are the repositories to be true mirrors of the origin

               federatedModels.get(server).mirror = settings.getBoolean(key, true);

            } else if (setting.equals("mergeAccounts")) {

               // merge remote accounts into local accounts

               federatedModels.get(server).mergeAccounts = settings.getBoolean(key, false);

            } else if (setting.equals("sendStatus")) {

               // send a status acknowledgment to source Gitblit instance

               // at end of git pull

               federatedModels.get(server).sendStatus = settings.getBoolean(key, false);

            } else if (setting.equals("notifyOnError")) {

               // notify administrators on federation pull failures

               federatedModels.get(server).notifyOnError = settings.getBoolean(key, false);

            } else if (setting.equals("exclude")) {

               // excluded repositories

               federatedModels.get(server).exclusions = settings.getStrings(key);

            } else if (setting.equals("include")) {

               // included repositories

               federatedModels.get(server).inclusions = settings.getStrings(key);

            }

         }



         // verify that registrations have a url and a token

         for (FederationModel model : federatedModels.values()) {

            if (StringUtils.isEmpty(model.url)) {

               logger.warn(MessageFormat.format(

                     "Dropping federation registration {0}. Missing url.", model.name));

               continue;

            }

            if (StringUtils.isEmpty(model.token)) {

               logger.warn(MessageFormat.format(

                     "Dropping federation registration {0}. Missing token.", model.name));

               continue;

            }

            // set default frequency if unspecified

            if (StringUtils.isEmpty(model.frequency)) {

               model.frequency = settings.getString(Keys.federation.defaultFrequency,

                     "60 mins");

            }

            federationRegistrations.add(model);

         }

         federationRegistrations.addAll(FederationUtils.getFederationRegistrations(settings));

      }

      return federationRegistrations;

   }

@@ -939,6 +1699,29 @@
         }

      }

      return null;

   }



   /**

    * Returns the list of federation sets.

    * 
    * @return list of federation sets

    */

   public List<FederationSet> getFederationSets(String gitblitUrl) {

      List<FederationSet> list = new ArrayList<FederationSet>();

      // generate standard tokens

      for (FederationToken type : FederationToken.values()) {

         FederationSet fset = new FederationSet(type.toString(), type, getFederationToken(type));

         fset.repositories = getRepositories(gitblitUrl, fset.token);

         list.add(fset);

      }

      // generate tokens for federation sets

      for (String set : settings.getStrings(Keys.federation.sets)) {

         FederationSet fset = new FederationSet(set, FederationToken.REPOSITORIES,

               getFederationToken(set));

         fset.repositories = getRepositories(gitblitUrl, fset.token);

         list.add(fset);

      }

      return list;

   }



   /**

@@ -996,8 +1779,10 @@
      case PULL_REPOSITORIES:

         return token.equals(all) || token.equals(unr) || token.equals(jur);

      case PULL_USERS:

      case PULL_TEAMS:

         return token.equals(all) || token.equals(unr);

      case PULL_SETTINGS:

      case PULL_SCRIPTS:

         return token.equals(all);

      }

      return false;

@@ -1039,18 +1824,17 @@
    * @param proposal

    *            the proposal

    * @param gitblitUrl

    *            the url of your gitblit instance

    *            the url of your gitblit instance to send an email to

    *            administrators

    * @return true if the proposal was submitted

    */

   public boolean submitFederationProposal(FederationProposal proposal, String gitblitUrl) {

      // convert proposal to json

      Gson gson = new GsonBuilder().setPrettyPrinting().create();

      String json = gson.toJson(proposal);

      String json = JsonUtils.toJsonString(proposal);



      try {

         // make the proposals folder

         File proposalsFolder = new File(getString(Keys.federation.proposalsFolder, "proposals")

               .trim());

         File proposalsFolder = getProposalsFolder();

         proposalsFolder.mkdirs();



         // cache json to a file

@@ -1082,7 +1866,7 @@
    */

   public List<FederationProposal> getPendingFederationProposals() {

      List<FederationProposal> list = new ArrayList<FederationProposal>();

      File folder = new File(getString(Keys.federation.proposalsFolder, "proposals").trim());

      File folder = getProposalsFolder();

      if (folder.exists()) {

         File[] files = folder.listFiles(new FileFilter() {

            @Override

@@ -1091,10 +1875,10 @@
                     && file.getName().toLowerCase().endsWith(Constants.PROPOSAL_EXT);

            }

         });

         Gson gson = new Gson();

         for (File file : files) {

            String json = com.gitblit.utils.FileUtils.readContent(file, null);

            FederationProposal proposal = gson.fromJson(json, FederationProposal.class);

            FederationProposal proposal = JsonUtils.fromJsonString(json,

                  FederationProposal.class);

            list.add(proposal);

         }

      }

@@ -1205,9 +1989,148 @@
    * @return true if the proposal was deleted

    */

   public boolean deletePendingFederationProposal(FederationProposal proposal) {

      File folder = new File(getString(Keys.federation.proposalsFolder, "proposals").trim());

      File folder = getProposalsFolder();

      File file = new File(folder, proposal.token + Constants.PROPOSAL_EXT);

      return file.delete();

   }



   /**

    * Returns the list of all Groovy push hook scripts. Script files must have

    * .groovy extension

    * 
    * @return list of available hook scripts

    */

   public List<String> getAllScripts() {

      File groovyFolder = getGroovyScriptsFolder();

      File[] files = groovyFolder.listFiles(new FileFilter() {

         @Override

         public boolean accept(File pathname) {

            return pathname.isFile() && pathname.getName().endsWith(".groovy");

         }

      });

      List<String> scripts = new ArrayList<String>();

      if (files != null) {

         for (File file : files) {

            String script = file.getName().substring(0, file.getName().lastIndexOf('.'));

            scripts.add(script);

         }

      }

      return scripts;

   }



   /**

    * Returns the list of pre-receive scripts the repository inherited from the

    * global settings and team affiliations.

    * 
    * @param repository

    *            if null only the globally specified scripts are returned

    * @return a list of scripts

    */

   public List<String> getPreReceiveScriptsInherited(RepositoryModel repository) {

      Set<String> scripts = new LinkedHashSet<String>();

      // Globals

      for (String script : getStrings(Keys.groovy.preReceiveScripts)) {

         if (script.endsWith(".groovy")) {

            scripts.add(script.substring(0, script.lastIndexOf('.')));

         } else {

            scripts.add(script);

         }

      }



      // Team Scripts

      if (repository != null) {

         for (String teamname : userService.getTeamnamesForRepositoryRole(repository.name)) {

            TeamModel team = userService.getTeamModel(teamname);

            scripts.addAll(team.preReceiveScripts);

         }

      }

      return new ArrayList<String>(scripts);

   }



   /**

    * Returns the list of all available Groovy pre-receive push hook scripts

    * that are not already inherited by the repository. Script files must have

    * .groovy extension

    * 
    * @param repository

    *            optional parameter

    * @return list of available hook scripts

    */

   public List<String> getPreReceiveScriptsUnused(RepositoryModel repository) {

      Set<String> inherited = new TreeSet<String>(getPreReceiveScriptsInherited(repository));



      // create list of available scripts by excluding inherited scripts

      List<String> scripts = new ArrayList<String>();

      for (String script : getAllScripts()) {

         if (!inherited.contains(script)) {

            scripts.add(script);

         }

      }

      return scripts;

   }



   /**

    * Returns the list of post-receive scripts the repository inherited from

    * the global settings and team affiliations.

    * 
    * @param repository

    *            if null only the globally specified scripts are returned

    * @return a list of scripts

    */

   public List<String> getPostReceiveScriptsInherited(RepositoryModel repository) {

      Set<String> scripts = new LinkedHashSet<String>();

      // Global Scripts

      for (String script : getStrings(Keys.groovy.postReceiveScripts)) {

         if (script.endsWith(".groovy")) {

            scripts.add(script.substring(0, script.lastIndexOf('.')));

         } else {

            scripts.add(script);

         }

      }

      // Team Scripts

      if (repository != null) {

         for (String teamname : userService.getTeamnamesForRepositoryRole(repository.name)) {

            TeamModel team = userService.getTeamModel(teamname);

            scripts.addAll(team.postReceiveScripts);

         }

      }

      return new ArrayList<String>(scripts);

   }



   /**

    * Returns the list of unused Groovy post-receive push hook scripts that are

    * not already inherited by the repository. Script files must have .groovy

    * extension

    * 
    * @param repository

    *            optional parameter

    * @return list of available hook scripts

    */

   public List<String> getPostReceiveScriptsUnused(RepositoryModel repository) {

      Set<String> inherited = new TreeSet<String>(getPostReceiveScriptsInherited(repository));



      // create list of available scripts by excluding inherited scripts

      List<String> scripts = new ArrayList<String>();

      for (String script : getAllScripts()) {

         if (!inherited.contains(script)) {

            scripts.add(script);

         }

      }

      return scripts;

   }

	
   /**

    * Search the specified repositories using the Lucene query.

    * 
    * @param query

    * @param page

    * @param pageSize

    * @param repositories

    * @return

    */

   public List<SearchResult> search(String query, int page, int pageSize, List<String> repositories) {		
      List<SearchResult> srs = luceneExecutor.search(query, page, pageSize, repositories);

      return srs;

   }



   /**

@@ -1216,7 +2139,7 @@
    * @param subject

    * @param message

    */

   public void notifyAdministrators(String subject, String message) {

   public void sendMailToAdministrators(String subject, String message) {

      try {

         Message mail = mailExecutor.createMessageForAdministrators();

         if (mail != null) {

@@ -1230,48 +2153,212 @@
   }



   /**

    * Notify users by email of something.

    * 
    * @param subject

    * @param message

    * @param toAddresses

    */

   public void sendMail(String subject, String message, Collection<String> toAddresses) {

      this.sendMail(subject, message, toAddresses.toArray(new String[0]));

   }



   /**

    * Notify users by email of something.

    * 
    * @param subject

    * @param message

    * @param toAddresses

    */

   public void sendMail(String subject, String message, String... toAddresses) {

      try {

         Message mail = mailExecutor.createMessage(toAddresses);

         if (mail != null) {

            mail.setSubject(subject);

            mail.setText(message);

            mailExecutor.queue(mail);

         }

      } catch (MessagingException e) {

         logger.error("Messaging error", e);

      }

   }



   /**

    * Returns the descriptions/comments of the Gitblit config settings.

    * 
    * @return SettingsModel

    */

   public ServerSettings getSettingsModel() {

      // ensure that the current values are updated in the setting models

      for (String key : settings.getAllKeys(null)) {

         SettingModel setting = settingsModel.get(key);

         if (setting == null) {

            // unreferenced setting, create a setting model

            setting = new SettingModel();

            setting.name = key;

            settingsModel.add(setting);

         }

         setting.currentValue = settings.getString(key, "");			
      }

      settingsModel.pushScripts = getAllScripts();

      return settingsModel;

   }



   /**

    * Parse the properties file and aggregate all the comments by the setting

    * key. A setting model tracks the current value, the default value, the

    * description of the setting and and directives about the setting.

    * 
    * @return Map<String, SettingModel>

    */

   private ServerSettings loadSettingModels() {

      ServerSettings settingsModel = new ServerSettings();

      settingsModel.supportsCredentialChanges = userService.supportsCredentialChanges();

      settingsModel.supportsDisplayNameChanges = userService.supportsDisplayNameChanges();

      settingsModel.supportsEmailAddressChanges = userService.supportsEmailAddressChanges();

      settingsModel.supportsTeamMembershipChanges = userService.supportsTeamMembershipChanges();

      try {

         // Read bundled Gitblit properties to extract setting descriptions.

         // This copy is pristine and only used for populating the setting

         // models map.

         InputStream is = servletContext.getResourceAsStream("/WEB-INF/reference.properties");

         BufferedReader propertiesReader = new BufferedReader(new InputStreamReader(is));

         StringBuilder description = new StringBuilder();

         SettingModel setting = new SettingModel();

         String line = null;

         while ((line = propertiesReader.readLine()) != null) {

            if (line.length() == 0) {

               description.setLength(0);

               setting = new SettingModel();

            } else {

               if (line.charAt(0) == '#') {

                  if (line.length() > 1) {

                     String text = line.substring(1).trim();

                     if (SettingModel.CASE_SENSITIVE.equals(text)) {

                        setting.caseSensitive = true;

                     } else if (SettingModel.RESTART_REQUIRED.equals(text)) {

                        setting.restartRequired = true;

                     } else if (SettingModel.SPACE_DELIMITED.equals(text)) {

                        setting.spaceDelimited = true;

                     } else if (text.startsWith(SettingModel.SINCE)) {

                        try {

                           setting.since = text.split(" ")[1];

                        } catch (Exception e) {

                           setting.since = text;

                        }

                     } else {

                        description.append(text);

                        description.append('\n');

                     }

                  }

               } else {

                  String[] kvp = line.split("=", 2);

                  String key = kvp[0].trim();

                  setting.name = key;

                  setting.defaultValue = kvp[1].trim();

                  setting.currentValue = setting.defaultValue;

                  setting.description = description.toString().trim();

                  settingsModel.add(setting);

                  description.setLength(0);

                  setting = new SettingModel();

               }

            }

         }

         propertiesReader.close();

      } catch (NullPointerException e) {

         logger.error("Failed to find resource copy of gitblit.properties");

      } catch (IOException e) {

         logger.error("Failed to load resource copy of gitblit.properties");

      }

      return settingsModel;

   }



   /**

    * Configure the Gitblit singleton with the specified settings source. This

    * source may be file settings (Gitblit GO) or may be web.xml settings

    * (Gitblit WAR).

    * 

    * @param settings

    */

   public void configureContext(IStoredSettings settings) {

   public void configureContext(IStoredSettings settings, boolean startFederation) {

      logger.info("Reading configuration from " + settings.toString());

      this.settings = settings;

      repositoriesFolder = new File(settings.getString(Keys.git.repositoriesFolder, "git"));

      repositoriesFolder = getRepositoriesFolder();

      logger.info("Git repositories folder " + repositoriesFolder.getAbsolutePath());

      repositoryResolver = new FileResolver<Void>(repositoriesFolder, exportAll);

      repositoryResolver = new FileResolver<Void>(repositoriesFolder, true);



      // calculate repository list settings checksum for future config changes

      repositoryListSettingsChecksum.set(getRepositoryListSettingsChecksum());



      // build initial repository list

      if (settings.getBoolean(Keys.git.cacheRepositoryList,  true)) {

         logger.info("Identifying available repositories...");

         getRepositoryList();

      }

		
      logTimezone("JVM", TimeZone.getDefault());

      logTimezone(Constants.NAME, getTimezone());



      serverStatus = new ServerStatus(isGO());

      String realm = settings.getString(Keys.realm.userService, "users.properties");

      IUserService loginService = null;

      try {

         // check to see if this "file" is a login service class

         Class<?> realmClass = Class.forName(realm);

         if (IUserService.class.isAssignableFrom(realmClass)) {

            loginService = (IUserService) realmClass.newInstance();

         }

         loginService = (IUserService) realmClass.newInstance();

      } catch (Throwable t) {

         // not a login service class or class could not be instantiated.

         // try to use default file login service

         File realmFile = new File(realm);

         if (!realmFile.exists()) {

            try {

               realmFile.createNewFile();

            } catch (IOException x) {

               logger.error(

                     MessageFormat.format("COULD NOT CREATE REALM FILE {0}!", realmFile), x);

            }

         }

         loginService = new FileUserService(realmFile);

         loginService = new GitblitUserService();

      }

      setUserService(loginService);

      configureFederation();

		
      // load and cache the project metadata

      projectConfigs = new FileBasedConfig(getFileOrFolder(Keys.web.projectsFile, "projects.conf"), FS.detect());

      getProjectConfigs();

		
      mailExecutor = new MailExecutor(settings);

      if (mailExecutor.isReady()) {

         logger.info("Mail executor is scheduled to process the message queue every 2 minutes.");

         scheduledExecutor.scheduleAtFixedRate(mailExecutor, 1, 2, TimeUnit.MINUTES);

      } else {

         logger.warn("Mail server is not properly configured.  Mail services disabled.");

      }

      luceneExecutor = new LuceneExecutor(settings, repositoriesFolder);

      logger.info("Lucene executor is scheduled to process indexed branches every 2 minutes.");

      scheduledExecutor.scheduleAtFixedRate(luceneExecutor, 1, 2, TimeUnit.MINUTES);

      if (startFederation) {

         configureFederation();

      }

		
      // Configure JGit

      WindowCacheConfig cfg = new WindowCacheConfig();

		
      cfg.setPackedGitWindowSize(settings.getFilesize(Keys.git.packedGitWindowSize, cfg.getPackedGitWindowSize()));

      cfg.setPackedGitLimit(settings.getFilesize(Keys.git.packedGitLimit, cfg.getPackedGitLimit()));

      cfg.setDeltaBaseCacheLimit(settings.getFilesize(Keys.git.deltaBaseCacheLimit, cfg.getDeltaBaseCacheLimit()));

      cfg.setPackedGitOpenFiles(settings.getFilesize(Keys.git.packedGitOpenFiles, cfg.getPackedGitOpenFiles()));

      cfg.setStreamFileThreshold(settings.getFilesize(Keys.git.streamFileThreshold, cfg.getStreamFileThreshold()));

      cfg.setPackedGitMMAP(settings.getBoolean(Keys.git.packedGitMmap, cfg.isPackedGitMMAP()));

		
      try {

         WindowCache.reconfigure(cfg);

         logger.debug(MessageFormat.format("{0} = {1,number,0}", Keys.git.packedGitWindowSize, cfg.getPackedGitWindowSize()));

         logger.debug(MessageFormat.format("{0} = {1,number,0}", Keys.git.packedGitLimit, cfg.getPackedGitLimit()));

         logger.debug(MessageFormat.format("{0} = {1,number,0}", Keys.git.deltaBaseCacheLimit, cfg.getDeltaBaseCacheLimit()));

         logger.debug(MessageFormat.format("{0} = {1,number,0}", Keys.git.packedGitOpenFiles, cfg.getPackedGitOpenFiles()));

         logger.debug(MessageFormat.format("{0} = {1,number,0}", Keys.git.streamFileThreshold, cfg.getStreamFileThreshold()));

         logger.debug(MessageFormat.format("{0} = {1}", Keys.git.packedGitMmap, cfg.isPackedGitMMAP()));

      } catch (IllegalArgumentException e) {

         logger.error("Failed to configure JGit parameters!", e);

      }



      ContainerUtils.CVE_2007_0450.test();

   }

	
   private void logTimezone(String type, TimeZone zone) {

      SimpleDateFormat df = new SimpleDateFormat("z Z");

      df.setTimeZone(zone);

      String offset = df.format(new Date());

      logger.info(type + " timezone is " + zone.getID() + " (" + offset + ")");

   }



   /**

@@ -1282,11 +2369,48 @@
    */

   @Override

   public void contextInitialized(ServletContextEvent contextEvent) {

      servletContext = contextEvent.getServletContext();

      if (settings == null) {

         // Gitblit WAR is running in a servlet container

         WebXmlSettings webxmlSettings = new WebXmlSettings(contextEvent.getServletContext());

         configureContext(webxmlSettings);

         ServletContext context = contextEvent.getServletContext();

         WebXmlSettings webxmlSettings = new WebXmlSettings(context);



         // 0.7.0 web.properties in the deployed war folder

         String webProps = context.getRealPath("/WEB-INF/web.properties");

         if (!StringUtils.isEmpty(webProps)) {

            File overrideFile = new File(webProps);

            if (overrideFile.exists()) {

               webxmlSettings.applyOverrides(overrideFile);

            }

         }

			


         // 0.8.0 gitblit.properties file located outside the deployed war

         // folder lie, for example, on RedHat OpenShift.

         File overrideFile = getFileOrFolder("gitblit.properties");

         if (!overrideFile.getPath().equals("gitblit.properties")) {

            webxmlSettings.applyOverrides(overrideFile);

         }

         configureContext(webxmlSettings, true);



         // Copy the included scripts to the configured groovy folder

         File localScripts = getFileOrFolder(Keys.groovy.scriptsFolder, "groovy");

         if (!localScripts.exists()) {

            File includedScripts = new File(context.getRealPath("/WEB-INF/groovy"));

            if (!includedScripts.equals(localScripts)) {

               try {

                  com.gitblit.utils.FileUtils.copy(localScripts, includedScripts.listFiles());

               } catch (IOException e) {

                  logger.error(MessageFormat.format(

                        "Failed to copy included Groovy scripts from {0} to {1}",

                        includedScripts, localScripts));

               }

            }

         }

      }

		
      settingsModel = loadSettingModels();

      serverStatus.servletContainer = servletContext.getServerInfo();

   }



   /**

@@ -1297,5 +2421,6 @@
   public void contextDestroyed(ServletContextEvent contextEvent) {

      logger.info("Gitblit context destroyed by servlet container.");

      scheduledExecutor.shutdownNow();

      luceneExecutor.close();

   }

}