开源项目得一些小维护

其实我那几个特别是工具类得开源项目一致都有维护和更新，但是每次更新得量和要点并不怎么突出所以一致也没写点什么。但是偶尔吗也会碰到一些稍微值得记录的东西，但是又不多所以很多都遗漏掉了。

虽然漏掉得那些也补不回来，我还是对近期得一些维护稍微记录一下吧。虽然近期维护得内容稍微多一些，但是也只能靠记忆回忆一些了。

WP-Code-Highlight.js

首先是这个Wordpress得插件项目，我收到一个PR。说是点击菜单会自动登出。但是我看了下PR中的内容，改的都是字符串文本，还有注释和i18n字典得key。这就相当奇怪了，看起来这些都不可能导致登出问题啊。所以这个问题复查也是蛮折腾得。

首先我这里完全不复现这个问题，然后提PR的人说是他的环境是PHP 7。所以我就得去构造环境，但是我构造出的PHP 7环境也不复现。然后提PR的人说dreamhost托管的wordpress能重现这个问题。于是我又去dreamhost折腾了一番。dreamhost的UE十分糟糕。很难弄清怎么使用，等我好不容易完成以后，发现还是不复现。再后来就是提PR得人提了一个缓存系统varnish。然后我突然想到nginx得URL匹配有些人喜欢直接匹配后缀得，说不定这个也是，把.js结尾的文件全部识别为静态文件走缓存了。然后我们的WP-Code-Highlight.js的配置页里，是一个php文件后面跟了一个参数，恰好是.js结束的。于是乎试了一下，提PR的人果然说解决了。

这个BUG其实不能算是我这个插件的问题，但是改掉主要是考虑到很多人写表达式都不会很严谨，估计犯这个错误得人不在少数，所以给他们把这个坑藏一藏吧。

唉这个坑浪费了我10块钱啊。还好现在云服务都是可以按小时计费的。

hiredis-happ

这是线上有使用得一个redis cluster的C++接入层。并且做了自动重连和错误重试的功能。之前想到的是这种数据服务都是会防火墙只开放内网的嘛，所以并没有做认证的功能。但是后来看到了MangoDB爆发的大规模安全事件。唉，你挡不了使用得小白傻X啊是不？所以还是抽空加一下吧。

其实之前的版本也是可以认证的，就是在on connected得回调里直接发送AUTH命令就可以了。但是这样使用者得自己保证在AUTH前没有其他命令。但是其实这个使用者也保证不了，因为on connected是在成功连接之后触发的，但是在创建context成功后就可以加入命令排队，这样如果底层走重连得重发流程，就没法让用户排一个AUTH命令在新连接的最前面。

所以，我还是加了两个接口，用于在底层创建成功后直接发送AUTH命令。不过目前得实现也比较简单，只是基本能满足需要而已。另外，之所以是两个接口，一个是直接设置密码，另一个是如果在cluster里，可以支持不同的节点给不同得密码。

pbc分支

pbc分支的一系列修改其实并不全是最近改得，不过之前提交的RP被merge进来了，这个RP主要是修复了默认table能被修改的问题。然而后来我又加了一些东东，似乎被一不小心一起merge进去了。大概的patch如下：

RP #80 - 修复默认值的table能够被外部修改的问题
增加了 pbc的build_ios.sh 脚本，用于集成pbc到IOS时，给IOS版本提供静态库

原本其实有个xcode工程可以直接做这件事的，但是那个工程里限定了编译的架构。在集成进项目工程时比较麻烦，而且得手动选一下编译目标架构。特别是OSX下的命令行控制xcode工程非常不便。现有的一些修改xcode工程文件的库（比如mod-xcodeproj）很不稳定。我这里在OSX里的环境会崩溃，并不能成功修改工程。所以就提供一个脚本来直接生成各种架构的.a文件，这样就不用去改工程了，直接扔进去即可。

增加了pbc的lua binding的build_ios.sh脚本，分为lua 5.1 和lua 5.3版本。目的和上面一样，并且lua binding原先并没有xcode工程可以用。然后提供参数可以把pbc和pbc得lua binding打包到一起。
在别人的解决方案的启发下接入了proto v3，放在新分支 https://github.com/owent-contrib/pbc/tree/proto_v3

主要是proto v3里所有的数字的repeated默认是packed的，然后要处理好显式配成packed=true和packed=false的情况。我参照的那个解决方案主要是这里有点问题，所以我自己写了。
另外似乎pb文件里并不能区分是proto v3还是v2生成的，所以两种方案没法兼容啊，所以新开个分支搞喽。

Unity-IOS脚本化打包和自动构建

这个也是蛮烦得，所以还是记一下吧，特别是以后涉及新配OSX的打包机的时候，有些坑可能还会踩。

以下假定仓库clone的地址放在：$WORKSPACE/Client

首先来一驼配置

# ======================== xcode配置和Unity配置 ========================
PROVISIONING_PROFILE="iOS Team Provisioning Profile: com.xxxxx.yyyyy";  # 这个必需和Unity里得导出得PlayerSetting里得字段一致
BUNDLE_IDENTIFIER="com.xxxxx.yyyyy"; # 这个必需和Unity里得导出得PlayerSetting里得字段一致
CODE_SIGN_IDENTITY="iPhone Developer: NAME (不知道什么ID)"; # 这个配置其实没用到，不过万一那里需要用，就是这个样子得内容
# @see below URL for team id
# https://developer.apple.com/account/#/membership
DEVELOPMENT_TEAM="XXXXXXXX"; # TeamID， 上面得地址可以查，用来生成企业包时得签名
UNITY_PATH="/Applications/Unity/Unity.app/Contents/MacOS/Unity"; # osx 上默认得Unity地址时装在这里

# 可用得开发者证书信息可以在 ~/Library/MobileDevice/Provisioning\ Profiles/*.mobileprovision 里找。

# ======================== 工程配置 ========================
PACKAGE_PUBLISH_URL_PREFIX="https://publish.domain/xxx"; # 可访问得发布地址，必需https
PROJECT_NAME="hello"; # 用于后面生成发布包文件名

然后执行Unity导出工程:

XCODE_PORJECT_DIR=Unity导出得xcode工程目录，必需和实际导出得一致
UNITY_PORJECT_DIR=Unity工程目录

if [ -e "$XCODE_PORJECT_DIR" ]; then
	rm -rf "$XCODE_PORJECT_DIR";
fi

cd "$UNITY_PORJECT_DIR";
$UNITY_PATH -batchmode -quit -projectPath $WORKSPACE/Client/unity_project -executeMethod 执行命令的类名.执行命令的函数名

上面得执行命令的类名.执行命令的函数名时自己写的Unity导出函数，这里给个我们ios版本的sample:

#region Build tools    
    /// <summary>
    /// 获取要输出的场景
    /// </summary>
	static string[] GetBuildScenes() {
        List<string> names = new List<string>();

        foreach (EditorBuildSettingsScene e in EditorBuildSettings.scenes) {
            if (e == null)
                continue;

            if (e.enabled)
                names.Add(e.path);
        }
        return names.ToArray();
    }

	static string TryPatchEnvironment(string str, string envName) {
        string val = Environment.GetEnvironmentVariable(envName);
        if (null != val) {
            val = val.Trim();
            if (val.Length > 0) {
                Debug.Log(string.Format("[PatchEnvironment]: {0}={1}", envName, val));
                return val;
            }
        }

        return str;
    }

    static int TryPatchEnvironment(int ori, string envName) {
        string val = Environment.GetEnvironmentVariable(envName);
        if (null != val) {
            val = val.Trim();
            if (val.Length > 0) {
                Debug.Log(string.Format("[PatchEnvironment]: {0}={1}", envName, val));
                return int.Parse(val);
            }
        }

        return ori;
    }

    static Enum TryPatchEnvironment(Enum ori, string envName) {
        string val = Environment.GetEnvironmentVariable(envName);
        if (null != val) {
            val = val.Trim();
            if (Enum.IsDefined(ori.GetType(), val)) {
                Debug.Log(string.Format("[PatchEnvironment]: {0}={1}", envName, val));
                return (Enum)Enum.Parse(ori.GetType(), val);
            } else {
                Debug.Log(string.Format("Invalid value fot {0}: \"{0}\"", ori.GetType().Name, val));
            }
        }

        return ori;
    }

    /// <summary>
    /// 这个和上面的TryPatchEnvironment主要用于通过环境变量来修改一些打包得配置参数。可以用来控制日志级别、服务器环境等
    /// </summary>
    static void PatchEnvironment() {
        // server tag
        {
            string svrTag = Environment.GetEnvironmentVariable("PROJECT_SERVER_TAG");
            if (null != svrTag) { 
                foreach (var svr in Preference.servers) {
                    if (svr.Name == svrTag) {
                        PrivatePreference.currentServerTag = svrTag;
                        Debug.Log("Server environment change into " + svrTag);
                        break;
                    }
                }
            }
        }

        Preference.packageServer = TryPatchEnvironment(Preference.packageServer, "PROJECT_CONFIG_PACKAGE_SERVER");
        Preference.packagePort = TryPatchEnvironment(Preference.packagePort, "PROJECT_CONFIG_PACKAGE_PORT");
        Preference.exportMode = (Preference.ExportMode)TryPatchEnvironment(Preference.exportMode, "PROJECT_CONFIG_EXPORT_MODE");

        PrivatePreference.LogLevel = (Log.Level)TryPatchEnvironment(PrivatePreference.LogLevel, "PROJECT_CONFIG_LOG_LEVEL");
        GlobalConfig.LogLevel = (Log.Level)TryPatchEnvironment(GlobalConfig.LogLevel, "PROJECT_CONFIG_LOG_LEVEL");
        GlobalConfig.maxLogCount = TryPatchEnvironment(GlobalConfig.maxLogCount, "PROJECT_CONFIG_LOG_MAX_COUNT");
    }
#region build for iOS
    static string GetBuildPathiOS() {
        string dirPath = Application.dataPath + "/../../build/ios/" + PlayerSettings.productName;
        if (!System.IO.Directory.Exists(dirPath)) {
            System.IO.Directory.CreateDirectory(dirPath);
        }
        return dirPath;
    }

	/// <summary>
    /// 驱动XUPorter执行导出追加库和文件的流程，因为通过脚本执行得时候并不会触发XUPorter默认使用得编辑器钩子事件
    /// </summary>
    static void PatchXCodeProject(BuildTarget target) {
        // 来自 Assets/Lib/Editor/XUPorter/XCodePostProcess.cs
#if UNITY_EDITOR
        XCodePostProcess.OnPostProcessBuild(target, GetBuildPathiOS());
#endif
    }

    [UnityEditor.MenuItem("Giu/Build/Build iOS")]
    static void CommandLineBuildIOS() {
        Debug.Log("Command line build iOS\n------------------\n------------------");
        //GenerateData(false);

        string[] scenes = GetBuildScenes();
        string path = GetBuildPathiOS();
        if (scenes == null || scenes.Length == 0 || path == null)
            return;

        Debug.Log(string.Format("Path: \"{0}\"", path));
        for (int i = 0; i < scenes.Length; ++i) {
            Debug.Log(string.Format("Scene[{0}]: \"{1}\"", i, scenes[i]));
        }
      
		 // 这里是从Standalone得配置里复制配置，因为我们不在OSX上开发，在OSX以外改不了配置，所以这里就在Windows上改了Standalone得配置，然后iOS工程直接复制过来就好了
        string script_symbols = PlayerSettings.GetScriptingDefineSymbolsForGroup(BuildTargetGroup.Standalone);
        PlayerSettings.SetScriptingDefineSymbolsForGroup(BuildTargetGroup.iOS, script_symbols);
        PlayerSettings.bundleIdentifier = BUNDLE_IDENTIFIER;
        PlayerSettings.showUnitySplashScreen = false;

        // 读环境变量，改配置
        PatchEnvironment();
        Debug.Log(string.Format("Reset ScriptingDefineSymbols to {0}", script_symbols));
        Debug.Log("Starting Build!");

       // 执行完BuildPipeline.BuildPlayer后启动XUPorter
#if UNITY_5
        BuildPipeline.BuildPlayer(scenes, path, BuildTarget.iOS, BuildOptions.None);
        PatchXCodeProject(BuildTarget.iOS);
#else
        BuildPipeline.BuildPlayer(scenes, path, BuildTarget.iPhone, BuildOptions.None);
        PatchXCodeProject(BuildTarget.iPhone);
#endif
    }
#endregion
#endregion

好。接下来时问题一：我们XUPorter导出来的xcode得工程里，有个流程里时候地址会出错，所以我写了个文本替换，如果XUPorter导出得文件路径错了就修复一下。

perl -p -i -e "s;[^\\s\\\"\\\']*(\\.\\.\\/)*Lib/Editor/XUPorter/Mods;$WORKSPACE/Client/unity_project/Assets/Lib/Editor/XUPorter/Mods;g" $XCODE_PROJECT_DIR/*.xcodeproj/project.pbxproj ;

然后问题二：xcode的签名很恶心，有些地方会依赖交互式操作，所以要阻止这个。

# 先让钥匙串里信任打包用的用户，不需要二次确认。

# 然后用指定密码解锁登入钥匙串，这个地方如果有问题，会出现各种奇怪得提示。并不会明确得告诉你是认证错误或者需要登入。总之十分得恶心切诡异
# 并且不一定会报在code sign那里（虽然大部分情况会报在code sign那里）
security -v unlock-keychain -p "登入密码" ~/Library/Keychains/login.keychain ;
# 钥匙串得路径不一定是~/Library/Keychains/login.keychain，不过大部分情况下是这个。我这里得macmini就是~/Library/Keychains/login.keychain-db
# 可以用 security list-keychains 这个命令查一下

# 如果打包得时间很长，要设置一次认证有效期，防止过期。但是这个基本只要做一次就好了
# security set-keychain-settings -t 3600 -l ~/Library/Keychains/login.keychain
# security show-keychain-info ~/Library/Keychains/login.keychain

然后就可以开始打包了

cd "$XCODE_PROJECT_DIR";

# 打包xcarchive
xcodebuild archive -project Unity-iPhone.xcodeproj -scheme Unity-iPhone -archivePath bin/Unity-iPhone.xcarchive -sdk iphoneos -verbose -configuration Release TEAM="$DEVELOPMENT_TEAM" DEVELOPMENT_TEAM="$DEVELOPMENT_TEAM";

# 这里找两个图片用于打包的时候填充displayImageURL和fullSizeImageURL字段
DISPLAY_IMAGE_PATH=$(find bin/Unity-iPhone.xcarchive -name "*.png" | grep 'Icon' | head -n 1);
FULL_SIZE_IMAGE_PATH=$(find bin/Unity-iPhone.xcarchive -name "*.png" | grep -v 'Icon' | GREP -v '[@#~]' | head -n 1);
DISPLAY_IMAGE_NAME=$(basename $DISPLAY_IMAGE_PATH);
FULL_SIZE_IMAGE_NAME=$(basename $FULL_SIZE_IMAGE_PATH);

# generate plist for generate enterprise ipa
echo '<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">' > exportOptions.plist ;
echo "<plist version=\"1.0\">
<dict>
	<key>method</key>
	<string>enterprise</string>
	<key>teamID</key>
	<string>$DEVELOPMENT_TEAM</string>
	<key>manifest</key>
	<dict>
		<key>appURL</key>
		<string>$PACKAGE_PUBLISH_URL_PREFIX/$PROJECT_NAME.ipa</string>
		<key>displayImageURL</key>
		<string>$PACKAGE_PUBLISH_URL_PREFIX/AppIcon57x57.png</string>
		<key>fullSizeImageURL</key>
		<string>$PACKAGE_PUBLISH_URL_PREFIX/LaunchImage.png</string>
	</dict>
</dict>
</plist>" >> exportOptions.plist ; # 这个是企业包得exportOptions.plist，其他类型得包把method得值改成其他得就行了

# 导出并签名企业包。以前指定provisioning profile得方式已经被deprecated掉了。所以新的一律用exportOptions.plist
xcodebuild -exportArchive -archivePath bin/Unity-iPhone.xcarchive/ -exportPath "$PROJECT_NAME" -exportOptionsPlist exportOptions.plist;

# 生成一个html页面用于给safari里安装企业包用
echo "<!DOCTYPE html>
<html lang='zh-CN'>
<head>
<meta http-equiv='Content-Type' content='text/html; charset=UTF-8' />
<meta http-equiv='x-ua-compatible' content='IE=edge' />
<title>Download $PROJECT_NAME</title>
</head>
<body>
当前版本原始地址: <a href='$PACKAGE_PUBLISH_URL_PREFIX'>$PACKAGE_PUBLISH_URL_PREFIX</a><br /><hr />
<h1>如果点击无法下载安装，请在safari中打开<h1/>
<h1><a title='iPhone' href='itms-services://?action=download-manifest&url=$PACKAGE_PUBLISH_URL_PREFIX/manifest.plist'>
Download ipa</a><h1/>
</body>
</html>" > download.html ;

然后再把各种资源传到远程发布的web server就好了

PACKAGE_PUBLISH_SSH_CERT="ssh 登入密钥地址";
PACKAGE_PUBLISH_HOST="远程主机地址";
PACKAGE_PUBLISH_DIR="对应$PACKAGE_PUBLISH_URL_PREFIX得发布目录";

IPA_PATH="$PROJECT_NAME/Unity-iPhone.ipa";
if [ ! -e "$IPA_PATH" ]; then
	IPA_PATH=$(find "$PROJECT_NAME" -name "*.ipa");
fi

if [ -e "$IPA_PATH" ]; then
	scp -i $PACKAGE_PUBLISH_SSH_CERT "$IPA_PATH" "$PACKAGE_PUBLISH_HOST:$PACKAGE_PUBLISH_DIR/$PROJECT_NAME.ipa" ;
    scp -i $PACKAGE_PUBLISH_SSH_CERT exportOptions.plist download.html "$PROJECT_NAME/manifest.plist" "$PACKAGE_PUBLISH_HOST:$PACKAGE_PUBLISH_DIR/" ;
fi

if [ -e bin/Unity-iPhone.xcarchive ]; then
	if [ -e Unity-iPhone.xcarchive.7z ]; then
    	rm -f Unity-iPhone.xcarchive.7z;
    fi
    # 7z可以通过brew install 7z安装。7z得压缩速度比较快（可以多线程压缩）而且压缩率也比较高
    export PATH=$PATH:/usr/local/bin ;
	7z a -r -y Unity-iPhone.xcarchive.7z bin/Unity-iPhone.xcarchive ;
    scp -i $PACKAGE_PUBLISH_SSH_CERT Unity-iPhone.xcarchive.7z "$PACKAGE_PUBLISH_HOST:$PACKAGE_PUBLISH_DIR" ;
fi

# copy images
if [ -e "$DISPLAY_IMAGE_PATH" ]; then
    scp -i $PACKAGE_PUBLISH_SSH_CERT "$DISPLAY_IMAGE_PATH" "$PACKAGE_PUBLISH_HOST:$PACKAGE_PUBLISH_DIR/$DISPLAY_IMAGE_NAME" ;
fi

if [ -e "$FULL_SIZE_IMAGE_PATH" ]; then
    scp -i $PACKAGE_PUBLISH_SSH_CERT "$FULL_SIZE_IMAGE_PATH" "$PACKAGE_PUBLISH_HOST:$PACKAGE_PUBLISH_DIR/$FULL_SIZE_IMAGE_NAME" ;
fi

ssh -i $PACKAGE_PUBLISH_SSH_CERT "$PACKAGE_PUBLISH_HOST" "chmod 777 $PACKAGE_PUBLISH_DIR/*" ;

I'm OWenT

Challenge Everything

开源项目得一些小维护

WP-Code-Highlight.js

hiredis-happ

pbc分支

Unity-IOS脚本化打包和自动构建