FreeBSD 上 rpc.lockd 的問題

FreeBSD 上 rpc.lockd 常常會自己掛掉。如果是 clients 的 rpc.lockd 掛掉，會使得 flock() over NFS 掛掉，而如果是 servers 的 rpc.lockd 掛掉，會使得所有 clients 的 flock() over NFS 掛掉 =_=

這個問題自從我們將某幾台 ccbsd*.csie clients 換成 FreeBSD 6.0-RELEASE 後就發現這幾台一直有問題，後來決定將 cchome.csie 與 mailgate.csie 也一起升級到 FreeBSD 6.0-RELEASE，看看能不能解決這個問題。結果反而變成大家都有問題... -_- 而且 ccsun*.csie 只要一開機，所有的 clients 就會炸掉，但這些 ccsun*.csie 裡面，如果只開 ccserv.csie 也不會有事情...。

這個問題當時猜測是 FreeBSD 4.x 與 6.x 的 clients 混在一起跑造成的，於是狠下心來將 ccbsd*.csie 全部升級到 FreeBSD 6.0-RELEASE (另外一個原因是 FreeBSD 4.x 已經不繼續維護了)，結果升級上去發現問題還是沒變好，只好試著惡搞所有能惡搞的功能 (像是 mount_nfs 裡的 -L local lock)，發現還是沒有用。

前幾天想到 ktrace 可以看 system call 的情況，拿出來追，發現 uid=daemon 的 rpc.lockd 最後居然是死在 SIGPIPE，將這個 bug 用 send-pr 送出去幹剿後，rpc.lockd 的 maintainer 丟出一個神秘的 patch：把 SIGPIPE 用 signal(SIGPIPE, SIG_IGN) 堵掉，#bsdchat 上面看到這個 patch 把他叫做「掩耳盜鈴」，當作沒聽到，幹就對了 XD：Problem Report bin/97768 : NFS rpc.lockd will die automatically。

雖然這個方法看起來很鳥，但我還是決定把這個 patch 弄進所有 ccbsd*.csie 上跑，然後開 ktrace 盯著看還會有什麼死法。跑了快一天，發現 ccbsd*.csie 跑起來好像不錯，寫了封信跟 maintainer 講... 沒多久就看到 cvs commit 記錄：cvs commit: src/usr.sbin/rpc.lockd kern.c，結果才剛 commit 完沒多久就發現 uid=root rpc.lockd 死掉 XD

看了一下 uid=root rpc.lockd 死掉時 ktrace 的紀錄，發現也是 SIGPIPE 的問題，正覺得奇怪，明明 mask 掉了，怎麼還會死在 SIGPIPE... 回頭看 patch 發現是因為 signal() 在 fork() 後才做，所以 uid=root 那隻沒有處理 SIGPIPE，只好再跟 maintainer 講，問看看能不能把 signal() 放到 fork() 前。(主要是他對 rpc.lockd 比較熟，可能會比較清楚各類後遺症 XD)

結果 maintainer 就叫我去測測，沒問題就照我說的 patch 進 -current XD 我就跑去跟 chwong 要了 cchome.csie 與 mailgate.csie 的 root，要跑 ktrace 盯著看。

測了一天看起來沒問題：rpc.lockd 沒死，mutt 看信也都很正常，看起來 locking 功能運作得很好，就回封信跟 maintainer 講這個情況，過不久就看到他把 signal() 搬到 fork() 前的 cvs commit 紀錄：cvs commit: src/usr.sbin/rpc.lockd kern.c，這個 patch 的 rpc.lockd 到現在都還活得很好，看起來在 6/1 那天就會進 RELENG_6 了 :)

然後在 #bsdchat 上看到 rafan 把這個 patch 也丟進 csie.ntu 的機器上跑，發現對於 NFSv2 的 Sun 也正常多了 (打開 debug mode 還是會看到一堆 error msg，不過至少會動...)，於是我剛剛就很高興的跑去學校把 ccsun*.csie 通通開起來測，目前看起來也都沒問題...

折騰了兩個月，NFS 的 rpc.lockd 這件事情看起來暫時穩定多了，希望有長輩把 rpc.lockd 修一修，尤其是 recovery 的部分，如果寫完的話才能隨意關機開機 XD

lighttpd + WordPress 2.0 對於 Permlink 的處理

lighttpd + WordPress 2.0 使用 Permlink 的設定，重點在於 lighttpd.conf 裡的 mod_rewrite：

url.rewrite = ( "^/(archives|categories|comments|feed)/" => "/index.php" )

WordPress 裡 Permlink 則是設成：

/archives/%year%/%monthnum%/%day%/%post_id%/

Category 的部份則是：

/categories

FreeBSD NFS locking 問題

我們一直以為是 4.x 與 5.x/6.x 之間的問題，結果剛剛 ericlin 丟了一個這幾天的討論串過來，大光頭 Kris 還提供了一個 patch，是 lock_proc.c 這個檔案從 1.17 到 1.18 的 patch (6.0-RELEASE 是 1.18)：NFS locking question。

這個 patch 看起來是 transmit_result() 與 transmit4_result() 的修正，不知道 4.x 有沒有 svc_getcaller()，如果有的話可以試著 patch 看看...

IE7 的 SSL 安全政策

有長輩測試 IE7 Beta2 後發現 IE7 Beta2 對於 SSL 設定有問題的站台會整個擋掉，而不會像以前那樣跳初一個小視窗出來要你確認：Stupid Google SSL Certificates。

文章裡 Jeremy Wright 舉了 Google 的例子：他說 Google 的某些服務使用了 www.google.com 的 SSL Certificate，但是使用的站台並不是 www.google.com。

不過我不記得 Google 哪個服務是這樣惡搞的啊？還是 Firefox 遇到同一個 Domain 的情況不會哀哀叫？這樣就太糟了...

在交大使用 Bittorrent 的問題

這幾天用 Bittorrent 抓一些東西，發現如果不是使用 BitComet (目前唯一一個有支援 Header Encryption 的 Bittorrent Client，而且 Windows Only...)，幾乎不會動 (檔案很熱門也一樣)。

即使只有放在出國電路的部份 (自己購買的出國電路)，但是因為是 Default Gateway，所以可以很明顯感覺出來。

真無奈，兩邊 (ISP 與發展者) 互相鬥法，最後就得靠一些數學方法 (Cryptosystem) 決戰... 輸的永遠是使用者 (需要更多的 CPU resource 做運算)。

Apache 2.1 - MPM event

在 mclee 那邊看到 Apache 2.2 出版了，翻 Overview of new features in Apache 2.2 的時候看到 Apache MPM event，回頭看記錄發現 Apache 2.1 就有了。

不知道我是不是有猜錯，這應該是 Event-driven 的 module 吧？hmmm...

Linux epoll() performance

在找一些資料的時候發現 zmx 的舊文章 (也沒有很舊，半年前的文章)，談 Linux epoll() performance 的改善：Comparing and Evaluating epoll, select, and poll。

這篇文章裡提到了 epoll() 在 idle connection 很少的情況下，與 poll() 或 select() 改善的空間不會太多，大概就只有省下從 kernel 要修改 userland space 的時間吧。

對於 Connection 數目很大的 HTTP server (所謂的 The C10K problem)，BSD 上的 ACCEPT_FILTER_HTTP 還是很重要，可以省下 accept() 進來卻慢慢送 Header 的情況 :p

Web Performance Tools - Siege

剛剛在 ijliao 那邊看到 O3 Magazine，看了 Lighttpd 的測試報告，發現測試報告裡面不是用 ab，而是用 Siege。看了一下 ab 與 Siege 的差別：

Siege is an http regression testing and benchmarking utility. It was designed to let web developers measure the performance of their code under duress, to see how it will stand up to load on the internet. Siege supports basic authentication, cookies, HTTP and HTTPS protocols. It allows the user hit a web server with a configurable number of concurrent simulated users. Those users place the webserver "under siege."

這樣看說明可能看不太出來，Siege 與 ab 主要的差別在於同時發出的 Request 不一樣 (於是會比較逼近真實的情況)。

查了一下 FreeBSD Ports 裡面，發現在 benchmarks/siege 下面有，邊裝邊找中文的說明文件，在 Siege：压力模拟/测试工具 這篇裡面有很簡單的說明，等下來用 WWW::Mechanize 寫個小程式抓網頁 url 測試看看。

Thread-safe gethostbyname() on FreeBSD 6.0

前陣子在我個人板上有寫，FreeBSD 6.0 的 gethost*() 已經 Thread-safe 了：

1. gethostbyname manpage on FreeBSD 6.0
2. gethostbyname manpage on FreeBSD 5.4

在最下面 BUGS 的地方寫的還蠻清楚的，所以我就寫了個小程式測試，在不同的 Thread 裡面不斷的呼叫 gethostbyname()，看傳回來的位置是什麼：

#include <netdb.h>
#include <pthread.h>
#include <stdio.h>

#define THREAD_NUM      (3)

void *thread_start()
{
    const pthread_t tid = pthread_self();

    int i;
    for (i = 0; i < 5; i++) {
        struct hostent *p = gethostbyname("ccca.nctu.edu.tw");
        printf("tid = %d, gethostbyname() = %p\n", tid, p);
        sleep(1);
    }

    return;
}

int main(void)
{
    pthread_t tid[THREAD_NUM];

    int i;
    for (i = 0; i < THREAD_NUM; i++)
        pthread_create(tid + i, NULL, thread_start, NULL);

    sleep(10);
}

Squid 3 的設定

Squid 3 網站上的 20051125 版 是有問題的，後來透過 cvs 抓到的版本就 okay 了。本來是要在 www.cs.nctu.edu.tw 上面測試的，後來被提醒 11/25 碩班甄試放榜，那我們就換回舊的版本了。

我後來在 netnews.nctu.edu.tw 上面架了一個，bind 在 127.0.0.1:3128 上面給自己用 (putty tunnel，3128:127.0.0.1:3128，然後把我 Laptop 與 Desktop 的 Firefox 都設定 127.0.0.1:3128 為 Proxy Server)，因為 netnews.nctu.edu.tw 是 FreeBSD 6.0，所以我在安裝的時候特地把 Thread 有關的選項打開 (像是 aufs)，先測看看 stability 如何，晚點再來測試看看 performance。

這是我 compile 時的參數：

--prefix=/home/squid --enable-storeio="ufs aufs diskd" --enable-disk-io="Blocking" --enable-removal-policies="heap lru" --disable-wccp --enable-cache-digests --disable-poll --disable-select --enable-kqueue --disable-epoll --disable-ident-lookups --enable-underscores --disable-unlinkd --enable-x-accelerator-vary --with-aufs-threads=8 --with-pthreads --with-aio

會同時把這麼多東西 compile 進去主要是要測試各種 algorithm 的效能，實際在跑的時候可能會再拔掉一些 :p

調整 Reverse Proxy 的 Performance

早上想測試看看 www.cs.nctu.edu.tw 的 Reverse Proxy，就把某些東西導過去測試了，跟 ericlin 測試了一下，馬上就發現了一些問題：

1. Squid 的實際吃的記憶體量大約是 cache_mem 所設定的兩倍多，如果 FreeBSD kernel 沒有調整過，則單一 Process 可使用記憶體最大上限應該是 512MB。
2. Squid 2.x 只支援 select() 或 poll() 這類 Function，在 3.0 才有支援 kqueue()，這可能是造成 Squid 使用大量的 CPU resource 的原因。

ericlin 先調整了 FreeBSD kernel，看起來穩定了點。可能等晚點會測試看看 Squid 3.0。

Network Programming Using Libevent - (III)

這次要談的跟 Network Programming 沒有直接的關係。

在寫 Nonblocking Network Program 通常要處理 Buffering 的問題，但並不好寫，主要是因為 read() 或 recv() 不保證可以一次讀到一行的份量進來。

在 libevent 裡面提供相當不錯的 Buffer Library 可以用，完整的說明在 man event 的時候可以看到，最常用的應該就是以 evbuffer_add()、evbuffer_readline() 這兩個 Function，其他的知道存在就可以了，需要的時候再去看詳細的用法。

下面直接提供 libevent-buff.c 當作範例，編譯後看執行結果，再回頭來看 source code 應該就有感覺了：

#include <sys/time.h>
#include <event.h>
#include <stdio.h>

void printbuf(struct evbuffer *evbuf)
{
    for (;;) {
        char *buf = evbuffer_readline(evbuf);
        printf("* buf = %p, the string = \"\e[1;33m%s\e[m\"\n", buf, buf);
        if (buf == NULL)
            break;
        free(buf);
    }
}

int main(void)
{
    struct evbuffer *evbuf;

    evbuf = evbuffer_new();
    if (evbuf == NULL) {
        fprintf(stderr, "%s(): evbuffer_new() failed.\n", __func__);
        exit(1);
    }

    /* Add "gslin" into buffer. */
    u_char *buf1 = "gslin";
    printf("* Add \"\e[1;33m%s\e[m\".\n", buf1);
    evbuffer_add(evbuf, buf1, strlen(buf1));
    printbuf(evbuf);

    u_char *buf2 = " is reading.\nAnd he is at home.\nLast.";
    printf("* Add \"\e[1;33m%s\e[m\".\n", buf2);
    evbuffer_add(evbuf, buf2, strlen(buf2));
    printbuf(evbuf);

    evbuffer_free(evbuf);
}

Network Programming Using Libevent - (II)

接下來要談的是 libevent 要如何使用，不過為了方便起見，我們直接寫一個很簡單的 Time Server 來當作例子：當你連上去以後 Server 端直接提供時間，然後結束連線。

在這些例子裡面我以 FreeBSD 6.0 當作測試的平台，另外使用 libevent 1.1a 當作 Event-based Library，Compile 時請使用 gcc -I/usr/local/include -o timeserver timeserver.c -L/usr/local/lib -levent (如果 libevent 的 Header 與 Library 放在 /usr/include 與 /usr/lib 下的話可以省略這兩個參數)。

原始程式碼在文章的最後頭。

event_init() 表示初始化 libevent 所使用到的變數。

event_set(&ev, s, EV_READ | EV_PERSIST, connection_accept, &ev) 把 s 這個 File Description 放入 ev (第一個參數與第二個參數)，並且告知當事件 (第三個參數的 EV_READ) 發生時要呼叫 connection_accept() (第四個參數)，呼叫時要把 ev 當作參數丟進去 (第五個參數)。

其中的 EV_PERSIST 表示當呼叫進去的時候不要把這個 event 拿掉 (繼續保留在 Event Queue 裡面)，這點可以跟 connection_accept() 內在註冊 connection_time() 的程式碼做比較。

而 event_add(&ev, NULL) 就是把 ev 註冊到 event queue 裡面，第二個參數指定的是 Timeout 時間，設定成 NULL 表示忽略這項設定。

最後的 event_dispatch() 表示進入 event loop，當 Queue 裡面的任何一個 File Description 發生事件的時候就會進入 callback function 執行。

這隻程式非常粗糙，有很多地方沒有注意到 Blocking 的問題，這點我們就先不管了。當跑起來以後你就可以連到 port 7000，就會出現類似下面的結果：gslin@netnews [~] [3:14/W5] t 0 7000


gslin@netnews [~/work/C] [3:15/W3] t 0 7000
Trying 0.0.0.0...
Connected to 0.
Escape character is '^]'.
Fri Nov 25 03:15:10 2005
Connection closed by foreign host.


最基本的使用就是這樣了，你可以 man event 看到完整的說明。

這是 timeserver.c：

#include <netinet/in.h>
#include <sys/socket.h>
#include <sys/types.h>
#include <event.h>
#include <stdio.h>
#include <time.h>

void connection_time(int fd, short event, struct event *arg)
{
    char buf[32];
    struct tm t;
    time_t now;

    time(&now);
    localtime_r(&now, &t);
    asctime_r(&t, buf);

    write(fd, buf, strlen(buf));
    shutdown(fd, SHUT_RDWR);

    free(arg);
}

void connection_accept(int fd, short event, void *arg)
{
    /* for debugging */
    fprintf(stderr, "%s(): fd = %d, event = %d.\n", __func__, fd, event);

    /* Accept a new connection. */
    struct sockaddr_in s_in;
    socklen_t len = sizeof(s_in);
    int ns = accept(fd, (struct sockaddr *) &s_in, &len);
    if (ns < 0) {
        perror("accept");
        return;
    }

    /* Install time server. */
    struct event *ev = malloc(sizeof(struct event));
    event_set(ev, ns, EV_WRITE, (void *) connection_time, ev);
    event_add(ev, NULL);
}

int main(void)
{
    /* Request socket. */
    int s = socket(PF_INET, SOCK_STREAM, 0);
    if (s < 0) {
        perror("socket");
        exit(1);
    }

    /* bind() */
    struct sockaddr_in s_in;
    bzero(&s_in, sizeof(s_in));
    s_in.sin_family = AF_INET;
    s_in.sin_port = htons(7000);
    s_in.sin_addr.s_addr = INADDR_ANY;
    if (bind(s, (struct sockaddr *) &s_in, sizeof(s_in)) < 0) {
        perror("bind");
        exit(1);
    }

    /* listen() */
    if (listen(s, 5) < 0) {
        perror("listen");
        exit(1);
    }

    /* Initial libevent. */
    event_init();

    /* Create event. */
    struct event ev;
    event_set(&ev, s, EV_READ | EV_PERSIST, connection_accept, &ev);

    /* Add event. */
    event_add(&ev, NULL);

    event_dispatch();

    return 0;
}

Network Programming Using Libevent - (I)

在課堂上學過 Unix Network Programming 後，我們知道在處理多 User 時會有幾種方法解決：

1. 一個新的 Connection 進來，用 fork() 產生一個 Process 處理。
2. 一個新的 Connection 進來，用 pthread_create() 產生一個 Thread 處理。
3. 一個新的 Connection 進來，丟入 Event-based Array，由 Main Process 以 Nonblocking 的方式處理所有的 I/O。
   

這三種方法當然也都有各自的缺點：

1. 用 fork() 的問題在於每一個 Connection 進來時的成本太高。
2. 用 Multi-thread 的問題在於 Thread-safe 與 Deadlock 問題難以解決，另外有 Memory-leak 的問題要處理。
3. 用 Event-based 的方式在於實做上不好寫，尤其是要注意到事件產生時必須 Nonblocking，於是會需要實做 Buffering 的問題，而 Multi-thread 所會遇到的 Memory-leak 問題在這邊會更嚴重。而在多 CPU 的系統上沒有辦法使用到所有的 CPU resource。
   

當然，針對前面兩項有各自的解法：

1. 以 Poll 的方式解決：當一個 Process 處理完一個 Connection 後，不直接死掉，而繼續回到 accept() 的狀態繼續處理，但這樣會遇到 Memory-leak 的問題，於是採用這種方式的人通常會再加上「處理過 N 個 Connection 後死掉，由 Parent Process 再 fork() 一隻新的」。最有名的例子是 Apache 1.3。
2. Thread-safe 的問題可以透過自己撰寫，或是尋找其他 Thread-safe Library 直接使用。Memory-leak 的問題可以試著透過 Garbage Collection Library 分析出來。Apache 2.0 的 Thread MPM 就是使用這個模式。
   

然而，目前高效率的 Server 都偏好採用 Event-based，一方面是沒有 Create Process/Thread 所造成的 Overhead，另外一方面是不需要透過 Shared Memory 或是 Mutex 在不同的 Process/Thread 之間交換資料。

然而，Event-based 在實做上的幾個複雜的地方在於：

1. select() 與 poll() 的效率過慢，造成每次要判斷「有哪些 Event 發生」這件事情的成本很高，這在 BSD 支援 kqueue()、Linux 支援 epoll()、Solaris 支援 /dev/poll 後就解決了，但這兩組 Function 都不是 Standard，於是在不同的平台上就必須再改一次。
   
2. 因為 Nonblocking，所以在 write() 或是 send() 時滿了需要自己 Buffering。
3. 因為 Nonblocking，所以不能使用 fgets() 或是其他類似的 function，於是需要自己刻一個 Nonblocking 的 fgets()。但是使用者所丟過來的資料又不能保證在一次 read() 或 recv() 就有一行，於是要自己做 Buffering。

實際上這三件事情在 libevent 都有 Library 處理掉了。

另外值得注意的一點在於 libevent 使用的是 3-clause BSD license 而非 GPL，所以在不想公開程式碼 (像是商業用途) 的情況下會比其他的 Library 適合。