Posts Tagged ‘ckip’
主要是 Yahoo 推出了「斷章取義」 API，所以我就把這部份實作上去，不過我只完成了 Java 的版本。 所以目前 CKIP Client 可以選擇使用中研院的 CKIP 斷詞服務 以及 Yahoo 斷章取義 的服務 至於文件就慢慢再加上去 下載點 CKIP Client for Java 0.3
昨天在處理 CKIP Client 的遇到的 還跑去 JavaWorld@TW 去問了問題 其實不是問題，而是自己觀念不清楚 Java 在處理 String 上面，都是採用 Unicode 在處理，然而天真的我以為，要先轉成目標碼再塞進 String，這樣存取都是目的碼。其實應該是從 String 拿出來後再轉成目的碼，或是從目的碼轉成 Unicode 再塞進 String。 而 Java 在這方面處理就簡單的多，只要指定輸出碼與輸入碼就可轉成 Unicode，不像是 PHP 要透過 iconv 轉碼。 在實做 CKIP Client 中，傳送到中研院需要使用 big5 碼，而中研院回傳的也是 big5 碼，所以在 Java 中就要使用 big5 碼來傳送與接收。 // 傳送 code Socket s = new Socket(this.serverIP, this.serverPort); // 指定傳送編碼 big5 OutputStreamWriter osw = [...]
CKIP 是中研院詞庫小組開發的中文斷詞系統 許多作中文 Text Mining 的研究都會用到 CKIP 中研院有提供一組 Server 支援線上處理 不過需要自行撰寫 TCP Socket 相關處理 我之前有用 Java 跟 PHP 將這部份處理好 這兩天打包整理一下放在 sourceforge 上面 有需要的朋友可以去下載來用 http://ckipclient.sourceforge.net/
