2012-12-01から1ヶ月間の記事一覧

Pythonでtf-idf その二

Pythonで形態素解析 - よしなしごと Pythonでtf-idf その一 - よしなしごと の続きです.といってもあとはコードを書くだけだったので,書きました.ひたすらfor文でループを回しているので,とても遅そうですが….まあ今回は動けばいいやということで. 実…

Pythonでtf-idf その一

Pythonで形態素解析 - よしなしごとの続きです. 日本語出力ではまってしまった*1ので,今回はtfの算出までです.idfは週末に終わらせる予定…. tf-idfとは 索引語の重みづけの一種です.tfは"Term Frequency",idfは"Inverse Document Frequency"の省略で.…

Pythonで形態素解析

授業で,日本語文書を単語に切り分け索引語リストを作りtf-idfを求めよという課題が出たので,Pythonで取り組んでみることにしました.基本的には初心者なので,誤りなどあればご指摘いただければ幸いです. まずは日本語文書を形態素解析するために,オープ…