xargsを使った並列化を試したメモ - 唯物是真 @Scaled_Wurmxargs -P が激しく便利なのでメモ - 新生おともだち研究会 xargs を使ってカジュアルに並列処理 - tagomorisのメモ置き場 ↑の辺りの記事を読んでxargsによる並列化を試してみたメモ。 結果を先に書いておくと、残念ながら並列化してもあまり速くならなかった。 もしかしたらコマンドの使い方が怪しいかも……？ とりあえず目的はMeCabを並列に実行すること。 300弱のファイルで試した。 並列数Pと渡す引数の数nは適当に決めた。 1.ファイルごとに並列 カレントディレクトリ以下の.txtファイル名を全部取ってきて10並列でMeCabに投げて出力をtxtファイル名+.mecabファイルにリダイレクトする。 わざわざシェル(sh)経由でMeCabを起動しているのは、.mecabファイルに標準出力をリダイレクトさせるようにするため。 find . -name '*.txt' -
