35年ぶりの第2版「プログラミング言語AWK 第2版」、オライリーから5月発売
awkは、UNIX登場初期からgrepやsedなどと並んで代表的なコマンドラインツールとして使われてきました。その名称が、作者であるAho氏、Weinberger氏、Kernighan氏の三者の名前からとったものであるというエピソードも非常に有名です。 そしてこの三人の作者が執筆した書籍「The AWK Programming Language」（邦題：プログラミング言語AWK）は、awkのバイブルと言ってよい書籍でしょう。 日本で1989年に第1版が発行されたこの「プログラミング言語AWK」が、35年ぶりに第2版に改訂され、今年（2024年）5月16日にオライリー・ジャパンから発売されることが分かりました（Amazon、楽天ブックス）。 著者は第1版と変わらず、Alfred V. Aho氏、Brian W. Kernighan氏、Peter J. Weinberger氏です。 下記はAm
awkが新しくなる！？ 本家AwkがUnicode (UTF-8)とCSV対応に！ - Qiita
はじめに 2023年、長い時を経て awk がとうとう Unicode (UTF-8) と CSV に対応しました 🎉🎉🎉 awk で日本語がうまく扱えない（場合がある）、Excel が出力する CSV ファイルが扱えない（場合がある）、といった問題が解決に向けて一歩に進みます。 去年、本家 awk (One True Awk, nawk) に Unicode サポートが Brian Kernighan の手によって追加されたと話題になった（参照）ことを覚えているでしょうか？ Brian Kernighan が誰だか知らない方がいるかもしれないので説明すると、オリジナルの awk の開発者の一人で awk の頭文字、Alfred Aho、Peter Weinberger、Brian Kernighan の一人です。通称「K＆R」の「プログラミング言語C」や「プログラミング言語AWK」
GNU AWK 5.0がリリース。8年ぶりのメジャーバージョンアップ。正規表現ライブラリがGLIBCからGNULIBへ移行、名前空間が実装
GNU AWK 5.0がリリース。8年ぶりのメジャーバージョンアップ。正規表現ライブラリがGLIBCからGNULIBへ移行、名前空間が実装 UnixやLinuxにおいてsedやgrepなどと並んでよく知られているツールの1つがawk（オーク）です。このawkのGNUプロジェクトによる実装の最新版「GNU AWK 5.0」（gawk 5.0）のリリースが発表されました。 2011年にリリースされたGNU AWK 4.0から8年ぶり、直前のバージョンでとして2017年10月にリリースされた4.2.0からは約1年半ぶりとなります。 AWKはいわゆるスクリプティング言語の一種。変数や関数、制御文など基本的な構文を備え、テキストファイルを効率的に処理できるのが特徴です。 GNU AWK 5.0の新機能としては、printfの%aおよび%Aの書式がPOSIX標準に準拠したこと、正規表現のルーチンが、長
シェル芸勉強会 AWK の基本 パターンを使ったお手軽プログラミング 2015 年 12 月 26 日 斉藤 博文 (@hi_saito) Index 1. 自己紹介 2. 今回の内容 一行野郎 3. AWK の基本 レコードとフィー��
シェル芸勉強会 AWK の基本 パターンを使ったお手軽プログラミング 2015 年 12 月 26 日 斉藤 博文 (@hi_saito) Index 1. 自己紹介 2. 今回の内容 一行野郎 3. AWK の基本 レコードとフィールド 3.1. レコードとフィールド レコード 3.2. レコードとフィールド フィールド 3.3. 覚えておいて欲しいこと 1 オリジン言語 3.4. つまりどういうこと? 4. サンプルデータ 4.1. サンプルデータの取得 4.2. 今回のサンプルデータ stars.txt 4.3. 今回のサンプルデータ 補足 4.4. AWK は行志向 4.5. サンプルデータを眺める 1 4.6. サンプルデータを眺める 2 4.7. サンプルデータを眺める 3 4.8. サンプ
AWKブーム第1世代は「アイドル辞書」で学んだ――日本GNU AWKユーザー会 斉藤さん
CodeZineがPodcastを始めます。「かまぷとゆうこのデベロッパーズ☆ラジオ」略して「デブ☆ラジ」。この番組では、USP研究所のかまたひろこと、CodeZine編集部の近藤佑子が、ソフトウェアデベロッパーのみなさんに向けて、IT技術に関するちょっといい話をお送りします。音声に加えて、ダイジェスト版の記事もお届け。記念すべき第1回のゲストは、日本 GNU AWK ユーザー会 斉藤博文さんです。 iTunesからの視聴はこちら！ 近藤佑子（以下、ゆうこ） 今回が第1回の放送なんですけれども、この番組はですね、今年の2月にあったオープンソースカンファレンスのあとに、2人で飲んでて「やろう」って言ってね。やっと始められましたね。 かまたひろこ（以下、かまぷ） そうですね。吉祥寺のCAFE ZENONで。 ゆうこ かまたさんはその前にも対談の企画をやられてたんですよね。 かまぷ はい。『So
AWKとPowerShell
非プログラマにもオススメのプログラミングの学習サイトです。https://nalu-labo.amebaownd.com
Just another Ruby porter, 2015-12-a
■ Docker小ネタ コンテナを消すときに % docker ps -l % docker rm `docker ps -lq` ってのはヒストリーを呼び出してよくやるが、 打つ文字が長くなっても % docker ps -l % docker ps -lq|xargs docker rm のほうがカーソルをあちこち動かさなくて済む分なんとなく速い。 巷にはdocker images --treeとか--vizとか便利そうなオプションの使用例があるが、 できるだけ小さく保つという方針によりすでにdeprecate。 --treeに関しては Deprecate 'docker images --tree' and 'docker images --viz' by shykes · Pull Request #5001 · docker/docker を参照。 ■ dockviz 昨日の--
大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog
以下、長々と書いてますが、結論は ”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablogに書いてます はじめに awk file より cat file|awk のほうが速いという以下のブログエントリが興味深いので調べてみました。 ちなみに cat file|awk が速くなる環境は稀で、巷では awk file のほうが速い環境のほうが多いようで、どちらが速いかは環境依存です。 [root@localhost sample]# cat command1 awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' sample.txt > result1.txt （中略） [root@localhost sample]# time sh command1 real 0m53.92
はてなブログ | 無料ブログを作成しよう
わたし的棚ぼた一万円選書 急に千葉さんに手渡された封筒、開けてみたら1万円札が1枚。何ごとかと思えば、同期の出張を代わったお礼をもらったらしい。 「葵はワンオペで育児してくれたから」と半分わけてくれました。 泡銭の1万円 これはもう、わたし的1万円選書をしろという思し召しなのでは……
統計屋のためのAWK入門 - あんちべ！
はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。 AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtというファイルの中から "fail"という文字列を含む行を抽出したければ次のように書くだけです。 awk /fail/ input.txt つまり、スラッシュ記号で文字列を指定するだけで その文字列を含む行を抽出できるのです。 大変簡単ですね！ また、awkはLinuxやMacには標準で入っており、 Windowsでもawk.exeを一つ用意するだけなので、 面倒なインストール作業や環境構築は不要で誰でも即座に使えるため、 自分で書いた処理を他人に渡したり*2各サーバに仕込むなども簡単に出来ます。 複雑な処理をする場合はPythonや
Just another Ruby porter, 2014-8-a
■ ruby-talk ML なんか急にruby-talk MLが止まってしまって、 どうなってるのかログを見てもよくわからず、 週末にでもじっくり調べようと思っていたら、 今日になって突然流れてきた。 単に寂れただけ？ 他のruby-coreとかは動いていたしなあ。 ■ 第12回本当は怖くないシェル芸勉強会 Q6をzshで。 % printf "5\n3\n4\n10\n2\n" | while read a;do echo ${(l:2:)a} ${(l:a::*:)};done 5 ***** 3 *** 4 **** 10 ********** 2 ** awkで文字を繰り返すにはOFSを使う手もある。 % awk 'BEGIN{NF=5+1; OFS="*"; print}' ***** % printf "5\n3\n4\n10\n2\n" | awk '{printf "%2
Mitzyuki's Blog :: grep & awk
grep & awk grep "^HOGEHOGE" file | awk 'BEGIN { FS = "="}; { print $2 }' というコード。一見何も問題ない様に見えるし確かに動作はするが、 CPU とプロセスと時間の無駄遣いである。 awk (1) には拡張正規表現が実装されているで、 awk 'BEGIN{FS="="}/^HOGEHOGE/{ print $2 }' file とすれば grep (1) の分だけ CPU やプロセス、時間が節約できる。 sed -n '/^HOGEHOGE/s/^.*=//p' file とするのも等価かな。 行指向の処理であれば煩雑な awk (1) よりも sed (1) の方が見やすいので、 個人的には sed (1) を利用した方法がお勧め。 シェルスクリプトに限らずスクリプト言語で記述されたプログラムは、 source f
awkへシェルスクリプトの変数を渡す - Qiita
シェル変数として渡したいのは、「パターン」もしくは「アクション」です。 1. パターンをシェル変数として渡す場合 /'"${shell_pattern}"'/のように、変数をシングル、ダブル、<シェル変数>、ダブル、シングルクォーテーションで括ればよい。 2. アクション(パターン以外)にシェル変数を渡す場合 -vオプションを使う -v awk_action_val="${shell_action_val}" 1,2.を組み合わせたサンプル
koie blog : awkのフィールド参照について
2014年03月26日12:54 カテゴリsw awkのフィールド参照について awkは$1,$2とかで入力行のフィールドを参照できるが、$iのように変数はつかえないと思っていた。というのはshではできないから。 % cat foo echo $1 I=1 echo ${$I} % sh foo xxx yyy xxx foo: ${$I}: Bad substitution % awkだとこんな感じ。 % echo xxx yyy | awk '{ I=1; print $I }' xxx % awkはCに似せているだけあって値のセマンティックスなのにたいして、shはマクロ展開が基本なのでいろいろ違って当然なのだが、いったいどういう文法になっているのかFreeBSDのawkのソースコード(/usr/src/contrib/one-true-awk)をのぞいてみた。 構成はlex.cが字句
awk に標準出力をバッファさせないようにする
cles::blog 平常心是道 blogs: cles::blog NP_cles() « iPhone の電話帳を Excel で編集する :: iFace というストラップホールのあるケースを買っ... » 2014/02/14 awk に標準出力をバッファさせないようにする awk sh 504 3へぇ vmstat の出力にはタイムスタンプがないので、こんな感じで awk を使ってタイムスタンプをつけていたのですが、これをファイルにリダイレクトして、そのファイルを tail -f で追いかけてみても一向に内容が更新されないという現象が発生して困ってしまいました。 $ vmstat 1 | awk '{print strftime("%Y-%m-%d %T ") $0;}' 2014-02-14 21:12:56 procs -----------memory---------
なるべく書かないawkの使い方 - ザリガニが見ていた...。
awkという、古くからのスクリプト言語がある。（1977年生まれ。読み方は「オーク」である。エイ・ダブリュ・ケイではない）man awkをPDFに変換してみると、たったの3ページ強しかない。 $ man -t awk|pstopdf -i -o ~/Downloads/awk.pdf とてもシンプルな言語仕様ではあるが、awkには必要十分な表現力がある。特にテキストを処理する場面においては、最小限のシンプルな記述で、気の利いた処理を素早くこなす。無駄のないawkワンライナーを見ると、ある種の感動を覚える。awk以降に生まれたスクリプト言語は、少なからずawkの影響を受けていると思われる。 awkを知ることで、間違いなく幸福度は上がると思う。いつかきっと「知ってて良かった」と思える時が来るはず。もっともっと、awkを知りたくなってきた。 基本動作 awkの基本動作は、とってもシンプルである。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GlueLangが変態言語になるかどうかの瀬戸際である – 上田ブログ
GNU AWKはまだまだ成長中！ ユーザーの声をもとに作成された拡張機能を組み込んでみよう
USP MAGAZINEコラボレーション連載／「シェル芸」に効く AWK処方箋一覧
http://gauc.no-ip.org/awk-users-jp/blis.cgi/DoukakuAWK_182