バッチの未来、どうするHadoop - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 ITproの『DBの未来、どうするHadoop』のタイトルに釣られてみたｗ （以下長々書いたけど、結局言いたいことは、DBとHadoopは関係無いってことと、タイトルについて何か勘違いしたっぽいということだけだった＾＾；） 僕の意見では、Hadoopはバッチ処理を分散して実行する基盤である。データを溜めるのは副次的な効果に過ぎない。（暴論ｗ） もちろん、そもそも分散処理を行う必要があるのは処理対象データが大量だからなので、データの溜め方も必須ポイントだし、Hadoopが分散処理する原理も密接に結びついているのだが。 あらかじめ断っておくと、自分は非構造化データとか分析とか機械学習には興味が無い。 自分がHadoopに興味を持ったのは、自分が担当していた“RDBを対象にした
バッチ処理について考える - Qiita
TL;DR ひとくちにバッチといっても色々ある 夜間バッチをもう作るな オンラインバッチはSQL以前にDB設計がんばれ はじめに Twitterのタイムラインで以下のようなツイートが回ってきました。 バッチ処理をみんな舐めてかかったり、ショボイとか思ってる人多い印象なんだけれども、数十万～数千万件規模のデータを処理したことあるのかな。テンプレ通りのコードじゃ動かないよ？ネットに本にも答え載ってないよ？低レイヤも意識しないと動かないよ？ 2020年1月10日 ツイートされたわだっしーさんの意図がどこにあるかは確認してないですが、極限の世界でテンプレート的な処理では対応出来ないのはあるよな、と思いつつもある程度はバッチの作法としての書き方があると思っています。 このツイートとその関連ツイートを読みながら、そういえばバッチ処理に関して書いてある記事はあまり見ないなぁ、とおもったので他のネットや本
安全なバッチ処理の作り方 - KAYAC engineers' blog
このまえ登り坂の途中でロードバイクのタイヤが破裂しました。ながたです。 今回はバッチ処理について書いてみようと思います。 バッチ処理？ Webサービスの処理開始条件は、大まかに次の2つに分けることができます。 ユーザーのアクションに起因するもの ユーザーのアクションに起因しないもの このうち後者の処理をバッチ処理が担当することになります。 バッチ処理の担当分はさらに、 特定の条件（時間やサービスの状態）で実行するもの 手動で実行するもの の2つに分けられます。 今回はこの「手動で実行するもの」について書きたいと思います。 バッチを手動実行するのはどんなとき？ バッチ処理を手動で実行するのは、十中八九イレギュラーな状況が発生したときです。 ルーチンワークや実行の条件が決まっているものは何らかの方法で自動化できるはずです。 そしてイレギュラーな状況のほとんどは不具合が発生したとき。 つまり 重
新卒１年目がバッチサーバーにECSを使ってDockerを導入した話 | feedforce Story
こんにちは！株式会社フィードフォース新卒エンジニアの@kielzeです。最近は会社から支給されたMacBookProのTouchBarにsushiを流したりしています。 フィードフォースには新しい技術に積極的に挑戦できるような環境があります。そして、挑戦した結果がよいものであれば、本番環境でもガンガン使われます。 若手も新卒も関係無く、全てのエンジニアがその挑戦権を持っています。 今回は、先輩エンジニアである@tsubさんが、当時新卒1年目で社内で使われているバッチサーバーのDocker化に挑戦した話をしようと思います。 ちなみにtsubさんはとても知識が豊富で何を聞いても答えてくれるので、とても頼もしい先輩です！ Dockerを導入した経緯フィードフォースでは、データフィードマネージメントサービス「DF PLUS」を提供しています。 このサービスの裏側では、お客様から頂いた商品データなど
大公開！バッチアプリケーションの品質を高めるZOZOの『バッチ開発ガイドライン』 - ZOZO TECH BLOG
こんにちは。MA部の田島です。 弊社では開発ガイドラインというものを用いて、システムの品質を担保しています。今回私がテックリードを務めているということもあり、バッチアプリケーションを開発するためのガイドラインを作成しました。本記事では「開発ガイドライン」と「バッチ開発ガイドライン」を紹介します。 バッチアプリケーション開発に限定したTipsはまとまっているものが多くないため参考にしていただければと思います。 開発ガイドラインについての紹介 冒頭でも紹介した通り弊社では、開発ガイドラインというものを用いてシステムの品質を担保しています。バッチ開発ガイドラインを紹介する前に、まず開発ガイドラインを紹介します。 開発ガイドラインの種類 開発ガイドラインは現在、以下の種類が存在します。 共通 Android iOS Frontend Backend Infra API Batch DB(Datab
プロジェクトマネジメントのおすすめ本を４つの分類でご紹介｜コーヒー好きのPM
このnoteでは、プロジェクトマネジメント（以下、プロマネと略記）のおすすめ本をマトリックス図に整理してご紹介します。 ◆変更履歴◆ 2024.05.07 初版公開 ◆今後追加予定◆ ※追加のお知らせはX（@coffee_nomimasu）にて行います ・プロジェクトマネジメントの基本が全部わかる本 ・プロジェクトマネジメントの本物の実力がつく本 ・驚異のプロジェクト実行術 準備編 ・驚異のプロジェクト実行術 実践編 ・プロジェクト・シン・エヴァンゲリオン プロマネ本を探すときの悩み筆者の本棚にあるプロマネ本プロマネ本を探すとき、多くの方は「プロジェクトマネジメント おすすめ 本」などとキーワード検索して、 プロジェクトマネジメントのおすすめ本を紹介！ プロジェクトマネージャーが読むべきおすすめ本〇〇選！ プロジェクトマネジメントおすすめ本ランキング！ などのサイトを見ながら自分に合いそう
【個人資産800億円】“伝説の投資家”清原達郎氏の情報収集「会社四季報とIR情報を読むだけで十分」その読み解き方 | マネーポストWEB
清原達郎氏が「唯一、お金を払う価値がある」と断言するのは『会社四季報』（撮影／野口博） 投資熱が高まるなか、企業の経営状況や株価など投資情報へのニーズも増している。昨今は個人投資家向けの有料情報サイトが乱立しているが、個人資産800億円という伝説の投資家・清原達郎氏は「本当に必要な有料情報源は『会社四季報』のみ。あとは企業ホームページのIR（Investor Relations）情報だけで十分」と指摘する。では清原氏は会社四季報とIRをどう読み解いているのか。独自メソッドを初公開する。 「株価情報の収集にお金をかける必要はない」──そう断ずる清原氏。かつてヘッジファンド・タワー投資顧問の運用部長として旗艦ファンドを立ち上げ、2005年に発表された最後の高額納税者番付でサラリーマンとして初の1位（納税額37億円）に輝いた伝説の投資家である。 清原氏は、2018年に咽頭がんの手術で声帯を失い、
ロシアの天才ハッカーによる【新人エンジニアサバイバルガイド】 - Qiita
弊社に５年間在籍していたロシアの天才ハッカーが先日退職しました。 ハッキング世界大会優勝の経歴を持ち、テレビ出演の経験もある彼ですが、正直こんなに長く活躍してくれるとは思っていませんでした。彼のようなタレントが入社した場合、得てして日本の大企業にありがちな官僚主義に辟易してすぐに退職するか、もしくはマスコットキャラとして落ち着くかのどちらかのケースがほとんどなのですが、彼は最後まで現場の第一線で活躍してくれました。 そんな彼が最後に残していった退職メールがなかなか印象的だったので、その拙訳をここに掲載します（転載について本人同意済み。弊社特有の部分は一部省いています。） ああ、なんという長い旅だったろう。この会社で５年間もセキュリティを担当していたよ（諸々の失敗は許してくれ） 俺は他の退職者のように面白いことは書けないが、私のこの退職メールを読んでくれている人、特に新人エンジニアのために、
シェルとUNIXコマンドの未来 ～ これからの10年で起きるシェルスクリプトの変化 - Qiita
はじめに シェルスクリプトの世界は今後 10 年で大きく変化します。10 年という数字は切りが良い数字を持ってきただけで根拠はありません。これより長い時間がかかるかもしれませんし、もしかしたら短くなるかもしれません。しかし確実によりよい方向に変わっていくでしょう。Unix/Linux の標準コマンドはさまざまな問題を抱えています。Unix/Linux の標準コマンドに依存している限りシェルスクリプトに大きな改善はありません。これからのシェルスクリプトの世界は Unix/Linux の標準コマンドに依存しない世界です。それがどういうものになるのかをこの記事で解説しています。この記事は私の予言であり目標です。 シェルスクリプトの失われた30年の進化を取り戻す！ 残念なことに、シェルスクリプトの世界は 30 年前から大きく変わっていません。それまでの間、プログラミング言語の世界、ソフトウェア開発
【2024年版】平成元年発売のテトリスが 世界中で大変なことになっている｜slappin' Notes
はじめに2023年10月、毎年恒例となった賞金制のテトリスの世界大会である「CLASSIC TETRIS WORLD CHAMPIONSHIP」が開催されました。 Super Killscreen導入後初の世界大会となった今回、フルセットまでもつれ込んだ白熱の決勝戦はKillscreen中にテトリスも飛び交う激しい競り合いが繰り広げられ、歴戦の猛者のSidnev氏を破り、前回準優勝のFractal氏が悲願の初優勝を遂げました。 皆様お久しぶりです。今回もNESテトリス世界大会の記事を執筆することとなりました。前回から1年半ぶりとなります。 2023年はあまり書くこともなさそうだな…と思っていましたが、そんなことはありませんでした。本当に大きな出来事が何度も、立て続けに起きてしまったため、この記事の公開が12月末から今年の6月になってしまったほどです。この記事も相当長くなることをお伝えしてお
マネジメントの新ハック「優先事項のメンタルマップ」 | Coral Capital
月間10万人が読んでいるCoral Insightsのニュースレターにご登録いただくと、Coral Capitalメンバーによる国内外のスタートアップ業界の最新動向に関するブログや、特別イベントの情報等について、定期的にお送りさせていただきます。ぜひ、ご登録ください！ Coralの社内ではもはや誰もが知っていることですが、私は数ある企業文化の中でも、特にリクルートとNetflixのカルチャーが素晴らしいと感じています。両社は全く別の業界の企業で、まるで共通点がなさそうですが、そのカルチャーは驚くほど似ています。具体的には、どちらも社員にかなりの裁量と責任を与える傾向があります。リクルートの「お前はどうしたい？」にしても、Netflixの「コントロールではなくコンテキストを」にしても、意思決定権を意図的に分散させている点が特徴的です。こうした組織体制から生まれる社風こそが、インターネット時代
情報セキュリティとは？ - Qiita
＜ 情報セキュリティとは ＞ 個人、組織の情報資産を「機密性」「完全性」「可用性」に関する脅威から保護するためのもの 普段私たちが使っているパソコンやスマートフォンなどの端末やインターネットの利用 データなどを危険な状況・観点から情報を守ること 三大要素とは 「機密性」「完全性」「可用性」＝【CIA】 が情報セキュリティにおける三大要素となっています。 情報セキュリティに限らず単語としては把握できますが、個人的にはつまりどんなこと？とイメージが湧かなかったので解釈するにあたって単語をかみ砕いて理解します。 未経験で業界挑戦しエンジニアとしてこれからを目指すにあたり、【目に見えない情報というもの】をいかにして捉えるかを日々苦戦しております。 そこで情報セキュリティにおいて、情報資産＝家（家の中のもの）と例えてとらえてみることにしました。 ※以降の記述はイメージとして捉えやすくする・把握するた
ユニットテストってもう言わない！ CI/CD時代のテスト分類に最適なテストサイズという考え方
はじめに 以前からユニットテスト/単体テストという言葉は使いづらい、と感じており今回も旧Twitterで「テストを実行時間ベースで分類する良い言葉ないかなー」と呟いていたところ、「テストサイズのSMLって考え方があるよ」と教えて戴きました。 だいたいは教えてもらったt_wadaさんの記事にすべて書いてあるのですが、自分の整理も含めて動画にしたので、その補完記事となります。 TL;DR 単体テストのバベルの塔は既に崩壊 CI/CDでの継続的テストには時間ベースのテスト分類が重要 UT/IT/E2EではなくSMLによるテストサイズがCI/CDには合う それは単体テストか結合テストなのか？ 自動テスト、手動テストに関わらずテストの分類として単体テストと結合テストという言葉は一般的です。 ITQBではTest Levelsという言葉で定義されていますし、以下のようなV字モデルの対応表はみんな知って
中級 Vim 操作
この記事は Vim 駅伝 の 06/05 の記事です。 前回の記事は thinca さんによる、 06/03 の「Meguro.vim #23 を開催しました」という記事でした。 次回は 06/07 に投稿される予定です。 はじめに 本記事は以下の記事のオマージュです。 Vim の基本操作のうち、比較的マイナーながら汎用的に使える機能や小技を集めました。プラグインや複雑な設定が必要なものは含まれておらず、いずれも Vim と Neovim の両方で使うことができます。気になったものがあれば使ってみてください。 ノーマルモード編 検索結果を次々と置き換える Vim で文字列置換を行う最も有名な方法は :substitute コマンド （短縮形: :s） ですが、ノーマルモードの cgn というイディオムも便利です。これは c オペレータと gn テキストオブジェクト (:h gn) を組み合
「ボルテスV レガシー」10月18日から劇場公開！ 日本の観客のためにフィリピン製作陣が用意した“超電磁編集版” : 映画ニュース - 映画.com
ホーム > 映画ニュース > 2024年6月4日 > 「ボルテスV レガシー」10月18日から劇場公開！ 日本の観客のためにフィリピン製作陣が用意した“超電磁編集版” 「超電磁マシーン ボルテスV」が熱狂的な支持を受けているフィリピンで実写化！(C)TOEI Co. Ltd, Telesuccess All Rights Reserved テレビアニメ「超電磁マシーン ボルテスV（ファイブ）」を、熱狂的な支持を受けているフィリピンで実写化した「Voltes V：Legacy（原題）」が、「ボルテスV レガシー」の邦題で、10月18日から劇場公開されることが決定。日本の観客のためにフィリピン製作陣が用意した“超電磁編集版”でのお披露目となり、字幕版に加え、吹替版での公開も決定している。 原作アニメ「超電磁マシーン ボルテスV」は、「超電磁ロボ コン・バトラーV」に続く“長浜ロマンロボ”の第2
WBSについて学び直した - Qiita
エンジニアのみなさま、日々の学習本当にお疲れ様です！ また本記事まで足を運んでいただき本当に感謝です。 約3分程度で読めるので最後まで読んでもらえると幸いです。 本記事を書こうと思った経緯 プロジェクト管理をする上でWBSに触れる機会が多いものの、表面的な理解しかできておりませんでした。 「何のために使うのか？」 「この手法を活用し、どの様な責務を持たせるべきなのか？」 を理解したい。そして実践したい。 その結果、プロジェクトにおける工程管理を「正しい知識を持って」「より円滑に」プロジェクトを進めたいと思ったためです。 いくつか記事を見ながら学び直した内容を要約してみました。 実務でWBSを活用したときのつらみや感じたことを織り交ぜながら本記事を完成させたいと思います。 主観が多いため 「もっとこうした方が良いよ！」 や 「うちの会社ではこの様な考えで取り組んでます！」 があればぜひコメン
【うひょ氏】技術発信や登壇資料づくりに。記事の隙をなくして理解度を上げる文章テクニック
【うひょ氏】技術発信や登壇資料づくりに。記事の隙をなくして理解度を上げる文章テクニック 2024年6月3日 フロントエンドエンジニア うひょ TypeScriptとReactが得意なフロントエンドエンジニア。株式会社カオナビ所属。ウェブ上の技術記事や雑誌を通じて技術的な情報発信を続けている。実はJavaScript歴19年。 著書『プロを目指す人のためのTypeScript入門』（技術評論社） X（@uhyo_） 個人サイト（uhy.ooo） 皆さんこんにちは。前回は、私の技術発信の遍歴をご紹介するとともに、私の考える、技術発信に必要な能力や考え方をご紹介しました。 今回は、より具体的なテクニックやその背景をご紹介します。すでに技術発信をしている方や、これからやろうと思っている方はぜひ参考にしてみてください。文章のテクニックと、登壇（登壇資料）のテクニックをあわせてご紹介します。 keyb
シンギュラリティ、もう来てない？ | やねうら王 公式サイト
2045年頃にシンギュラリティが起きると言われている。技術の進歩が予想以上に速いことから、これが早まる可能性があると考える研究者も多い。 私はシンギュラリティはもう来てるんじゃないかと思っている。今回はその根拠について少し書く。 岡谷貴之さんの『深層学習』(第二版)には「student gradient descent」という言葉が出てくる。ちなみに、この本は第一版から大量にページが追加されて、第一版とは全く別の内容となっているので、第一版を買った人も是非第二版を手にとって欲しい。 さて、このように大学院生がランダムな思いつきを端から試すことで得られた深層学習のアイデアやテクニックやらがたくさんあるのが現在のこの界隈の状況である。 彼らは決してIQ 500のような超知能を持つわけではないが、彼らが試行錯誤することにより技術的な前進が得られているわけである。 つまり、シンギュラリティに必要な
英語が聞き取れない原因はリエゾン（リンキング）だった！音変化のルールと練習方法を紹介
「英語講師の話す英語はわかるのに、ネイティブ同士の会話が聞き取れない」 「映画を英語字幕付きで見ていても、同じことを役者が話しているように聞こえない」 ある程度の英語力があるにも関わらず、ネイティブの話す英語が聞き取りにくく感じてしまう原因のひとつにリエゾン（リンキング）があります。 リエゾンとは言葉の音声変化のことで、ネイティブスピーカーの英語では自然に発生しています。 このリエゾンを意識できると、相手の英語がぐっと聞き取りやすくなるばかりか、自分でもスピーキングのときにより自然な発音ができるようになりますよ。 しっかりリエゾンを身につけて、リスニングもスピーキングも、自信を持ってできるようになりましょう！ 執筆者：Lin 小4までアメリカの現地校に通い、帰国後は「英語はネイティブ並みでしょう？」という周囲の誤解とプレッシャーゆえに、英語の勉強から遠ざかった過去あり。中途半端な英語力にコ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
仕事の進め方がグダグダの会社はどうすればいいのか、「プロジェクトマネジメントの基本が全部わかる本」の著者に聞いてみた
