気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
qiita.com/fujineエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント22件
- 注目コメント
- 新着コメント
Ez-style
業務で作業するならBQに突っ込めでFAとして、CSVの基本統計量を計算するだけなら grep と awk という手段が（老人会脳 ／ 身も蓋もないことをいえば、アタリをみたいだけならランダムサンプリングすればよくね。
Ez-style
業務で作業するならBQに突っ込めでFAとして、CSVの基本統計量を計算するだけなら grep と awk という手段が（老人会脳 ／ 身も蓋もないことをいえば、アタリをみたいだけならランダムサンプリングすればよくね。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita
はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCS... はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量（最小値、最大値、平均、分散、四分位数）などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
qiita.com/fujine
qiita.com/fujine
qiita.com/fujine
qiita.com/fujine
www.hageatama.org
slownews.com
photoshopvip.net
pyopyopyo.hatenablog.com
qiita.com/birdwatcher
qiita.com/minorun365
techcommunity.microsoft.com
lestrrat.medium.com
www.nikkei.com
togetter.com
anond.hatelabo.jp
dc.hatenadiary.com
anond.hatelabo.jp
www.nikkansports.com
mdpr.jp
2023/06/06 リンク