Spark and YARN - Qiita
SparkとYARNについて書きます。テーマ的にインフラストラクチャについての話が多くなると思います。 SparkとHadoopの関係性 SparkはHadoopクラスタへの依存はしていない。(ただし、ややこしいのだがHDFSやYARNのクライアントライブラリへの依存はある)なのでHadoopなしでも動かすことができる。しかしそれでもHadoopと一緒に動作させることが多いのは以下の理由による。 クラスタマネージャとしてのYARN Sparkはアプリケーション（厳密にはSparkアプリケーション）ごとに下記のようなクラスタが構築される。Driver Programと呼ばれる、SparkContextオブジェクトを持ち、アプリケーションコードの主要部分を実行するアプリケーションのマスタコンポーネントと、RDDに対するオペレーションを実行するExecutor群。そして、Driver Progr
PKI certificates and requirements
KubeCon + CloudNativeCon NA 2023 Chicago, Illinois + Virtual.4 days of incredible opportunities to collaborate, learn + share with the entire community! November 6 - November 9, 2023. Kubernetes requires PKI certificates for authentication over TLS. If you install Kubernetes with kubeadm, the certificates that your cluster requires are automatically generated. You can also generate your own certif
よくある質問 - Amazon EKS | AWS
Q: Amazon Elastic Kubernetes Service (Amazon EKS) とはどのようなサービスですか? A: Amazon EKS は、独自の Kubernetes コントロールプレーンやワーカーノードをインストールして操作することなく、AWS での Kubernetes の実行を容易にするマネージドサービスです。 Q: Kubernetes とは何ですか? A: Kubernetes は、オープンソースのコンテナオーケストレーションシステムで、コンテナ化アプリケーションを大規模にデプロイ、管理することができます。Kubernetes は、コンテナを論理的なグループに分けてを管理、発見できるようにしてから、Amazon Elastic Compute Cloud (Amazon EC2) インスタンスのクラスター上で起動します。Kubernetes をお使いにな
minikube start
minikube is local Kubernetes, focusing on making it easy to learn and develop for Kubernetes. All you need is Docker (or similarly compatible) container or a Virtual Machine environment, and Kubernetes is a single command away: minikube start What you’ll need 2 CPUs or more 2GB of free memory 20GB of free disk space Internet connection Container or virtual machine manager, such as: Docker, QEMU, H
Share Process Namespace between Containers in a Pod
KubeCon + CloudNativeCon NA 2023 Chicago, Illinois + Virtual.4 days of incredible opportunities to collaborate, learn + share with the entire community! November 6 - November 9, 2023. This page shows how to configure process namespace sharing for a pod. When process namespace sharing is enabled, processes in a container are visible to all other containers in the same pod. You can use this feature
Set up an Extension API Server
Setting up an extension API server to work with the aggregation layer allows the Kubernetes apiserver to be extended with additional APIs, which are not part of the core Kubernetes APIs. Before you begin You need to have a Kubernetes cluster, and the kubectl command-line tool must be configured to communicate with your cluster. It is recommended to run this tutorial on a cluster with at least two
Namespaces
KubeCon + CloudNativeCon NA 2023 Chicago, Illinois + Virtual.4 days of incredible opportunities to collaborate, learn + share with the entire community! November 6 - November 9, 2023. In Kubernetes, namespaces provides a mechanism for isolating groups of resources within a single cluster. Names of resources need to be unique within a namespace, but not across namespaces. Namespace-based scoping is
Glossary
This glossary is intended to be a comprehensive, standardized list of Kubernetes terminology. It includes technical terms that are specific to Kubernetes, as well as more general terms that provide useful context.
Dynamic Admission Control
In addition to compiled-in admission plugins, admission plugins can be developed as extensions and run as webhooks configured at runtime. This page describes how to build, configure, use, and monitor admission webhooks. What are admission webhooks?Admission webhooks are HTTP callbacks that receive admission requests and do something with them. You can define two types of admission webhooks, valida
AWS re:Invent 2017で発表されたコンテナ関連サービス(EKS、Fargate)のまとめと自社サービスへの活用 – PSYENCE.MEDIA
AWS re:Invent 2017で発表されたコンテナ関連サービス(EKS、Fargate)のまとめと自社サービスへの活用 大島 雅人 2017.12.01 113 18323924 この記事は RECRUIT MARKETING PARTNERS Advent Calendar 2017 の投稿記事です。 こんにちは、開発支援Gでインフラ運用をしている大島です。アドベントカレンダー 2017 の記念すべき1日目は AWS re:Invent in ラスベガス からお届けします。 AWS re:InventはAmazon Web Service, Inc.が毎年開催している技術とマーケティングののカンファレンスで、今回は6回目の開催となります。新しいサービスや機能のアップデートが基調講演で発表されたり、1000以上のセッションが行われたりするなどお楽しみが盛り沢山な5日間のイベントです。
Kubelet authentication/authorization
KubeCon + CloudNativeCon North America 2021 Los Angeles, California + Virtual. 5 days of incredible opportunites to collaborate, learn + share with the entire community! October 11 - 15, 2021. Overview A kubelet's HTTPS endpoint exposes APIs which give access to data of varying sensitivity, and allow you to perform operations with varying levels of power on the node and within containers. This doc
Container Runtimes
Note: Dockershim has been removed from the Kubernetes project as of release 1.24. Read the Dockershim Removal FAQ for further details. You need to install a container runtime into each node in the cluster so that Pods can run there. This page outlines what is involved and describes related tasks for setting up nodes. Kubernetes 1.29 requires that you use a runtime that conforms with the Container
kubectl Usage Conventions
KubeCon + CloudNativeCon NA 2023 Chicago, Illinois + Virtual.4 days of incredible opportunities to collaborate, learn + share with the entire community! November 6 - November 9, 2023. Recommended usage conventions for kubectl. Using kubectl in Reusable ScriptsFor a stable output in a script: Request one of the machine-oriented output forms, such as -o name, -o json, -o yaml, -o go-template, or -o
Reserve Compute Resources for System Daemons
Kubernetes nodes can be scheduled to Capacity. Pods can consume all the available capacity on a node by default. This is an issue because nodes typically run quite a few system daemons that power the OS and Kubernetes itself. Unless resources are set aside for these system daemons, pods and system daemons compete for resources and lead to resource starvation issues on the node. The kubelet exposes
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Manage clusters - Amazon EMR
Plan and configure clusters - Amazon EMR
Google Kubernetes Engine (GKE)
GKE cluster architecture | Google Kubernetes Engine (GKE) | Google Cloud
https://github.com/kubernetes/kops/blob/master/docs/horizontal_pod_autoscaling.md
料金 - Amazon EKS | AWS
