ArgoCD の Config Management Plugin (CMP)を理解し、Plugin でマニフェストの変数置換を行う - kencharosの日記
概要 前職の同僚がずっと、PullRequest ごとにプレビュー環境でアプリケーションをデプロイしたいと言っていた。 確かにそれができれば便利ではあるけど、たとえ k8s の力を借りても実現するまでの手順は多く、遠い夢かと思っていた。 でも ArgoCD で頑張ればその夢は近くなるかもしれない。 これは、ArgoCDの Config Management Plugin (CMP) と呼ばれる機能を使って、動的なマニフェスト生成を行い、さらにPullRequestごとの固有の情報をマニフェストに柔軟に埋め込むための仕組みを考えてみたという話。 想定読者 k8s にある程度詳しい ArgoCD にもある程度詳しい ArgoCD の ApplicationSet や Generator の機能を知っている、あるいは調べればわかる方 参考資料 GitブランチやPullRequestごとにプレビュ
Kubernetes ネイティブなワークフローエンジン Argo Workflows のご紹介 - Uzabase for Engineers
こんにちは。Product Team の竹原です。 先日、社内用の小さな Web アプリを追加開発する機会がありまして、その際に CI/CD パイプラインの作成も行いました。 CI/CD パイプライン構築のために Argo Workflows を使ってみたところ非常に感触がよかったので、感想などを記載しておこうと思います。 ※ 今回は概要の紹介程度となります。実際に作成したワークフローはまた次回ご紹介します。 Argo Workflows とは 公式のワークフローサンプル Argo Workflow ならではの便利さとか工夫とか 利用するツールや動作環境のバージョンをコントロールしやすい Kubernetes のサービス名で名前解決ができるので、E2E テストがやりやすい 並列処理をシンプルに書ける ステップをテンプレート化できる(Workflow Templates) Cluster W
最近の砂場活動その23: Cloud MonitoringでKubernetesのバッチ処理を監視する - yasuhisa's blog
Kubernetes上で動かしているバッチ処理の監視をCloud Monitoringで行なおうと思ったのですが、素朴にやるとちょっと困りました。一工夫したので、メモを残しておきます。 背景 Cloud Monitoringで素朴にバッチ監視を行なう これだと困る...! 次のバッチが成功するまでインシデントが閉じないようにする 背景 Webサービスの監視と同様にバッチ処理についても監視は必要です MackerelなどのSaaSを使うと、バッチ処理についても簡単に監視できます 最近の砂場活動その10: songmu/horensoを使ってバッチの処理時間をMackerelのサービスメトリックに記録する - yasuhisa's blog ただ、仕事のチームではMackerelを今は使っていません。GCPを使っているので、Cloud Monitoringでやるかなーという感じ メトリックやダ
Kubernetes などの YAML を独自のルールをもとにテストする - tellme.tokyo
Kubernetes などの YAML を独自のルールをもとにテストする February 19, 2019 設定ファイルのメンテナンスの必要性 Infrastructure as Code の普及もありインフラの状態やその他多くの設定が、設定ファイル言語 (YAML や HCL など) で記述されることが多くなった。 Terraform HCL や Kubernetes YAML など、人が継続的にメンテナンスしなければならなく、その設定が直接プロダクションに影響を与える場合、そのレビューがとても重要になる。 具体的に例えば、「デプロイする Replica の数」や「Resource limit や PodDisruptionBudget が適切か」などレビューの中で注意深く見なけれなならない点などがあげられる。 加えて日々のレビューの中で、問題にはならないが「Kubernetes の
Kuberntes Monitoring 入門 - Speaker Deck
QA出身スリーアミーゴスでDeep Dive! スクラムで品質とスピードを意識したOne Teamを構成するために必要だったもの / Deep Dive into the the Essence of 'One Team'
terraformを使ってhelmをコードで管理する - Qiita
はじめに この記事はKubernetes Advent Calendar 2017の18日目の記事です。 helm便利ですよね。各種アプリケーションをコマンド一発でk8sクラスタにデプロイできます。 でもhelm installでリソースデプロイしてるとちょっと不安になってきませんか。 IaC的にも何のhelm chartをデプロイしているかコードで管理したくなります。 そこでhelmをコードで管理する方法を探したところ terraform-provider-helm helmfile というものがありました。 この記事ではterraform-provider-helmの使いかたについて説明します。 helmfileの方がスター数はあったんですが、やはりTerraformによるワークフロー抽象化の流れに組み込めるってのは魅力かなと思います。 なお、helm自体やterraform-prov
Kubernetes上のリソースをTerraformで管理するメリットとデメリット · Goldstine研究所
@mosuke5です。早くも3月になってしまいました。 しかし、個人的にはこの2か月は非常に動きがあった2か月でしたのでいろいろ楽しかったです。 さて、本題ですが、、 わたしの好きなTerraformを使ってKubernetesクラスタ上のリソースを管理するのをやってみたいと思います。 そもそもKubernetesをTeraformで管理するとなると2つのレイヤーの話があります。 今回は、後者のほうに重きを置いてお伝えします。 KubernetesクラスターそのものをTerraformで管理する Kubernetesクラスター上のリソースをTerraformで管理する KubernetesクラスターそのものをTerraformで操る こちらは軽く流していきますが、Terraformでクラウドのサービスを操ることができるので、もしKubernetesのサービスを提供している場合は、下記のよう
community.general.docker_service — Ansible Community Documentation
Ansible getting started Getting started with Ansible Getting started with Execution Environments Installation, Upgrade & Configuration Installation Guide Ansible Porting Guides Using Ansible Building Ansible inventories Using Ansible command line tools Using Ansible playbooks Protecting sensitive data with Ansible vault Using Ansible modules and plugins Using Ansible collections Using Ansible on W
DockerコンテナでAnsibleをテストする — そこはかとなく書くよん。 ドキュメント
DockerコンテナでAnsibleをテストする¶ Ansible 2.0になり、Docker connection pluginが標準で入りました。これにより、Docker内にsshdを立てることなくAnsibleを直接実行できるようになりました。 すでに導入されている方も多く、かなり今更ではありますが、Dockerコンテナに対してAnsibleを実行してテストする方法についてここに記します。 参考GitHubリポジトリ Dockerに対する場合の制限¶ まず最初にAnsibleをDockerコンテナに対して実行する際の制限についてです。 基本的にはすべての機能が使えます。ただ、以下の制限があります。 /etc/hosts, /etc/resolv.conf, /etc/hostnameは書き換えできない これらのファイルはDockerがbind mountしており、書き換えられるが、置
WerckerのDockerバックエンドを使ってCentOS向けCIをするには - 2015-07-01 - ククログ
クリアコードではHatoholというソフトウェアの開発に参加しています。Hatoholは複数の統合監視システムの情報を一括して表示することを可能とするソフトウェアです。現在対応している統合監視システムはZabbix、Nagios及びOpen StackのCeilometerです。他の監視システムに対応することも検討しています。 HatoholはServerとDjangoのWebApp、またユーザーのブラウザで動くJavaScript部分の３つで構成されています。 今回はHatohol serverのCIについてです。 HatoholプロジェクトではTravis CIを用いてCIをしています。Travis CIではUbuntu Serverが使われています。そのため、Ubuntuではビルドが通る事は確認できていました。しかし、CentOS 6系でもビルドが出来るかどうかのCIの仕組みがHat
Circle ci and docker+serverspec
CIツール勉強会＠福岡 (http://connpass.com/event/12120/) で、Circle CIの話しを発表したRead less
CircleCIでDockerコンテナに対してansibleを実行しserverspecでテストをする · さよならインターネット
November 13, 2014 参考 KAIZEN platform Inc. における運用自動化 - Speaker Deck Continous Integration and Delivery with Docker - CircleCI TL;DR CircleCI上でDockerコンテナを立て、 そのコンテナに対してプロビジョニングを行い、 プロビジョニング後のコンテナに対してテストを行う DockerコンテナにAnsibleを実行する コミットする度にDockerのimageをpullするのは時間がもったいないので cache_directoriesを利用し、imageをexportしておき 実行時にimportするようにすると多少速くなる。 . ├── Dockerfile ├── ansible/ └── circle.yml Dockerfile FROM kenji
細かすぎて伝わらないかもしれない、CircleCIでDockerをごにょごにょするときのスピードアップテク - パラボラアンテナと星の日記
前回、「Dockerコンテナにcookしserverspecでテストをする」ということをやりました。 キャッシュ活用などによる高速化などが課題でした。今回はいくつかの課題を解決させ、テスト時間の短縮を図りました。 (「スピードアップテク」とか書きましたが、勝手に自分がハマってたところを改善したりしてるだけの箇所もあります。) 先に結論：対策後のビルド時間 対策前(build#9) docker imageキャッシュ有効時(build#55) docker imageキャッシュ無効時(build#54) load docker image 1m41s 0m20s 1m00s knife solo cook(nginxのインストール) 2m56s 0m12s 0m21s (other) (1m03s) (0m41s) (1m06s) TOTAL 5m40s 1m13s(!!!!!) 2m27s
CircleCI + DockerでサーバCI始めました | feedforce Engineers' blog
はじめまして！今年１月からジョインしましたtjinjinです。feedforceではアニメインフラを担当しています。ちなみに今季オススメアニメはSHIROBAKOです。 今回サーバCIにDockerを導入しましたので、実際の設定や工夫した点など投稿したいと思います。 feedforceのサーバCI 弊社ではこれまでCircleCIまたはJenkinsとAWSを組み合わせてサーバのCIを行って参りました。 参考: JenkinsでサーバのCIを始めました しかし、CircleCIを利用するプロジェクトが増えるにつれ、CircleCIに実行待ちが発生するようになりました。CircleCIの実行ログを確認したところ、AWSのセットアップに時間がかかっていることがわかったので、環境のセットアップ時間を短縮できるもののはないかと探していました。そんな折、Dockerがいいのではという話を耳にしました
If it works in Docker, it works on CircleCI
The best tools for the job The flexibility to choose the resource class that matches the CPU and RAM you need on each individual job. Ship faster by completing runs on hundreds of Docker tasks at once using parallelism and test splitting. Optimize developer time Get faster image downloads using CircleCI’s pre-built Docker convenience images. Docker layer caching means unchanged layers of your Dock
Docker on CircleCIでchefのcookbookをserverspecでテスト - パラボラアンテナと星の日記
CircleCI自体もコンテナなんだが、さらにその上でdockerコンテナ立ててcookbookのテストしてしまうというアレです。 「Docker使えるならChef要らないじゃん」という話は大賛成なんだが、既存のcookbook資産を使いたいことも、まあある。 【追記】続きにさらにテストの時間短縮させる工夫書いた 動いたの？ 動いた!!!!!!!!!!! 最小限で動いたところでタグを切った。コードは下記リンク参照。 CircleCI上で、 「chefでdockerコンテナにcookし、それをserverspecでテストする」 を実現しています。 以下、ポイントなど CircleCIでdockerをどう準備するか 無理にapt-get -y install dockerとかやってインストールしても、docker psすら返ってこなくなる。 公式にサポートしてるserviceを使うとうまくいっ
JenkinsとDockerでTravisっぽいCIサーバを育ててみている - オープンソースこねこね
最近プライベートなプロジェクトのCIにはcircleciとかが人気なんでしょうかね。 GitHub 時代のデプロイ戦略 - naoyaのはてなダイアリー 近頃のCIサーバはアプリケーションのテストだけじゃなく、インフラのテストやデプロイ、ChatOpsなどgitやチャットツールなど他のシステムと連携した自動化のための必須プラットフォームといった感じになってきてる。とはいえ、趣味で開発しているプロダクトに余計なコストはかけたくない。ああ、でもやっぱCIはしたい。 そんなわけで以前から契約だけしていて放置気味だった、さくらのVPSの1GにjenkinsをたててオレオレCIを育てているのでその辺のことを書いてみる。CIの実行環境はDockerを使って仮想化し、ジョブの内容はTravisやcircleciのようにリポジトリ側のyamlファイルに記述できるようにしてみた。構成をざっくりと図解すると以
CI（継続的統合）as a Serviceの「Circle CI」がDocker対応を開始
Githubにコードをプッシュすると自動的にコードを取り込んでビルドが行われ、テストが走る。いわゆる「CI：Continuous Integration（継続的統合）」を実現するCI as a Servicesを提供する「Circle CI」が、Docker対応による継続的インテグレーション／継続的デリバリの開始を発表しました。 DockerファイルによってCircle CIで行うビルドとテスト環境を定義できるため、開発環境とテスト環境、デプロイ先の稼働環境などの違いを事実上なくせることが大きな利点だと説明されています。 You can now use all Docker functionality within our build environments. All of the usual Docker commands work as expected, so you can bu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - vegasbrianc/prometheus: A docker-compose stack for Prometheus monitoring
Blogger
