大量テーブルのデータパイプラインをコード量少なくスケールさせる設計
この文章はAIを使用して作成しています。 データエンジニアリングの現場では、取り込むテーブルが数百・数千に増えるにつれてパイプラインの管理が破綻しがちです。本記事では、設定駆動（Config-driven）パイプライン という設計アプローチ
記事一覧
データエンジニアリング・クラウド・Pythonなど
132 記事
【アーキテクチャパターン】 Pythonでリポジトリパターンを書いてみる
この文章はAIを使用して作成しています。 リポジトリパターンを使わない場合、ビジネスロジックの中にデータアクセスのコードが直接書き込まれがちです。 このコードには次の3つの問題があります。 1\. 変更に弱い DBをSQLiteからPost
【Python】PEP 544のProtocolについて
この記事はAIで書いています。 Pythonの型ヒントを勉強していると、「PEP 544」 や「Protocol（プロトコル）」 という言葉を見かけることがありませんか？ 一言でいうと、PEP 544は「Python本来の『ダックタイピング
【BigQuery】JSONテクニック。キーが動的な場合はダミーに置換
先日、BigQueryのJSON型データを扱う際に、キーがバラバラで値の抽出処理ができなくて困った。 こちらの記事を参考にして、キーをダミーの文字列に置換して処理する方法でなんとか解決できた。 maxhalford.github.io 例え
GKE上にAirflowを構築する
TerraformとHelmを使用して、gcloudコマンドやkubectlコマンドを使わずに、Rodel van Rooijen氏のMediumの記事に沿ってGKE上にAirflowクラスタを作成します。 TerraformとHelmのコ
AirflowのカスタムTrigger
ComposerのAirflowのカスタムTriggerを作成した。 色々と難しかったけど、使えるとリソース消費を抑えられて、コスト抑制できるのでおススメ。 定期的にAPIでBigQueryテーブルの更新状況をチェックして更新されていたら、
読書メモ：Architecture Patterns with Python
↑2024年で一番の技術書だった。 DDDやClean Architectureの実践についてPythonを題材に学ぶことができる。 概念を紹介するだけの書籍が多いけど、この本はTDDで実際のコードを元に学べる。しかもPythonで。 特に
Amazon SESでのメール受信
1. Amazon SESで自分のドメインを検証 2. GCP Cloud DNSにDKIMレコード（CNAMEレコード）を登録 3. Cloud DNSにMXレコードを登録(inbound-smtp.ap-northeast-1.amaz
読書メモ ～ ドメイン駆動設計入門
ドメイン駆動設計入門を読んだのでメモ。 間違いがあるかもしれないので、正しい情報は書籍で確認してください。 ドメイン駆動設計は、解決したい課題の領域について知識を得ながら設計を行う設計手法。 オブジェクト指向プログラミングが重要な要素の１つ
DNS
業務でGCPとAWSのクロスクラウド構成でのDNS構成について調べる機会があり、色々忘れていたり知らないことがあったので情報収集した結果をメモしておく。 DNSキャッシュサーバ フルリゾルバーとも言う。クライアントからの名前解決リクエストを
MySQLのレプリケーションを試す on Docker
DockerのUbuntuイメージを使用して、MySQL8のレプリケーション設定を試してみる。 MySQLをホストするコンテナを準備する。 レプリケーションのためMySQLのマスターとスレーブ間で通信するので、DockerのBridgeネッ
Docker パーサーディレクティブ
Parser directiveの実体はDockerfileの先頭行に記述する特殊なコメントで、Dockerfileの後続行の処理方法に影響する。 syntaxとescapeの２種類のパーサーディレクティブが存在する。 実はDockerfi
Docker マルチステージビルド
要は複数のFROMを使用したビルドのこと。各FROM句により新しいビルドステージが始まる。 COPYにより、前のステージから新しいステージに必要なビルド作成物（アーティファクト、要はファイルのこと）のみコピーすることで、最終イメージサイズを
Docker ビルドコンテキスト
最初に学ぶビルドはdocker build .だろうと思う。これは「Local context」と呼ばれる。Dockerはカレントディレクトリ.を参照し、取り込む。 localcontext 標準入出力からビルドするケースや、tarファイル
Docker ベストプラクティス
Dockerのベストプラクティスについて調べたことをまとめる。 ベースイメージのバージョンを固定する。ダイジェスト参照を使用するとなお良し ビルドキャッシュを活用する RUNでバックスラッシュを使用して、引数を複数行に並べる アプリケーショ
BigQueryのFORループでデータセットの全テーブルに対してクエリを投げる
複数のテーブルのレコード件数を表にまとめたいことがたまにある。 そういう時はFORループを使用して、count()した結果を一時テーブルに入れて確認したりする。
BigQuery INFORMATION_SCHEMAのアクセス権限
INFORMATIONSCHEMAのビューを使用して、テーブルやカラムの情報を取得して、テーブル作成などに使用することが多いけれど、INFORMATIONSCHEMAビューにアクセスするのに権限が必要なことは知らなかった。 権限を持っていな
PythonでのEnum
標準ライブラリにあるEnumクラスにより、Enumを使用することができる。 列挙型は定数を表すために使われるため、Enumのメンバの名前は大文字にすることが推奨される。 次のコードで挙動を確認することができる。詳細については列挙型 HOWT
管理すべきメタデータ、データ品質テスト
メタデータはビジネスメタデータ、テクニカルメタデータ、オペレーションメタデータの3種類に分けられる。 具体的には次のようなデータがある。 ビジネスメタデータ テーブルのオーナー テーブルのパーティションに使用されるカラム カラムのデータ型
BigQuery関連で面白かったブログ・動画 4選
ライトノベルのようなタイトルですね。BigQuery内部でどのようにファイルを管理しているかキレイな図で紹介してくれてます。 データを挿入、削除するときに既存のファイルを書き換えるのではなくて、新しいファイルを作成し、ファイル抽象化層（St
BigQueryでのNULLのソート
BigQueryでORDER BY句を使用する場合、デフォルトのNULLの順序はASCかDESCで異なる。ASCの場合はNULLが最初に来るし、DESCの場合はNULLが最後に来る。 > NULLS FIRST is applied by
MySQLが遅い時に参考にしたサイト一覧
EmbulkでMySQLからデータを抽出しようとしたら遅かったので、関連となるトピックを色々調べた。とりあえず参考リンクだけ貼っておく。 (Oracle) SQLの処理 (SQL Server) SELECT ステートメントを処理する <非
Dataplexで外部キー制約を満たしているかのデータ品質チェック
BigQueryの外部キー制約は強制適用されないため、外部キー参照先の値（またはNULLのみ）しか入らないようにユーザー側で管理する必要がある。 そこでDataplexを使用して定期的に外部キー制約に沿った値になっているか確認できないかと考
BigQueryのPRIMARY KEYは強制適用されない
まったく知らなかったけど、BigQueryの主キー/外部キー制約は強制適用されない。。。 これは知らないと割と事故りそう。 わい）主キー設定したし、NULLだったらエラーになってくれるよねー。NULLが入らないから安心だな～ BigQuer
BigQueryで全行削除するときはTRUNCATEを使う
BigQueryでは全行削除するときはTRUNCATEを使った方が良い。 Timetravelで復元もできるし、DELETEより早いし、お金もかからない。 BigQuery公式 > When performing a DELETE oper
SQLでの計算量（Big O）
テーブルから任意の1行を取り出す インデックスが張られた列に対してのWHERE句による抽出 O(log N)なので、テーブルサイズが大きくなっても、あまり時間計算量は増えない 以下の場合は、行数に対して線形的に時間計算量が増加する 全行SE
BigQuery、比較演算子でNULLを比較
BigQueryで、比較演算子で比較される対象のどちらかがNULLだと結果はNULLになる。以下のクエリの結果はどちらもNULLになる。 以下の例だとNULL行と今日の日付の2行が存在しているが、WHERE句で今日の日付のみ取り出すとNUL
BigQueryでのDELETE-INSERTは、MERGE ~ ON FALSEで行う
BigQueryでDELETE-INSERTしたい場合、 を使用すると良い。DELETE-INSERTを行えるうえ、動作も早いらしい。 ON FALSEとすることで、NOT MATCHED BY SOURCE/TARGETの両方の条件が実行
SQLのBig Oに関するブログ記事
medium.com www.datacamp.com www.kdnuggets.com www.kdnuggets.com
BigQueryの外部テーブルでの allow_quoted_newlines オプション
BigQuery で CSV ファイルから外部テーブルを作成する場合は、オプションが不足していないか確認してください。 ある日、元の CSV ファイルのフィールドの 1 つに引用符で囲まれた改行文字が含まれているために、外部テーブルによるク
IntelliJの初期設定
IntelliJの設定項目を忘備としてメモしておく。 主に使うのはTerraformとPythonなのでそのあたりの設定。 Git Toolboxが超便利。 Plugins File Watchers Git ToolBox Terrafo
IntelliJでの複数カーソルによる文字列選択
IntelliJで複数カーソルの使用方法を調べてみた。特に、覚えておくと重宝しそうなものに絞ってメモしておく。 キーボードを使用して現在のカーソルの上または下にカーソルを追加 Shiftを押しながら上下↑↓キーを押す その状態で、Alt +
【Linux Tips】コマンドの実行結果を日時文字列ファイルに出力
コマンドの出力結果を日時文字列ファイルに出力するのが面倒だったので、エイリアスを登録して省力化する。 エイリアスの設定 ↑のエイリアスは、日時文字列ファイルをtouchで作成してlsでファイル名を返す。（もっとシンプルな記述方法があればぜひ
【Linux Tips】色々メモ
実行権限がないファイルでも読み取り権限があれば、bashやsource等の引数にすれば実行できちゃう。 RHELでは、1000以下のユーザーIDとグループIDをシステムユーザー、システムグループ用に予約している。使用できるユーザーIDとグル
Linux iptablels
Dockerコンテナ外部からの通信制御はiptablesを使用して行う。（参考） Dockerコンテナ外部からの通信制御について理解したいので、まずiptablesについて復習していきたい。 iptablesはLinuxでパケットフィルタリ
iptablesの後継 nftables
nftablesはパケットフィルタリングツールで、iptables、ip6tablesなどの後継。 簡単なユースケースではfirewalldを使用するが、複雑なケースやネットワーク全体に対する設定はnftablesを使用する。今後はipta
Red Hat カーネルのアップグレード
カーネルとはハードウェアとソフトウェアアプリケーションの仲立ち（インターフェイス）をするLinux OSのコアの部分。 Red Hatだと、カーネルはRPM形式でパッケージ化されており、yum（ないし、dnf）で簡単にアップグレードできる。
glibcとは？
glibcはシステムコールといったLinuxシステムの根幹をなすプログラムのライブラリ。 > 「GNU Project」による標準ライブラリ「libc」の実装。C言語の標準ライブラリ名をlibc（リブシー）といい、多くのプログラムで共通して
とりあえずGCEでLinuxマシンを作成する手順
手順 APIを有効にしておく（特にCloud Identity-Aware Proxy APIは忘れがち） VPC network作成 GCE作成（ネットワークタグを付与） ファイアウォールでCloud Identity-Aware Pro
Linuxにおけるリポジトリ、yumあるいはdnf
Linuxにおいてリポジトリとは、ダウンロードのためにパッケージ(.rpm, .deb)などを配置してくれているサーバのこと。 例えば、ニフクラさんは、rhui-rhel-8-for-x8664-baseos-rhui-rpmsやrhui-
Pythonでのオブジェクト指向プログラミング
Microsoft LearnにPythonでのオブジェクト指向プログラミングがわかりやすくまとめられていたので、概要をメモしておく。 オブジェクト指向プログラミング(OOP)でも、手続き型プログラミングでも、プログラムは一連の手順を実行す
UDPパケット受信時の一般的な処理実装
◆外部公開しているシステムがUDPパケットを受信した場合 パケットを無視する。なにもしない。ログも吐かない。 ログを吐くとディスクをひっ迫させる攻撃を受けるリスクがある。 ◆外部公開しないシステムがUDPパケットを受信した場合 パケットは無
Pytestを試してみる
pytestはPython用のソフトウェアフレームワーク。記述したテストを文字列で発見して、自動的にテストを行ってくれる。Circle CIなどのCIツールと組み合わせることで、テスト自動化ができる。 pytestはpip install
Airflowを試してみる
AirflowではワークフローをDAGと呼ぶ。DAGは複数のTaskからなる。 Taskが様々な処理を実行し、DAGが各Taskの実行順序を定義する。 TaskにはOperartorやSensorといった種類がある。 なので、関係性は次のよ
ncコマンドでUDPパケットを送信する
ncコマンドでUDPで送信するには、-uオプションを使用する。 これを知らずにTCPで送信し続けて、なぜ届かないの(?)となってた。 とはいえ、nc -vuz 宛先IPアドレス ポート番号とかで、宛先IPアドレスへの到達性確認しようとしても
[CircleCI] 新規リポジトリのセットアップ
Bitbucketで新規リポジトリを作成して、CircleCIと連携させる流れについて忘備のためメモ。 1. Bitbucketで新規リポジトリを作成する。 2. CircleCIのProjectsで該当のリポジトリに対し、Set Up P
WindowsにリモートログインしてInSpecを実行する
Windowsマシンを構築した際に、リモート接続＆PowerShellコマンド実行して、設定が想定通りになっているか確認したいことありますよね。 そういう場合は、Winrmで接続して、InSpecのpowershellリソースを使えばいけま
DockerコンテナでつくるChef InSpec実行環境
なにも努力はいりません。GitHub上に公式が用意したDockerfileがあります。 ベースイメージがUbuntu 22.04なので個人的にとてもつかいやすい（軽量のベースイメージだと色々と入ってないものがあって面倒なので。） inspe
Dockerコンテナのベースイメージの確認方法
このコンテナのOSなんだっけな？となって、何の気なしにDockerコンテナに入ってuname -r した。 ホストOSが表示されて「ん？」となったが、よく考えたらコンテナなので納得。 Debian系は/etc/os-releaseを確認すれ
pyproject.toml 知らんかった。
qiita.com nikkie-ftnext.hatenablog.com
AzureでのDNSサーバー=168.63.129.16、およびRHELのNetworkManagerについて
AzureでプライベートDNSゾーンを作成したら、名前解決してくれるDNSサーバもプライベートNW内に作るのかと思いきや、168.63.129.16がDNSとして稼働してるらしい。 つまり、/etc/resolv.confに nameser
SAML連携したTableauにTableau Desktopから接続できない問題 ⇒ プライベート認証局によるサーバー証明書の署名で解決
SAML連携したTableau Serverに対して、Tableau Desktopから接続しようとしたところ、以下のエラーが出てうまくいかなかった。 > Cannot connect to Tableau Server. Please c
挙動の違い：プロキシサーバ v.s.ファイアウォール
先日、ファイアウォールを経由させて外部に送信したHTTPリクエストが403エラーになったことがあった。 てっきり経由させているファイアウォールが403エラーを返してきたのかと思ったが、インターネットの向こう側にいるAWS ELBが返してきて
サブジェクト代替名 - Subject Alternative Names
サブジェクト代替名、知らんかった、、、 Tableau Prepで自己証明書を使う場合は、サブジェクト代替名を入れて、と記述があり、「？？？」となって調べたら、コモンネームよりもむしろサブジェクト代替名でホスト名との一致チェックをするっぽい
シンボリックリンク@Windows
WindowsでもコマンドプロンプトやPowerShellでシンボリックリンクを張れることを知ったのでメモ。 コマンドプロンプトではmklink 、PowerShellでは New-Item コマンドを使う。 とりあえず、コマンドプロンプト
【Azure】RHEL VMでのディスク拡張
AzureでRHEL8のVMを構築した際に、デフォルトでパーティションに割り当てられている論理ボリューム(LV)だと足りなかったので、lvextend でLVを拡張してあげました。手順のメモを以下に記載します。 まずは lsblk で割り当
GKEでAirflowを動かす
GKEでAirflowを動かして、外部NWからAirflow UIにアクセスしたい。 HTTPSで通信を暗号化したい。 External HTTP(S) Load Balancingを使用した構成にする。こいつでHTTPS終端する。 GKE
Visual Studio Codeの設定
VS Codeのデフォルトの改行コードはCRLF (\r\n)。 LinuxのスクリプトにCRLFが混じっているとエラーになってしまうので、改行コードをLF (\n)にしておく。 atmarkit.itmedia.co.jp ちなみに、作成
【GCP】2種類のファイアウォールサービス
GCPには2種類のファイアウォールサービスがある。 それが、VPC ファイアウォールルール と ファイアウォールポリシー。 それぞれの違いはこちらがわかりやすい、 blog.g-gen.co.jp Terraformだと、 googleco
ADサーバ構築 ⇒ ドメイン参加 ⇒ GPO作成
↓ Windows ServerでADサーバーを構築する。 dev.classmethod.jp ↓ Windowsをドメイン参加させる。 server-network-info.blogspot.com ↓ GPOを作成し、割り当てる。
GCP DevOps Learning Log
> It should contain the followings. Incident timeline List of actions carried out to restore the service Command hierarc
GCP Professional Cloud DevOps Engineerの勉強に参考になりそうなサイト
www.youtube.com DevOps とは: 研究とソリューション | Google Cloud sre.google github.com Google Professional Cloud DevOps Engineer Pra
Learnings on GCP DevOps
A memorandum on learning for GCP DevOps certification. DevOps has five goals. 1. reduce organizational silos 2. Accept f
Embulk実行用のDockerイメージ
DockerコンテナでEmbulkを手軽に実行したかったので、試しに作成してみる。 Embulkで実行するために必要なコンフィグファイル config.ymlとEmbulkのインプットとなるtest.csvを準備する。 config.yml
読書メモ「プロのためのLinuxシステム構築・運用技術」
概要 第1章 Linuxサーバーの基礎 第2章サーバー運用の基礎 第3章Linuxのストレージ管理 第4章Linuxのネットワーク管理 第5章プロセス管理 第6章Linuxサーバーの問題判別 6.1.3システムログの収集 「プロのためのLi
読書メモ「ひと目でわかるAzure Active Directory」
「ひと目でわかるAzure Active Directory 第３版」を読んで、自分なりに理解したことや調べたことをまとめておく。 主に、次のキーワードについて学んだ。 Azure AD Azure AD Domain Service Az
Azureでのアラート
一般に以下の3種類のアラートを使用する。 ログアラート アクティビティログアラート メトリック アラート LogAnalyticsワークスペースのテーブルに保管されたログに対して、クエリを実行し、該当する文字列を含んだログや、閾値を超える値
Azureでのログ収集
概要 Azureでのログの種類とログ収集方法 リソースログ 診断設定 アクティビティログ Azure Active Directoryログ 仮想マシンのログとデータ収集ルール NSG 診断設定 vs フローログ Azureでの各リソースのロ
Linux勉強メモ
Linuxを触るので久しぶりに再勉強した内容をメモしておく。 概要 ssh 仮想マシン コンテナ ブートプロセス systemd ターゲット 主なターゲット ターゲットの居場所 ターゲットの管理 systemctl プロセス プロセス関連の
Terraform の for 文
Terraformのforeach文はよく使うけれど、for文はほとんど使ったことがないので、試しにマップ型をfor文に渡してifフィルターをしてみた。 表示結果
JavaScriptを触ってみた
クロスサイトスクリプトについて勉強しているときに、JavaScriptが登場したので、JavaScriptについてさわりの部分を調べてみた。 > JavaScriptとは、動きのあるWebページを作成する際によく使われるプログラミング言語で
WordpressでHPを作成したのでメモ
GCP上にVMをたてて、WordpressでHPを作成したのでメモしておく。 GCPは無料枠があるので、GCP上にVMをたててHPを作成することにした。 インスタンスグループを作成してロードバランサーでSSL終端しようとしたが、リダイレクト
セキュリティ関連キーワード
CIS ControlsとCIS Benchmarks データ損失防止（DLP) DLP（Data Loss Prevention）｜セキュリティ用語解説｜NRIセキュア DMARC DMARCとは？その仕組みと設定方法、SPFやDKIMと
【更新中】PCCSEコース
概要 Prisma Cloud Visibility, Compliance, and Governance: Onboarding and Setup Prisma Cloud Compute 詳細な保護 パブリック クラウド アカウント
Prisma Cloudの勉強方法
Prisma Cloudの勉強方法について調べてみた。公式の学習教材をBeaconのPrisma Cloudに関連するコースをやってみたが、これをやれっていけばわかるようになりそう。ただ、文章は英語にできるけど、ちょいちょい英語の動画があり
WordPressでヨガレッスンの予約サイトを作れないか調べてみた
ヨガレッスンの予約のように事前に定めた時間割をもとに予約を行うサイトをWordPressで作れないか調べてみた。 調査した結果、WordPressにEvent ManagerとWP FullCalendarのプラグインを追加すれば、目的とし
Ansible超基本メモ
Ansible実践ガイド 第3版を読んでみて超基本的な内容のみメモする。雑なメモなので、正しい内容が確認したい場合は再度書籍を読む。 ちなみにAnsible実践ガイド 第3版は23年4月時点でKindle Unlimited対象だった。 構
Cisco 841MルータでWiFi AP経由でインターネットにつなぐ
Cisco 841Mルータでの初期設定や、インターネット接続に必要な設定についてメモしておく。 サイト間VPNの設定を試してみたくて、Ciscoルータ 841Mを購入した。付属品は電源ケーブルだけなので、LANケーブルなどが別途必要。 すで
読書メモ ～ SQL Server Transact-SQL プログラミング 実践開発ガイド
概要 インスタンス ユーザ インスタンス接続の認証方法 各ユーザの作成 スキーマ SQL Serverのツール SSMS SQL Server Profiler データベースオブジェクト システムテーブル システムストアドプロシージャ デー
GCE Linuxインスタンスにてディスク交換後にSSH接続不可エラー
GCPでGCEのLinuxインスタンスで「追加ディスク」を交換したところSSH接続ができなくなったが、ディスクのマウント設定を変更したところ、アクセスできるようになった。 以下のようなエラーが出た。 > ポート22でVMに接続できません。
BigQueryでのJSONロード
BigQueryならJSONでネストされたデータであってもロードして、さらに簡単に正規化できる。 例えば、APIで取得したデータがJSON形式でネストされている場合でもひとまずBigQueryのテーブルに読み込み、BigQueryのUNNE
発音練習が必要な英単語
according to additional additionally ad-hoc after analysis analytics analyze annual application application assumption b
ITプロジェクトで使用する英語表現
IPプロジェクトで使用する英語表現をまとめ、今後英語表現調査にかかる時間を削減する。 as in the past：以前のように、従来通り at the weekly meeting：週次会議で （in the meeting でもいいけど
英語会議の準備
会議あるいは出張で使いそうな英語をメモ。 覚えておきたいフレーズに★マークをつける。 下に行くほど、自信が低い。 I believe that I think that I feel that I suppose that It seems
読書メモ～Linuxのしくみ（更新中）
「Linuxのしくみ」を読んで大事そうなところをメモ 階層 --- ユーザープログラム OS外ライブラリ OSライブラリ カーネル ハードウェア 実際にはこんなに綺麗に階層化されてない Go言語などのコンパイラが多言語だと、ビルドした後の実
ネイティブアプリとウェブビュー(Webview)
スマホアプリの表示部分を専用のプログラムで書く場合、そういったスマホアプリをネイティブアプリと呼んだりする。 一方、SafariやChromeなどのブラウザで表示できるHTMLを読み込み、通常のWebページと同じように見られる枠をつくること
Webトラッキング
Webトラッキングとは、Webサイトを訪れたユーザーのネット上での行動を記録・追跡すること ユーザーがどこから流入したのか、どのくらいの時間閲覧したか等がわかる Webビーコン htmlに記述したimgタグかJavaScriptタグが動作し
Azure DevOps
Azure DevOpsを業務で使いそうなので下記のUdemy講座を受講してみた。 重要そうなところをメモしておく。 Learn DevOps: Docker, Kubernetes, Terraform and Azure DevOps
Project Management
Scope Time Cost どれか一つでも変更があれば、ほかの制約に影響を与える Identified risks：既知のリスク。リスクを確認し、対応しなければならない Project Charter：プロジェクト憲章 Project
読書メモ～AWSで学ぶクラウドネイティブ実践入門
「AWSで学ぶクラウドネイティブ実践入門」を読んで大事そうなところをメモしておく。 今回は第2章「AWSで構築するクラウドネイティブサービス」と第3章「コンテナサービスの構築」のみ読んだ。 第4章「CI/CDの構築」は今度時間があるときに読
読書メモ～良いコード／悪いコードで学ぶ設計入門
「良いコード／悪いコードで学ぶ設計入門」を読んで大事そうなところをメモしておく。 書籍中で書かれているコードを一部Pythonに変換してみる。 インスタンス変数とメソッドの両方をクラス内で作成する インスタンスを生成する。基本的にクラスメソ
AWSのコンテナサービス
AWSのコンテナサービスには、ECSとFargateがある。 といってもFargateはECSの起動タイプの1つなので包含関係にある。 ECSの起動方法はEC2とFargateの2種類で、EC2であればホストマシンとしてEC2を起動してそこ
Azure DP-203 勉強メモ
Datalake → Data Warehouse → BI Datalake: Azure Storage Gen2 Data Warehouse: Azure Synapse Analytics BI: PowerBI コンテナの種類が
AZ-104 勉強メモ
Azureダイレクト Azure EA Azureインオープン CSP 請求書の分割 アクセス権の分離 クォータ管理の分離 リソースマネージャがAPIを受け付けて、リソースプロバイダがリソースを作成する。 リソースプロバイダには、Micro
PyCharm よく使うショートカット
キャレットを行頭に移動 Home キャレットを行末に移動 End 行を複製 Ctl + d 実行 Shift + F10 複数行コメントアウト Ctl + / import元に移動 Ctl + b pleiades.io
Protocol Buffersを試してみる
今回は、この辺りを参考にしながらプロトコルバッファ（Protobuf）を試してみる。 tech.raksul.com nansystem.com developers.google.com Protobufを調べていると、Message P
「Tableau徹底入門」を読んでみた
「Tableau徹底入門」を読み、内容をまとめる。でも、第1章全体と第5章の一部のみしか読んでないです。。 第1章 データソースの作成 第5章 Tableauをさらに活用するための機能 表やグラフを作成する前段階のデータソース作成に関して、
動画で学ぶJSTQB
JSTQBのシラバスはちょっとわかりにくいところがあるので、動画ないかなと探したところ↓のYouTubeに行きついた。 www.youtube.com 気になっていたテスト技法をリストアップしてみるとこんな感じ。 静的テスト アドホック：レ
OSS-DB Silverに合格しました
仕事でPostgreSQLを使用する機会があり、せっかくなので試験を受けてみました。 勉強方法は、内部構造から学ぶPostgreSQL 設計・運用計画の鉄則、OSS教科書の順に一読して、Udemyの模擬試験をやりました。その後にOSS教科書
CloudSQL for PostgreSQLのバックアップ
CloudSQL for PostgreSQLのバックアップ方法がいくつかある。いったいどこまでバックアップされるのかがわからなかったので、それぞれを比較してみた。 データベースフラグ CloudSQL for PostgreSQLではpo
PostgreSQL text型配列のパターンマッチングのやり方
テキスト型配列ではそのままパターンマッチングができない。 テキスト型配列でパターンマッチングをするには、UNNEST関数でテキスト型配列のネストを解除し、ネスト解除したものに対してパターンマッチングを行う。 実際にやってみる。 まずテキスト
バージョンアップで参考になりそうな記事
PostgreSQLのバージョンアップで参考になりそうな記事があったのでメモしておく。 techblog.gmo-ap.jp データだけでなく、権限やオーナーも確認しなくっちゃな。
PostgreSQLを始めてみた
PostgreSQLを使用する機会があったので勉強を始めてみました。 大事そうなところ、かつ忘れてしまいそうなところに絞ってメモしようと思います。 オープンソースデータベース標準教科書 Ver.2.0.1 PostgreSQL 14.5文書
Oracle Master Silver SQLに合格しました
2022年10月にOracle Master Silver SQLに合格しました。 OracleのSQLを使用する上での最低限の知識を問う資格なのかなと思う。with句やPL/SQLが範囲外なのでホントに基本という感じ。 もっとアドバンスな
【Tableau】増分更新によるデータ反映漏れについて
Tableauでは、データソースの更新を抽出する方法は２種類ある。完全更新と増分更新である。デフォルトでは完全更新が行われる。 完全更新ではデータソースの全行が抽出されるためTableau側に完全に同じデータを反映される。但し、トランザクシ
Oracleの日付表示形式「DDSPTH」ってなんなの？
DDTHとDDSPという表示形式があって、それを組み合わせたのがDDSPTH。 !( docs.oracle.com
ローカルにおけるGitコマンド
!( 全体的なアーキテクチャを理解しよう。 まずローカルPCとクラウドに分類される。ローカルPCのドキュメントをクラウドに配置する（push）、あるいはクラウドから取ってくる（pull）。 ローカルPC内では、データがワークツリー、ステージ
GCPのCloud APIについて
GCPではそれぞれのサービス毎にCloud APIを有効にすることでサービスが利用できるようになる。Cloudコンソールからのサービス利用であっても、Cloud APIが有効になっている必要がある。Cloudコンソールで操作しているように見
あるCloudSQLインスタンスに割り当てたプライベートIPを、別のCloudSQLインスタンスに割り当てることはできるのか？
あるCloudSQLインスタンスに割り当てた内部IPを、別のCloudSQLインスタンスに割り当てることはできるのか？ この疑問を抱いた経緯は次のとおりである。 バージョンアップ済みのCloudSQLインスタンスをバージョンアップ前のバック
GCPの静的IPについて
GCPにはAWSでいうElastic IPに相当のサービスとして静的外部IPと静的内部IPがある。外部IPがグローバルIP、内部IPがプライベートIPである。 予約した内部IPに名前をつけて、1つのリソースとして扱うことができる。あるVMに
Oracle Master Silver SQLの勉強メモ
NUMBER：整数と少数 CHAR(n)：nバイトの固定長文字列 VARCHAR2(n)：nバイト以下の可変長文字列 BLOB：バイナリデータ（最大128テラバイト） CLOB：文字列（最大128テラバイト） DATE：年月日時分秒のデータ
SQL Zooを試してみた ~ SELECT in SELECTとJOIN
SQLZOOは手を動かしながらSQLを無料で学べるサイト。 SQL ZooのSELECT in SELECTとJOINセクションにトライして、知らなかった点をメモしておく。 ALL句 キーワード ALL で大小記号 >=、 >、 <、 <=
SQL Zooを試してみた ~ Self Join
10番目の問題がわからなかった。。。。 8. わからなかった。。。。
SQL Zooを試してみた ~ Using NULL
SQL ZooのUsing NULLはわりと簡単な問題が多かった。一応、回答例を残しておく。
SQL Zooを試してみた ~ More Join
SQL ZooのMore Joinセクションの難しめの問題の結果のみをメモ。 時間のあるときに他の人の回答と比較してみたいと思う。
AirflowがわからなかったのでUdemyで勉強してみた②
UdemyのAirflow講座で勉強したことのメモ。 この記事では主に事前設定やコードについて記載。 Udemyの講座ではDockerを使って、AirflowだけでなくPostgresSQLなどのコンテナも動かすので、自分の貧弱なPCスペッ
AirflowがわからなかったのでUdemyで勉強してみた
AirflowのTutorialをやっても、短時間で理解できなさそうだったのでUdemyの講座を試してみました。 英語の講座だったのでちょっとしんどかったので、半分くらいのとこまでしかやってません。 超初歩はなんとなくわかりました。 と、い
Airflowを試してみる ～ Quick Start
AirflowのQuick Startを参考にして、WSL Ubuntu 20.04上にAirflowをインストールする。 以下はQuick Startからの抜粋。 airflow standaloneを実行した結果、airflow.cfg
Terraform Associateに合格しました
本日（22年9月）、Terraform Associateに合格しました。 以前からTerraformを使いたいなと思って色々と試していましたが、試していると色々疑問がでてきて、これは一回体系的に勉強したほうが早いなと思い、せっかくなので試
WIN32APIを試したい
> Windows上で動作するアプリを作るには、.NETフレームワークを利用する方法と、WIN32APIを利用する方法の2通りがあります > Windowsプログラミングを行うためには、Windowsが提供している API を操作します。こ
GCPのAssociate Cloud EngineerとProfessional Data Engineerに合格しました
GCPのAssociate Cloud Engineer（ACE）とProfessional Data Engineer（PDE）に合格しました。それぞれ22年8月と9月に受験して、無事一度で合格することができました。 勉強としては書籍とG
Pythonエンジニア認定試験に合格しました
先日、ふと思い立ってPythonエンジニア認定試験を受験し、合格しました。 もともと認定試験の存在は知っていたのですが、受験してもあまり有益でなさそうだと思って受験したことはありませんでした。暇だったのと、Pythonの試験ってどんな感じな
メモ ～ Udemy HashiCorp Certified: Terraform Associate 2022
概要 Terraformバージョン Terraformバージョンの指定 プロバイダーのバージョン制約・指定 .terraform.lock.hcl ファイル Terraformバージョン毎の違い AWSプロバイダの認証設定 Variable
Pythonのログ出力の仕組み
hackers-high.com python.civic-apps.com
GCP PDE模擬試験のメモ
概要 AutoML Vision Apache Hadoop BigTable 何百万台ものコンピュータのCPUとメモリの使用量を時系列で保存したい BigTableのクラスタサイズを増やすタイミングが知りたい パフォーマンスのボトルネック
読書メモ〜Google Cloudではじめるデータエンジニアリング入門
「Google Cloudではじめるデータエンジニアリング入門」を読んだので、忘備としてメモしておく。 8章~11章のBigQueryへのデータ集約、BI、リアルタイム分析、発展的な分析はスキップする。 メモの順番は章立てと一致してない。な
読書メモ～エンジニアのためのデータ分析基盤入門
エンジニアのためのデータ分析基盤入門を読んで、重要そうなところをメモする。 データ分析のために作られたシステム つまり、データ基盤とは異なるシステムである。 以下の書籍によると、データ基盤はデータ分析だけを目的にしてない。 ビジネスアプリケ
メモ 〜 Azureの基本をマスターする：データの基礎
概要 コアデータの概念を探る コアデータの概念を調べる データ形式 ファイル形式 Avro ORC (Optimized Row Columnar) Parquet データベースの詳細 リレーショナル データベース 非リレーショナル データ
読書メモ 〜 実践Terraform
概要 バージョン コマンド 記号 ファイル variable 変数の型 local output data provider リスト 組み込み関数 モジュール 三項演算子 count randomプロバイダ dynamicとforeach
読書メモ ～ 達人に学ぶDB設計徹底指南書 （第1章～第3章）
達人に学ぶDB設計徹底指南書を読んで、重要そうなところを忘備のため、メモする。 第9章まであるが、まずは第3章までメモ POA v.s DOA POAはProcess Oritented Approachのこと。従来のシステム開発ではプロセ
CKAに合格しました【22年4月】
Udemyだけではダメ、ぜったいにKiller.shの模擬試験もやる！ 21年12月、仕事でKubernetesに触れる。まったく知識がなく、さっぱりわからない 22年１月、Kubernetes完全ガイドを買う。インターネットで調べつつ、チ
【学習】Kubernetes Udemy CKA講座
目次 概要 講座の構成 1\. Introduction 2\. Core Concepts Master Node Woker Node ETCD Kube-API Server Kube Controller Manager Kube