Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryのシンプルなデータ挿入とデータ更新

前回に引き続きgoogle-cloud-bigqueryのライブラリを使ってpythonでBigQueryの操作を行います。

★Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryの操作を標準SQLとレガシーSQLで実施(データの取得)
https://developer-collaboration.com/2019/03/28/python-google-cloud-bigquery-1/

前回はSELECTでのデータ取得だけでしたので、今回はデータの登録と更新を行います。

尚、テーブルとしては以下のような構成としています。

 

 

データの登録(insert)

それではデータの登録から。

DMLでのデータの登録は標準テーブル、分割テーブルともに制限がありますので、確認をしておいた方が良いです。

・割り当てと制限
https://cloud.google.com/bigquery/quotas?hl=ja

 

さて、データ登録のプログラムです。

 

データの更新(update)

続いてデータの更新です。

こちらについても上記の「割り当てと制限」のページにありますように、「UPDATE、DELETE、および MERGE の各ステートメントを組み合わせた実行数の 1 日あたりのテーブルあたり最大値 – 200」と制限が非常に厳しいので注意が必要です。

 

DSL操作なので共に標準SQLを使用しています。

では、今回はこの辺で。

★関連記事
Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryの操作を標準SQLとレガシーSQLで実施(データの取得)
Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryでのパーティションを利用したデータの挿入と検索
Pythonでのgoogle-cloud-bigqueryライブラリを利用したBigQueryへのストリーミング挿入