いてづきブログ

情シスでやってみたことの備忘録

mongoDB + Python3環境をDockerで作った

ちょっと大量のデータを扱うことになったのでmongoDBのセットアップをした。

 

当初はGAS+スプレッドシートでササッとやるつもりだったが、調べていくとデータの件数が数十万件を超えることが発覚したのでGASではさばききれない*1ためDBを立てることにした。

 

mongoDBにしたのは単に以前仕事で使ったことがあるから。

使う人がmacWindowsと両方いたからDockerで書いた。

 

mongoDBをDockerで使う方法についてはQiitaに投稿した。

 

 

DBはmongoDBに決めたあと、処理するスクリプトPythonで書くことにした。

ついでにPython3環境もDockerで作るかということでPython3とpymongoが入った環境を作った。

 

しかしPython自体は問題なく動かせるが、VSCodeでPylintしながら書こうとするとローカルにはpymongo入ってないので常にlintエラーが出続けてしまう。

試せてはいないけど、DockerでPylintのコンテナを立てて検証はそっちにさせればよさそう。

しかしその結果をVSCodeの問題タブに出そうとするとやはり拡張機能作ったりする必要がある気がする。

 

ひとまずPylintは諦めて書くことにした。

それほど大規模にはならないはずだから多分大丈夫…なはず。

 

一連のDocker環境はこちら

 

はじめてのMongoDB (I・O BOOKS)

はじめてのMongoDB (I・O BOOKS)

 

 

*1:処理時間5分の壁がきついし、数千件を超えたあたりからスプレッドシートが重すぎてまともに動かせなくなる