HerokuのTreasure Data Hadoop Add-onでQuery結果が返ってこない現象が起こる?(確認中)
Heroku上のアプリケーションでTreasure Data Hadoop Add-onを利用してHDFSにデータを突っ込んでいます。
で、収集した結果を確認するために以下のようなクエリを実行したところ、30分経過しても結果がかえってきませんでした。
> heroku td query -w -d dbname "select * from jsons"
格納されているデータは150件程度なので、そんなに時間がかかるわけはないのですが、まてどくらせどコンソールに結果が表示されず。。。
結局Ctrl+Cでキャンセルしたのですが、後で気になってAddOnの管理コンソールから見てみると以下のようにJob自体は成功しているようでした。
この現象、どうもバックグラウンドの定期実行バッチが原因で起こっているかもしれません。今回のアプリでは10分毎にHeroku Schedulerを使って定期タスクを実行していたのですが、この設定を切ると普通にクエリが通るようになりました。
詳しいことはもう少し調べないとわかりませんが、原因のひとつとしては考えられそうです。