モヒカンSlackは、参加者が育てるIT系情報収集用のSlack公開ワークスペースです。
酋長（スペース管理者のkanbeさん）以外はとくに誰がどうとかいう役割はないのですが、クラウド関係の購読フィードのメンテナンスを勝手につづけています。
モヒカンSlackができて5年ということで、クラウド関係でどんなフィードを購読しているのか棚卸ししてみました。モヒカンSlackに参加して見るなり、つまみぐいして自分のSlackチャンネルでフィード購読するなり参考になればと思います。
フィードのURLについては、過去記事も参考にしてください。
気になる人が多そうなので先に書いておくと、タグや検索機能がないSpeaker Deckに関しては、はてなブックマーク頼りになっています。
国内ITアドベントカレンダー全部入れた #advent-calendar-2020 もよろしくです。
この記事は、Serverless Advent Calendar 2020 1日目の記事です。
アドベントカレンダーの12月がはじまりましたが、みなさんどれくらい読んでますか？
私も情報収集に使っているモヒカンSlackでは、毎年 #advent-calendar-2020 などといったチャンネルがあり、気が向いた人がAdventarやQiita Advent CalendarのカレンダーRSSフィードのURLを登録し、流れてくる記事を毎年楽しんでいます。
あ、モヒカンSlackというのは共有RSSリーダーのように使える公開Slackワークスペースで、Vulsでおなじみのサウナおじさんkotakanbeが運用しています。1万7千人くらいが登録していて、340のチャンネルでテーマ毎に様々なRSSフィードが流れてきます。無料プランということで1週間で10,000メッセージを使い切ってどんどん古い情報は見えなくなるので、古い情報は割り切りましょう！
さて、その昔はAdventarやQiitaのカレンダー一覧を見ながら、温かみのある手作業でRSSフィードを登録していたのですが、ちょうどこの記事が流れてきたので、Azure Functionsの上でPlaywrightを使ったバッチ処理を動かして、Webスクレイピングで全部のアドベントカレンダーを取ってきてSlackに登録するようにしました。
ソースコードはここで公開しています。
Webスクレイピングには、URLから取得したHTMLをパースして欲しい情報を抽出するものと、ブラウザをHeadless(画面無し)で起動してAjaxなどを動かした結果からDOMなどを経由して抽出するものがあります。今回は、AdventarがgRPC APIを使っていて面倒くさい、SlackがレガシーAPIでないとスラッシュコマンドを投げられないなどいくつかの理由があり、Headlessブラウザを使うことにしました。
この手のHeadlessブラウザの操作ライブラリでは、Chromiumの開発者が作っているPuppeteerが定番かなと思いますが、FirefoxやWebKit(Safari)にも利用できるPlaywrightを今回は使ってみました。
この手のWebスクレイピングは、とにかくローカルで試行錯誤しながら組み立てていくことが多いかと思います。今回は、最初にベタなスクリプトとして動く部分を作り上げてから、それをAzure Functionsの関数アプリに変換するという手順を踏みました。開発環境としてはWSL2上のUbuntuにVSCodeで接続しています。VcXsrvを併用すると画面を使うアプリも動かせるので、一時的にHeadlessを解除して実際のブラウザ画面を見ながら試すこともできます。
動くスクリプトができてしまえば、host.json、functions.json、index.jsの三つを用意することで関数アプリとしてそのままデプロイできるようになります。対応するコミットがこれです。
いったんHTTP APIとして動作確認し、それからタイマートリガーに設定変更しました。これはfunction.jsonの変更だけでいけます。
これで10分に1回、スクレイピングして自動でSlackにRSSフィードのURLを足りない分だけ登録してくれます。
これだけ書くとさらっと動く感じですが、詰まるところが無いわけでは無いです。
動作確認のためにHeadlessを解除できる(lib/AdventCalendarCrawler.jsのL128あたりのheadless: false)のですが、Slackはブラウザで開くとデスクトップアプリを開くよう誘導され、Chromeのモーダルダイアログが開いてしまいます。この状態だとダイアログを閉じるまでウェブページ内の操作ができないため、後続の処理が失敗してしまいます。
dialogイベントをハンドリングしても上手くいかなかったので、とりあえず動作確認中はダイアログが出たらすぐに閉じるという運用でカバーしました。
上の記事をよく読めばきちんと書いてあるのですが、Playwrightはnpm install中にChromeのバイナリをインストールしてくれます。してくれるのですが、普通に入れるとnode_modulesの下ではない場所にインストールしてしまうので、環境変数PLAYWRIGHT_BROWSERS_PATHを0に設定する必要があります。
また、デプロイ時も、VSCodeからデプロイするなら.vscode/settings.jsonを、コマンドラインなら--build remoteを付けることでリモートでビルドが走り、その中でChromeのインストールが走ります。そのためデプロイに3分間ほどかかりますが待ってください。
ローカルでは普通に動いていたんですが、じゃあいざAzure Functionsの関数として動かしてみたら見事にタイムアウトしました。まあ、こういうこともあるということで。
ちなみにAzure Functionsの従量課金プランでは一つの関数呼び出しの最大実行時間は10分間なので、それを超えると強制終了されます。試した範囲では5分ぐらいで終わっていたので、今回の範囲ではまあなんとかなるかなと。もしこれを超えるようであれば、処理を分解してDurable FunctionsでFan-outしたりする必要がありそうです。
これは今回作ったものの問題ではないのですが、Slackに一度に大量の/feed subscribeを投げたせいか、今朝実際にフィードを登録したのですがアドベントカレンダーの初日の記事がまだSlackのチャンネルに流れてきていません。
設定では登録されているので大丈夫だとは思うのですが、最終的な確認ができていないのでまだ不安です……。
追記：日付変わったら来始めました。おそらくRSSフィードの時刻が0時になっていたために最初のエントリの検知に失敗していたように見えます。
というわけで、Webスクレイピングができるとちょっとした自動化がささっとできるようになるので、手札として持っておくと便利です。またこういう雑なバッチ処理を適当に動かすのにFaaSは極めて強力なので、合わせ技で使っていくと良いかなと思います。
セキュリティ・キャンプは、ITつよつよ人材の発掘と育成を目的とした取り組みです。毎年夏に行っている全国大会を、今年はオンライン形式で実施します。
応募期間が当初は25日までだったのですが、大人の事情でちょっとだけ伸びて
2020-09-03 23:59 JST
になりました！
単に例年の講義をオンラインでやるというだけでは無く、10月から12月にかけて毎週ペースで講義が進むため、講義ごとの事前学習に時間が掛けられたり、特に集中コースのハッカソンは全体の開発期間が大幅に伸びたりなど、今回オンライン開催だからこそできることがたくさんあります。
また、今年度参加した人でも、来年度以降の「セキュリティ・キャンプ全国大会」にも応募可能です。
今からでも遅くないので是非応募をお待ちしています！
今年の全国大会オンラインは、以下のトラック構成です。
それと、今年もクラウドを上手く使う講義を担当します。
よろしくです！
世の中いろいろな「IoT」がありますが、突き詰めればデバイスから上がってくるデータを処理して何かを実現するのがIoTです。IoTにおけるデータ処理を考える上で、ネットワークプロトコルの設計指針を参考にするとうまく整理できます。
ネットワークプロトコルを設計するときにはシンタックス（Syntax; 文法）とセマンティクス（Semantics; 意味）に分けて考えます。そしてネットワークプロトコルの外側にあるコンテキスト（Context; 文脈）に基づいて処理が行われます。
それぞれ掘り下げていきます。
どのようにデータを送り、受け取るかという「文法」を決めるのがシンタックスです。
たとえばHTTPであれば、HTTPクライアントがHTTPサーバにTCPで接続し、以下のフォーマットでリクエストを送り、
[HTTPメソッド](空白)[URI](空白)[プロトコルバージョン]
(いくつかのヘッダ)
(空行)
(もしあればメッセージ本体)
HTTPサーバから以下のようなレスポンスが返ってくる、というのがシンタックスに相当します。
[プロトコルバージョン](空白)[ステータスコード](空白)[テキスト]
[いくつかのヘッダ]
(空行)
(もしあればペイロード本体)
ステータスコードは3桁の整数であるまでは決めますが、どの数字がどんな意味を持つか、例えば404が「URIが存在しない」を表すなどはシンタックスでは決めません。
これをIoTの分野で考えてみます。
MQTTでセンサーのデータを集める場合を考えてみます。
性能やコストをそこまで詰める必要が無い場合、後々の拡張性などを考えてメッセージに直接値を埋め込むのでは無く、JSONなどの汎用フォーマットに入れて送ることが多いかと思います。また、デバイスのIDをトピック名に入れて識別できるようにします。
そうすると、このようなシンタックスが考えられます。
シンタックスの段階ではどのようなセンサーがありどんな値を含めるかなどは決めず、セマンティクスに任せます。
JSONオブジェクトに含まれるキーや値の型までをシンタックスとみなす場合もありますが、この記事ではもう少し緩いところまでをシンタックスとみなしています。あくまでシンタックスかセマンティクスかは分類方法でしかないので、視線の先をどこに置くかでその境目は変わってきます。
LPWAで代表的なLoRaWANでは、一番小さな設定ではメッセージサイズが11バイトになります。11バイトに集めたいデータを全て詰め込む必要があるため、1ビットは血の一滴と無駄にすることができません。
たとえばGPSトラッカーからデータを集めたい時に、以下のようなシンタックスが考えられます（この例はソラコムさんの記事をもとにしました）。
MQTTの例と同様に、ステータスの意味はセマンティクスの範疇となります。
このように、データの形を決めるのがシンタックスです。たとえばSORACOM Beamやバイナリパーサーはシンタックスの変換と考えることができます。
受け取れるデータの形を決めるのがシンタックスなら、受け取ったデータの意味を決めるのがセマンティクスです。
先ほどのHTTPならば、受け取った3桁の数値が「404」ならば指定したURIにデータが存在しない、「301」ならばレスポンスのヘッダ「Location」で示されたURIに移動してしまった、というようなことを決めます。また、どのようなリクエストメソッドがあるのかもセマンティクスに相当します。
先ほどのIoTの例でセマンティクスを考えてみます。
実際のセンサーデータはJSON形式で符号化することがシンタックスで決まっていますが、その中身はセマンティクスに委ねられました。
今回使うセンサーでは、温度と湿度が取得できるので、temperatureとhumidityのキーでそれぞれのセンサーで取得した値を入れる事にします。温度は摂氏、湿度は100分率で表現します。このように数字の意味を細かく決めていきます。
ステータスは、以下のような値を出すこととします。
バッテリーはフル充電時の最大電圧と、停止直前の最小電圧の間を100分率で表します。
緯度経度高度は、GPSで使われるWGS 84測地系で表現された値を利用します。緯度経度はともかく、高度はWGS 84測地系では地球をきれいな楕円体とみなしたときの表面からの高さになるので、実際の標高である平均海水面との差を計算したりするなどは、データを受け取った側の責任になります。
このように決めていくことで、ようやくセンサーで集めた情報が、正確にその意味をくみ取って利用できるようになります。それぞれの「値」に対してそれをどのような意味を持っているのかを細かく決めていくのがセマンティクスの役割です。
ここまでで、IoTデバイスから上がってきたデータをしっかり解釈することができましたが、それを具体的に役に立つようにするにはもう一手間必要です。それがコンテキスト（文脈）による価値付けです。
コンテキストも、細かく分けると2種類があります。
例えば温度センサーで30度という値を受け取ったとします。温度に応じて冷房のon/offを制御したいとき、たとえば部屋の温度が29度から30度に上がったときには冷房の電源を入れ、27度まで下がったときに冷房を止めて欲しいわけです。また、センサーからの値には誤差が含まれるため、移動平均なども計算したいです。
これを実現するには最新の温度データだけがあっても駄目で、過去のデータや冷房の状態があったうえで新しいデータを使って判断する必要があります。
このようにデータの履歴や状態をつかった処理を行うため、データを収集した側で様々な道具を使う必要があります。たとえばAWS IoT Eventsなんかはそのためのエンジンですし、Azure FunctionsやAWS LambdaなどのFaaSを使って自分で実装することもできます。
GPSで測位した位置情報が分かったとして、その座標を使って何かを行うためには、たとえば登校前後に親御さんにメールする「みまもりサービス」であれば自宅と学校の座標など、そもそも他のデータと組み合わせる必要があります。
先ほどの冷房on/offであれば、そのセンサーの所有者が設定した目標温度も必要になります。
いわゆるETLの範疇にもなりますが、リアルタイムデータを別のマスタデータとJOINするようなケースでは、Azure Stream AnalyticsやAmazon Kinesis Data AnalyticsなどでリファレンスデータとJOINしたりできます。
データ量によってはリアルタイムで処理することにこだわらず、RDBMS等に放り込んで閲覧時やバッチでJOINしても良いでしょう。
このように、IoTデバイスからのデータは、ただそこに存在するだけでは価値が発揮できず、過去のデータ・状態や外部のデータと紐付けることでようやく様々な役に立つことができます。逆に言えば、この領域で何をやるかこそが「IoTを活用する」ということそのものと言えます。
IoTにおけるデータ処理は全体をふわっと見ると複雑ですが、データの表現方法を決めるシンタックス、その意味を細かく決めるセマンティクス、そこから価値を見いだすコンテキストに分けて整理すると分かりやすいです。
Amazon欲しいものリストからもたくさんプレゼントをいただいてしまいました。個人的な方針で個別のお名前を出す事は割愛させていただいているのですが、みなさまありがとうございます、とても嬉しかったです。
このお礼は世界への貢献をもって返していきます。
バケツはスタッフがいただきました。
例年通りいきなり！ステーキのタダ肉300gも食べました。
30代の10年間は、エクストーンへの転職に始まり、サイバーエージェント、WHEREと3社（正確にはパシャオクを入れて4社）を渡り歩きつつ、たくさんの方々のおかげで色々貴重な経験をさせていただいています。
次の10年は若者の手を引きながら世界に恩を返していけるよう健康にがんばります。
6月末に選考結果の発表があり、7月からいよいよ2020年度のSecHack365が本格始動しました。今年度も開発駆動コースの仲山ゼミ担当として、世界を変える若者の手助けをしていきます。
今年度は全国行脚ができない中ではありますが、SecHack365オンラインの初年度ぐらいの感じでがんばっていきたい感じです。
自分としては正直アウトプット便秘ではあるのですが、4期目受賞することができました。
カンファレンスや同人誌即売会がオンライン化したりする中ではありますが、自分らしいアウトプットの形を模索しつつ、あらためて再始動フルスロットルで頑張っていきます。
なんか色々機材が整ってしまったこともあり、迷走しつつ色々楽しんで手札を増やしていこうと思っています。
E1甲、E2乙、E3甲、E4乙までやったところでボーキが尽きました。
米帝になりたいです。
現在社内ニートのくせに、ストレス発散で色々揃えてしまったので、反省のために自慢していきます。
インスパイア元はこちらです。
ちなみにここは元々押し入れでした。
某勉強会（もはや互助会かもしれない）Slackにてたまたまスケベ椅子の話題が出たのですが、そこから色々話題が盛り上がって10万円前後と言われる人権椅子がオフィスバスターズ等で中古を狙うと3-5万円ぐらいで買えることがわかりました。
で、見つけたのが、アーロンチェアで有名なハーマンミラー社のセラチェアが約3万円という案件です。というわけで、朝一に車で駆けつけてささっと買ってきました。
このセラチェアは、ウレタンでもメッシュでもなく、セルラーサスペンションというプラスチックの小さな丸型パッドがハニカム上になっているもので、座面が堅くちょっと人を選ぶところはありますが、ハーマンミラー製お得意の様々な調整機構はたくさん付いていますし、少なくとも私にはちょうど良かったです。
買ってきたら、その日のうちに近くに居る奴がわらわらとうちまで座りに来て、結局某勉強会Slackメンバーだけであと数台売れて速攻で売り切れていました。
もともと、サンワダイレクトの半額セールで2つの机をL字に置いていました。
ただこれ奥行き55cmというのがかなりネックで、ディスプレイとキーボードを置くと前後にまったく余裕が無い状態で、ノートPCを使うときはキーボードを片付ける必要がありました。
というわけで、IKEAで天板だけ買ってきて上に載せちゃいました。
奥行き55cmから75cmになっただけですが、体感は3倍ぐらいになって別次元になりました。5000円でこの満足度が得られるならもっと早くやれば良かった。
写真には写っていませんが、足下にフットレスト（足置き）があります。
これがあると椅子をちょっと高めにしてディスプレイの高さと目線があうので、かなり快適になりました。
コロナ禍が始まった早々にとりあえず必要そうだということでピンマイクを買いました。これはServerless Communityのメンバーから紹介してもらったやつです。
ただ、元々自宅にはアームスタンド付きコンデンサーマイクのPod Pack 1を買っていたので、結局Serverless Meetup収録の1回だけで、カバンに入れっぱなしです。
ちなみにPod Pack 1はこれはこれでおすすめです。
マイクだけならPod Pack 1でまったく不満がなかったのですが、自宅に居るとなんとなく色々やりたくなってきた結果、某勉強会Slackで聞き回ったりして、これを買いました。
家に電子ピアノとかもあるので、そのあたりでMIDIとかでも色々やりたいなあとか色々夢を詰め込んだら少し上の機種を買ってしまいました。物欲やばいですね。
マイクはPod Pack 1がUSB直出しでXLRが食えず接続できていないので、今のところただ遅延の少ないヘッドホンアンプになっています。
ウェブカメラが大昔の画質低いものしか持っていなかったので、ちょうど余っていたRakuten miniにiVCamを食わせてカメラとして固定運用しています。UN-LIMIT？なにそれ。常時Wi-Fi接続ですが何か？
小さすぎて斜めにマウントしているのがチャームポイントです。
何が良いか判らなかったので安いのを適当に買いました。特に不満は無いです。
1台もらってきて3台になりました。ありがとうございます。
環境構築で満足してしまうのはエンジニアの性ですよね！
AWSにはフルマネージドなNFSファイルシステムを提供するEFSがありますが、AWS Lambdaからマウントできるようになりました。
これをうまく使うと、ファイルシステムへの保存を前提とした古いアプリケーションを楽にクラウドにリフト（移行）することができます。
というわけで、さっそく、前世紀からインターネットで遊んでいた人でお世話にならなかった人は居ないであろうCGI RESCUE様のminibbs.cgiこと簡易ＢＢＳをサーバーレスに動かしてみました。みんなminibbs.cgiの書き換えでPerl覚えましたよね？
df6mbqlkt7.execute-api.ap-northeast-1.amazonaws.com
※インターネット老人会の治安が悪いので注意
※ここはそのうち忘れないうちに落とします。
まず、今回の新機能を使うためにEFSのボリュームを作ります。この手順は上のページに書いてあるそのままで大丈夫です。完全に同じ手順でやると /mnt/msg にマウントされるので、その下にデータファイルが置かれるように設定します。この当時のCGIスクリプトなので、minibbs.cgiを直接編集して上の方で変数に設定します。
$tmp_dir = '/mnt/msg';
これで、あとはこのminibbs.cgiをAWS Lambdaで動くようにすれば良いわけです。
そしてこのPerlのCGIスクリプトを動かすにはいくつかの道具を組み合わせていきます。
この3段階をハンドラ関数としてまとめたものが、上のレポジトリにあるhandler.plです。
use utf8;
use warnings;
use strict;
use AWS::Lambda::PSGI;
use Plack::App::WrapCGI;
my $app = Plack::App::WrapCGI->new(script => "$ENV{'LAMBDA_TASK_ROOT'}/minibbs.cgi", execute => 1)->to_app;
my $func = AWS::Lambda::PSGI->wrap($app);
sub handle {
$ENV{'TZ'} = "JST-9";
return $func->(@_);
}注意事項として、正しく動かすためには以下の設定も必要です。
chmod +x minibbs.cgi してからZIPファイルでデプロイが必要（コンソールからの編集不可）/usr/local/bin/perlになっているので、/usr/bin/perlに変更するtouch /mnt/msg/data.cgiとかやっておく（運用でカバー その2）このあたりをクリアすると、前世紀に普通に使っていたminibbs.cgiを、ほぼそのまま一般的な設定項目以外いじることなく、令和時代のサーバーレス環境AWS Lambda上で実行することができました。
運用でカバーした2点も、minibbs.cgi自体を少し直せばもちろん対応できるわけですが、今回はそういったプログラム本体の修正を一切せずに、そのままAWS Lambda上で動かす事ができるというデモンストレーションなので、上で紹介したperlのパスと変数以外は一切変更していません。
おそらく性能もさほどでないと思われますし、古いアプリケーションをそのまま動かしているので脆弱性対応は依然として必要ですが、まずは手軽に今動いているサーバ環境の運用コストを下げるために、このようなサーバーレス＋共有ディスクの構成は極めて有用です。あくまで「リフト＆シフト」のリフト策として、クラウドシフトのためのリソースをひねり出すために使うのが望ましいですが、カードの一つとしてこういったことがすぐに実現できるんだ！という紹介でした。
