ユハニブログ

明日山に行く！

前回丹沢主脈縦走にリポート最終的に書かなかったな・・・　一応写真と軽いコメントをFBの共有アルバムに入れた。

今回は上高地に行きます！　今企んでるルートは
上高地バスターミナル→槍ヶ岳→新穂高温泉。
もし槍ヶ岳についた所で時間の余裕があるなら、槍ヶ岳から大キレットを通り、穂高岳→上高地

荷物こんなんになちゃった。　テントとスリーペィングバッグで半分ぐらい埋まってるな・・・

解析の本音シリーズ：ログの違い

初めての人、どうもこんにちは、忍者アナライズのバックエンドの開発担当、ユハニです。

　現在色々なアクセス解析が存在しています。ググれば色々見つかると思います。結構前から存在している「忍者アクセス解析」に似ている物もあれば、もっと企業向きな高い有料のものもあります。

　今回の忍者アナライズでは色んなこだわりをもって、一般のユーザーが簡単に使えるようなアクセス解析を作るつもりでやっています。　開発者なので宣伝とかは苦手ですが、同時に「こう言った所にこだわって作っています」、「こんな風に使うのも面白い」、「何でこうなっているか」などが分かるようにちょこちょこ書きたいと思っています。　どちらかと言うと忍者アナライズだけでなく、アクセス解析全体がどんな物になっているのかをちょこちょこ書きたいと思っています。　それを知った上で忍者アナライズを使ってもらえるとありがたいです。勿論「ここがもうちょっと！」的な意見も聞きたい。

ってのが全体的な意気込みです！？　それでは今回のお題に入ります。

「x社と忍者のアクセス解析をはっていますが、ログが違います！？」、もしくは「アクセス解析とカウンターの数字が違うよ！？」見たいな質問がユーザーサポートに来ています。　それをある程度明かすために、今回話したいのはアクセスログの取得の失敗の原因とアクセスログの取り方の違いです。　

本題に入ります！

取得失敗の理由はいくつかあり、アクセス解析の作りとはまったく関係のないものも多いです。：

取得失敗の原因

タグがはられた時点で文字化けし、一部のブラウザーで読めなくなった。　
　ー＞貼り付けた後はソースコードを確認して、同じタグになってるかどうかを確認する。

他のJavascriptのエラー：一部のサイトで正しくタグが設置されていても、そのタグが読み込まれる前に違うJavascriptエラーが発生した場合、タグが実行されずに解析されません。

ユーザーの早いリロード：　ページのロードが終わる前に、閲覧者がページを離れたり、リロードしたりすると解析されない事があります。

ユーザー環境：閲覧者の環境によるバグでまれにJavascriptの間違っている取り方をするものもある。

一部のアクセス解析は特定の条件でアクセスを除外する（クローラーなど）。

ユーザーの”Opt-out”：　一部のアクセス解析では閲覧者が「解析されたくない」事を設定することが出来ます。

最後の理由は取り方にあり、この後もう少し細かく説明します。

忍者アナライズのタグが正しく設置されているかの確認方法：

今後ヘルプにJavaScriptの問題が確認出来る詳しい説明を追加するつもりです。　

普段だと：

JavaScriptのエラーが出てるか確認して、直す。

ページの解析タグと設置すべき解析タグの形を比べる。　一部のブログやホームページサービスでは、勝手に>を>に変えたりすることで、行の間に<br > タグが入ってしまうことがあります。

アクセスの取得方法について：

もちろんアクセス解析は魔法で動いてるような物ではないので、閲覧者からデータを収集する必要があります。　これをやる方法には大きく分けて三つあります。　取得方法によっては、結果にくせがあったりもします。

画像での取得。　一番シンプルなもので、画像さえはる事が出来れば、どこにも使えます。　
＋画像さえブロックされていなければ、JS対応されていなくても、アクセスが取れます。
＋Javascript取得とのコンビネーションでも使えます（JSオフの閲覧者を解析するために）
ー取れる情報が限られる。

JavaScriptでの取得。　現在殆どの一般ユーザー向けはこの方法がメインです（忍者アクセス解析・アナライズ含めて）
＋殆どの情報が見られる。
ーjavaScript対応されてないユーザーが解析されない（もしくは画像取得の方を使う）

サーバー側での取得。色んな方法があります。サーバーのログを分析したり、ページを送るHTTPサーバーに直接プラグイン見たいなものを付ける、とか、リクエストを受け取るさいにスクリプトを加入させたりなど、　主に企業向けの有料アクセス解析で見られる方法です。
＋全てのアクセスが解析可能になります。ダウンロードなど含めて（Javascriptのクリックの分析に頼らなくても）。
＋良くも、悪くも、分析されてる事が閲覧者には見えない（クッキーが残ってれば分かるけど）
ー大抵のブログやホームページユーザーはサーバー側にアクセス出来ない。
ー他より設定が難しい。

忍者アクセス解析と忍者アナライズのアクセスの取得方法：

忍者アクセス解析では、１＋２をコンビで使用しています。コンビで使用することで、他に問題がない限り、普通のページへの全てのアクセスが取得できます。

但し、訪問やユニークの分析結果がJavascriptなしだとIPベースになり、複数のブラウザーやユーザーのアクセスがまざってしまいます。　そのため、セッションやユーザーの経路にこだわって作られた忍者アナライズでは２の方法のみを使用しています。　個人的な希望を言うと今後は上級ユーザー用に３のオプションも是非つけたい(その前には管理者除外など)。　アナライズの開発や進展は今回のリリースで勿論終わってないから。

少々長い記事になりましたが、大体こんな物です。

何か知りたい事などあれば、しゅりちゃんのツィッターで是非！

技術的に気になる点などあればコメントなどで聞いたら出来るだけ答えるようにします。
バグなどあればすぐに知りたい、直したいので、是非教えて下さい！

レベル上げ

うは・・・　上に広告が出てるからそろそろ何か書かないと・・・

最近昼休憩中や家にいる時にprojecteuler.net/の問題をといて、数学のレベルを上げてる。

Rubyで。　いい練習になるし、ちょこちょこやりつづければRubyの考え方になれるかと。

後、問題のないようで結局一番簡単な方法で他お香とするとパソコンが永遠にぐるぐる回るのでアルゴリズムのいい練習になる。　大抵の問題は5分から一時間かかる。

後一回といたら色んな人のやり方も見えます・・・　色んな言語で書いてる人もいるし、色んな解き方もある。　Jで一行の答えがあれば、同じ問題にx86アセンブラーに１００行のプログラムがある。　刺激になる

ググルDevQuizの結果が出たぞ～

***** Juhani 様

このたびは、Google Developer Day 2010 Japan にご応募いただきまして、まことにありがとうございます。

クイズの解答を審査した結果、見事、参加の基準点をクリアされました。おめでとうございます。

後日、参加証をご登録いただいたメールアドレス宛に送付いたしますので、今しばらくお待ちください。

会場で皆様にお会いできることを楽しみにしております。

と言うわけで無事参加できるようになりました。　まあ、それなり時間をかけて、結果をがすぐに見える全問で満点を取ったからそこまでサプライズではないが・・・

問題も結構面白かったので、後日ちょっと時間あれば自分の解き方と解決方法をアップしたい・・・

探し中！

一ヶ月前にテレビのCMでアサヒの「The Master Pilsener」という、ドイツのワールドビアチャンピオンシップでピルズナー部門の優勝を取ったビール、を見ました。　勿論気になりました。普段日本のビールではYebisuが好きですがこんなのは勿論試さなければ。

で・・・　どこでも見当たらなかった。

やっと一週間前に近所のコンビニで現れ、飲めました。
。
。
。
美味しかった。　数回飲んでならなければ、比較するのは難しいけど中々いいものでした！　多分俺の中でのトップ日本製ビールになったでしょう。

だが、最近また見当たらなくなった・・・

新しいもの作って、CMに金をかけて、どこにも売ってくれないなら何の意味があるのかよ！？！？

がっかりだ。　だれか護国寺の周りでMasterを打ってる所を知ってたら、教えて下さい・・・

jango

最近はよく音楽を聞く時に「Jango」と言うオンラインラジオサービスを使ってます。

好きなバンドを入れるとそれらの曲と似たアーティストの曲を流してくれる。　そのおかげで最近色んな新しいバンドにも出会ってます。音楽好きな方にはとてもお勧めです。

その内Riverside（ポーランドのプログメタル）, pain of salvation（スエーデンのプログメタル）とanathema（イギリスのDoomメタル・アンビエントロック）に出会えました。

最近Anathemaの「re-connect」って言う曲がとても好き。　２：２７からの叫びで始める部分が得にいい・・・

Amazonの推奨ってちょっとミスってる・・・

漫画とかは好きです。　認めます！　ですが、Amazonの推奨でず～～～っと漫画が出てる。　ってか、興味主に興味がない漫画です。

その理由？　

４年前にまだ海外に住んでた時に数枚を買ったから。　ローゼンメィデン・ベルセルク・マリみて・ゆびさきミルクティー・げんしけん（ちなみに全部今でもお勧め！）

で、それ以来は一冊もAmazonで買ってない。　今日本に住んでるし、そんなの普通に本屋で買えばいいじゃん。

で、最近はかなりの量で英文の物を買ってる。　殆ど勉強用のものばっかり。

なのにAmazonの推奨でわけのわからない萌漫画が相当推奨される。　

で、それよりも気になるのはなぜこれが推奨される：

TOSHIBA Lacoo コードレススチームアイロン TA-FV61(L) メタリックブルー

美しいコード

本がたくさんたまっていて、すべてに興味がある。　同時にいくつか呼んでますが、今「リラックス」目的で読んでるのは「Coders at work」。　何人かのすごいプログラマーとのインタビューが記録されてる物です。　まだまだ途中ですが、今まで読んだ中で大抵の人がやっぱり言うのは「他の人のソースを詠むべき」だと。　今までも少々やってますが、大抵は仕事関連、もしくは興味単位で。　

Doug Fitzpatrick（LiveJournalの発明者、今ググル）のインタビューが気になり、結局Memcachedのソースを見る事にした。

http://github.com/memcached/memcached/blob/master/memcached.c

前から使ってる技術だし、自分のプログラムでもローカルなキャッシュとかを作ってますのである程度気になってました。
ロジックは勿論とてもいいけど、それよりもコードは以外とわかりやすい・・・　コメントが結構あるし、スタイル、関数・変数の名称が分かりやすい。　いつも皆が「コメントを書くのはいい事と分かるけど・・・　結局書かないな」ってのはよくあります。自分でも難しいアルゴリズムよりあんまり書かない。だけど一ヶ月後に読むと「え、これって何やってたっけ？」って思う。　あの時１分でコメントを書いてたら、その悩みはせずに住んだ・・・

最適化とJavaのプロファイラー

元々C/C＋＋のプログラマーの私ですが、最近あるプロジェクトの関係でJavaで開発してます。

結構いい所もあります！

前に作ったドメインのサブドメインを削る簡単な文字列の処理のプログラムがありますが、この同じプログラムをJavaで書いたら、10倍重かった！

まあ、普通だったら、全体の内でどうでもいいでしょうが、この場合はその関数は一つのリクエストで何百万回呼ばれる事もありうる。７００万行がCで２秒以下で出来た物がJavaで22秒かかりました。　これはまずい。　で、Javaの問題では。 Cのようなポインターアリスメチックは出来ないけど、Javaってそこまで遅くはないよ。

最終結果：　Cとほぼ同じスピードに削れました！

それはどう出来たのでしょう？

・まずはEclipseで使えるJavaのプロファイラーをインストールしました。

　TPTPは直接Eclipseの環境にプラグイン出来る高性能のプロファイラー。　セットアップが困難な場合もありますが、入れると助かります。

・一回プロファイラーで回してネックの所を探した。

　・意外な事に一番ネックがロジックの所ではなくスタート時点にあった！？

　・実はString.splitとString.formatが犯人だった。

まず、String.formatの代わりにStringBuilderを使う事で処理が半分になりました！　おおお。正直最初からそうするべき物だったけど、そこまで差があるとは思わなかった。

そしてString.splitをどうにかしなければならなかった。大変便利な関数ですが、二つの問題があります：

・すべてのサブパーツの文字列を作成する。いらない物も。

・簡単な処理でも一応正規表現を使ってる。

その代わりにString.indexOfとlastIndexOfを使って、欲しい部分を見つかり、String.substring出取得する事にすると、何と処理時間がど〜んと落ち、Cとほぼ同じになった。

覚える事：

最適化はプロファイラーから始めよう。　自分がボトルネックになってると思ってる所と実際の問題点がよく違ったりする。　また、よく言われるのは９０％のスピードアップが１０％のコードの最適化で得られる。

また、「最適化は燃えるぞ！」

TomcatのJVM設定

これはちょっと前に各つもりの記事です。消えたと思ったけど奇跡的に一時保存され、助かりました。

一番見るブログはやっぱり開発系の「こうやってこれを直せる」見たいな物。困ってる人がたまたまこっちのブログを見たら、同じように役に立てるといいな〜って思ってますので、これからちょこちょこ困った問題と解決策を書こうと思ってます。
今回の物はあまりこった物ではないが、JavaをリモートでDebugしたかった・・・Tomcatのアプリを、Eclipse環境から。

参考に
http://wiki.apache.org/tomcat/FAQ/Developing#Q2

まず、JVMに -Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=n こんなパラメーターをパスして、Eclipseなどの環境からリモートデバッグは8000ポートで出来ます。
色んなDeployのやりかたもあるけど、こっちはRPMのTomcatを使っていて、serviceで機動してます。その環境だとtomcat5.confのファイル（普通のRH系環境だと/etc/tomcat5/tomcat5.conf)に JAVA_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=n" を入れる事でOK ここからEclipseを機動して、 Run->Debug Configurations... Remote Java Applications New Host/Portを設定して（.confで使ったaddressパラメーター）を設定して、Debug押す

じゃじゃ〜ん：　ローカルでデバッグしてるようにServletのデバッグが！