Google App Engine

ウェブ検索（Yahoo!API利用）とニュース検索（GoogleニュースのAtom形式出力をパース）を作ってみた。 その過程でいくつかの懸案が解決し（または見切りをつけ）た。

モジュールの配置ってそもそもどうするのが普通なのか

何が正解かはよく分からない。site-packagesにファイルを置くと、とかeasy_installというシロモノに関する情報もあるが……。
sys.pathというリスト（通っているパスがすべて入っている）に適当なディレクトリを突っ込む、という方法が簡単そう＆とりあえず動いたのでこれでいく。

PathInfoからの引数取得

os.environというディクショナリにPATH_INFOというそのものずばりの値が。これをスラッシュで区切って使う。PathInfoからの引数取得は今後も多用しそうなので共通の関数を定義しておこう。os.environにはこの他にも標準的な値が一通りそろっている模様。smartyだったら予約変数$smartyの中に全部詰め込んであったのだが、似たようなものはなさそう。

リダイレクト

self.redirectでできる、ということを見つけるのに時間がかかった。

URLエンコード、デコード

urllib.quote_plusがおそらくそのものずばりだが、encode('utf-8')をつけてやらないとエラーが出る。かなりはまった。ウェブリクエスト用にkey=valueの形式にエンコードするならurllib.urlencodeを使うのが便利。

XMLの取得、パース

各種のAPIを使うにせよ、RSSを読み込んで表示するにせよ、XMLをパースする仕組みは必須。標準でもいろいろあるようだが、BeautifulSoupが手軽そう。実際手軽だったが、タグのアトリビュートの扱いがややこしくてちょっと泣いた。ウェブ越しにXMLを取り込むのはGAE名物urlfetchを使うのが礼儀というものだろう。

なんか表示するたびにエラーが出る…

デフォルトエンコーディングを変更してやらないとデフォルトでasciiになっているらしい。グローバルだこと。

正規表現

Googleの返してくるXMLがタグだらけ。正規表現の出番。

• Google App Engineとpythonの基本
  • モジュールの配置ってそもそもどうするのが普通なのか
    • Python: モジュールを検索するディレクトリを追加する
  • ドメインの割り当て
  • 携帯電話の識別
  • PathInfoからの引数取得
    • PATH_INFO を使ってメソッドを指定して実行(改修後)
    • os.environ
  • DataStoreAPI
  • 履歴テーブル
  • リダイレクト
    • リダイレクト、ヘッダー、ステータス コード
  • URLエンコード、デコード
    • PythonでURLエンコード・デコードする
    • Python入門：urllibとurlencode
  • なんか表示するたびにエラーが出る…
    • UnicodeEncodeErrorが発生した場合は、sitecustomize.pyでデフォルトのエンコーディングを指定する。CommentsAdd Star
    • Google App Engineでsetdefaultencoding
  • 正規表現
    • re -- 正規表現操作
    • Pythonで正規表現による文字列処理(検索・置換・分割)を行う
• XMLの取得、パース
  • BeautifulSoup
  • 同ドキュメンテーション
  • Google App Engine で XML をパースする方法
  • URL フェッチ Python API 概要
• WebAPIの利用
  • Amazon Product Advertising API
    • あの署名対応をやらなければならないと思うと気が重い。
    • 無題メモランダム: Amazon Product Advertising APIの署名認証をPythonでやってみる
  • Yahooウェブ検索
    • Yahoo!ウェブ検索テスト
    • レシピ検索
  • Yahoo関連検索ワード
  • Yahooローカルサーチ
  • Wikipedia SIMPLE API
  • はてなキーワード
  • BAR-NAVI WebAPI
  • ぐるなびWebサービス
• RSS
  • Google News
  • Googleニュース日本語版のAtom/RSSフィード
  • Google Blog Search
  • Google 急上昇ワード
  • 厳密にはWebAPIではないのかもしれないが
    • Google Static Maps
    • Google Chart API
• その他サイト間共通のサービス
  • RSS配信
  • Sitemap
  • Adsense
    • 特にモバイル用が問題。pythonでモバイルAdSenseを使ってみるを参考に
  • アクセスカウンター
    • 現在、xreaのサービスを使っているが、まあ自前で用意すべきかと。Google App Engine でカウンターを作ってみたを参考にする。
  • PnT(仮称)

Google App Engine上でPythonを使っていろいろ作っていこうと思う。ターゲットは、現在PHPで動かしている受賞作ドットジェイピー、２軒目は近所のバー、7thPocket.comをGAEに移すこと。３サイトとも基本的にはオリジナルのDB少しとたくさんのWebAPIを組み合わせたサイト。課題をリストアップしてみよう。

• Google App Engineとpythonの基本
• モジュールの配置ってそもそもどうするのが普通なのか
• ドメインの割り当て
• 携帯電話の識別
• PathInfoからの引数取得
• DataStoreAPI
• 履歴テーブル
• WebAPIの利用
• Amazon Product Advertising API
• あの署名対応をやらなければならないと思うと気が重い。
• 無題メモランダム: Amazon Product Advertising APIの署名認証をPythonでやってみる
• Yahooウェブ検索
• Yahoo関連検索ワード
• Yahooローカルサーチ
• Wikipedia SIMPLE API
• はてなキーワード
• BAR-NAVI WebAPI
• ぐるなびWebサービス
• RSS
• Google News
• 日本語版のRSS配信がサポートされているのかいないのか不明。Googleニュース日本語版のAtom/RSSフィードを参考に進める
• Google Blog Search
• Google 急上昇ワード
• 厳密にはWebAPIではないのかもしれないが
• Google Static Maps
• Google Chart API
• その他サイト間共通のサービス
• RSS配信
• Sitemap
• Adsense
• 特にモバイル用が問題。pythonでモバイルAdSenseを使ってみるを参考に
• アクセスカウンター
• 現在、xreaのサービスを使っているが、まあ自前で用意すべきかと。Google App Engine でカウンターを作ってみたを参考にする。
• PnT(仮称)

えーと、無理だなこれは。かれこれ6年くらいかけて書き溜めてきたから仕方ないけど、ゴミも積もればゴミの山、だ。

これまでPHPで作ってきたいくつかのサイトをGAE上で動かすべくいろいろ試す。
●現在のGAE開発環境に組み込まれているバージョンは0.9x
　よって、このページにある各機能のうち、「Django 1.0 で新たに登場しました.」とある機能は使えない模様。中でも、辞書の各要素をループしてキーと値を取得、というシンプルな機能が使えないのには困った。また、テンプレートからオブジェクトのメソッドを呼び出すときにも引数が１つしか指定できなかったりする。
●オリジナルのクラスを含むモジュールを、メインプログラムとは別のディレクトリで管理したい場合、「import sys」した上で、「sys.path.insert(0, 'hogelib/hogehoge')」などとしてやる必要がある。
●また、そのようにしてインポートしたモジュールに含まれるクラスを継承して別のクラスを作るのであれば、継承元を表すカッコ内にはモジュール名．クラス名という形式で記述する必要がある。たとえば、hogelib/hogehoge/hoge.pyの中のhogeクラスを継承してfugaクラスを作る場合は「class fuga(hoge)」ではなく「class fuga(hoge.hoge)」となる。
●日本語の文字列を使用する場合は文字列リテラルの前に「u」を付けてu'日本語文字列'としてやるが、それだけでは不十分で、ソースの2行目あたりに# -*- coding: utf-8 -*-が必要だそうな。

社内の情報共有用にApp Engineを使えないか、試そう。
社内には立派な情報共有基盤がたんまりあるのだが、管理者権限を渡してもらえないこともあって何かと面倒。
まずはCMS。App Engine Site Creator。そのままでは日本語が使えないのでマルコ式ネット白書の記事を参考に1箇所だけ書き換えて完了。
あ、app.yamlの書き換えはそれとは別に必須。これからも時々やらかしそうですが。

Google App Engineを使っていろいろやってみようと思う。Web上にいろいろ情報は出ているのだが、まずは参考書を購入。