Foreignkey, Inc.

投稿日: 2011-12-18 2012-09-25

MacOSX Lion + MAMP + WSGI で Python の HelloWorld

表題通りですが、MacOSX Lion 上の MAMP で Python WSGI Web Application を動かす為のセットアップめもです。
ネットに色々と情報はあるのですが、画像とかを静的にアクセスするための情報などと一緒になったものは見当たらなかったので、ここにメモしておきます。なお、本記事は次のツールは準備済のお話です。

MAMP（http ポートを80番に変更）
Python
Homebrew

では、まずは mod_wsgi をインストールします。
コンソールを立ち上げて Homebrew でインストールします。
超ー簡単です。

brew install mod_wsgi

1	brew install mod_wsgi

実行するとインストールログがツラツラと表示されますが、その中に、丁寧に以下のような説明まで書いてあります。このパスが mod_wsgi 本体っすね。探さなくと良いので、ちょっと嬉しい配慮です。

* You must manually edit /etc/apache2/httpd.conf to load
  /usr/local/Cellar/mod_wsgi/3.3/libexec/mod_wsgi.so

1 2	* You must manually edit /etc/apache2/httpd.conf to load /usr/local/Cellar/mod_wsgi/3.3/libexec/mod_wsgi.so

上記の情報をもとに、httpd.conf に mod_wsgi を登録します。

僕的に httpd.conf には MAMP の modules のパスを記述したかったので、シンボリックリンクを作成しました。

ln -s /usr/local/Cellar/mod_wsgi/3.3/libexec/mod_wsgi.so /applications/mamp/library/modules/

1	ln -s /usr/local/Cellar/mod_wsgi/3.3/libexec/mod_wsgi.so /applications/mamp/library/modules/

それから MAMP の httpd.conf を変更します。

cd /applications/mamp/conf/apache
vi httpd.conf

1 2	cd /applications/mamp/conf/apache vi httpd.conf

次の行を追加。

LoadModule    wsgi_module    modules/mod_wsgi.so

1	LoadModule wsgi_module modules/mod_wsgi.so

それから、wsgi アプリケーションのエントリポイントを WSGIScriptAlias で登録します。

僕の場合、MAMP でバーチャルホストしてるので以下のような記述になりました。

<VirtualHost *:80>
    DocumentRoot /Users/yuka2py/Projects/wsgi/public
    ServerName dev.wsgisample.jp
    Alias /robots.txt /Users/yuka2py/Projects/wsgi/public/robots.txt
    Alias /favicon.ico /Users/yuka2py/Projects/wsgi/public/favicon.ico
    Alias /style/ /Users/yuka2py/Projects/wsgi/public/style/
    Alias /lib/ /Users/yuka2py/Projects/wsgi/public/lib/
    Alias /media/ /Users/yuka2py/Projects/wsgi/public/media/
    WSGIScriptAlias / /Users/yuka2py/Projects/wsgi/public/main.py
</VirtualHost>

DocumentRoot /Users/yuka2py/Projects/wsgi/public

ServerName dev.wsgisample.jp

Alias /robots.txt /Users/yuka2py/Projects/wsgi/public/robots.txt

Alias /favicon.ico /Users/yuka2py/Projects/wsgi/public/favicon.ico

Alias /style/ /Users/yuka2py/Projects/wsgi/public/style/

Alias /lib/ /Users/yuka2py/Projects/wsgi/public/lib/

Alias /media/ /Users/yuka2py/Projects/wsgi/public/media/

WSGIScriptAlias / /Users/yuka2py/Projects/wsgi/public/main.py

</VirtualHost>

WSGIScriptAlias が、wsgi アプリケーションのエントリポイントとなる Python スクリプトのパスです。ここでは、Alias で記述された項目を除いてルート以下の全てのリソースへのアクセスを /wsgi/public/main.py に送っています。

Alias の記述は、favicon や javascript、画像ファイルなどを静的に表示するためのおまじないです。ww
この記述が無いと、全てのリクエストは /wsgi/public/main.py に送られます。
ここでは、 /style/、/lib/、/media/ 以下の全てのファイルと、robots.txt、favicon.ico を、静的にアクセスできるように設定しています。

仕上げに、バーチャルホストの為に hosts にエントリを追加します。

sudo vi /etc/hosts

1	sudo vi /etc/hosts

127.0.0.1 dev.wsgisample.jp

1	127.0.0.1 dev.wsgisample.jp

あとはアプリケーションをごにょごにょと準備します。

/wsgi/public/main.py

def application(environ, start_response):
    status = '200 OK'
    output = 'Hello World!'
    response_headers = [('Content-type', 'text/plain'),
                        ('Content-Length', str(len(output)))]
    start_response(status, response_headers)
    return [output]

def application(environ, start_response):

status = '200 OK'

output = 'Hello World!'

response_headers = [('Content-type', 'text/plain'),

('Content-Length', str(len(output)))]

start_response(status, response_headers)

return [output]

以上です。

ブラウザで http://dev.wsgisample.jp/ へアクセスすると Hello World! が表示されます。

参考

投稿日: 2010-03-14

eepy – Python コード埋め込み形のシンプルなテンプレートエンジン

Python コードを埋め込む形式のシンプルなテンプレートエンジンです。Ruby の ERB のような感じです。まだ検討したいところも多々ありますが、もしお役に立ちそうに思われた方はご自由にお使いください。で、何か不具合があれば教えてください♪

特徴

Ruby の ERB 風の記法
Python のインデントブロックを意識せず、テンプレートを記述可（”end” キーワードの使用）
フィルタ。値の埋込み時に、html クォートなどのフィルタを自動的・全般的に適用可
キャッシュ。Renderer 利用時に利用可
- メモリ保持で揮発性の１次ファストキャッシュ（１トランザクション内でのテンプレートの繰り返し利用の為）
- ２次キャッシュ。コンパイル済みのテンプレートの永続化。現在、File ベースと、Gae Memcache ベースのストレージを準備。他の DB ストアなど、必要に応じてストレージを追加可
ヘルパ。幾つかの便利なヘルパを提供
- extends と block。Django のような、テンプレートを継承・拡張するスタイルを利用可
- include。テンプレート中で、他のテンプレートを読み込み

なお、eepy は、yuin さんの embpy をベースとした派生ライブラリです。
また、キャッシュのストレージ仕様は、kuwata-lab.com の pyTenjin を参考にさせて頂いています。

embpy との主な相違点（2010.02.10時点）

ブロックの終わりの明示は end キーワードでのみ可
インラインでブロックを記述する時に、{: ～ :} の記述が不要（普通に書けます）
複数行のコードパートにブロックを書く時は、end キーワードは不要（普通に書けます）
三項演算子が利用可
render の戻り値は、unicode

ドキュメント

モジュール、クラス、メソッドに記載の doc を参照してください。

例

テンプレート（template.html/utf8）：

<%-
    fmt = u" %%0%dd" % len(str(max**2))
    def format(n): return fmt % n
-%>
<%=r u"< %s >" % title %>
<%- for y in range(1, max+1): -%>
<%- for x in range(1, max+1): -%>
<%= format(x * y) -%>
<%- end %>
<%- end -%>

<%-

fmt = u" %%0%dd" % len(str(max**2))

def format(n): return fmt % n

-%>

<%=r u"< %s >" % title %>

<%- for y in range(1, max+1): -%>

<%- for x in range(1, max+1): -%>

<%= format(x * y) -%>

<%- end %>

<%- end -%>

Python コード：

import eepy
vars = {
    "title": u"The times table",
    "max": 9,
}
file = codecs.open("template.html", encoding="utf8")
t = eepy.Template(file)
print t.render(vars, filter=eepy.helper.escape_xml)

import eepy

vars = {

"title": u"The times table",

"max": 9,

}

file = codecs.open("template.html", encoding="utf8")

t = eepy.Template(file)

print t.render(vars, filter=eepy.helper.escape_xml)

出力結果：

< The times table >
01 02 03 04 05 06 07 08 09
02 04 06 08 10 12 14 16 18
03 06 09 12 15 18 21 24 27
04 08 12 16 20 24 28 32 36
05 10 15 20 25 30 35 40 45
06 12 18 24 30 36 42 48 54
07 14 21 28 35 42 49 56 63
08 16 24 32 40 48 56 64 72
09 18 27 36 45 54 63 72 81

< The times table >

01 02 03 04 05 06 07 08 09

02 04 06 08 10 12 14 16 18

03 06 09 12 15 18 21 24 27

04 08 12 16 20 24 28 32 36

05 10 15 20 25 30 35 40 45

06 12 18 24 30 36 42 48 54

07 14 21 28 35 42 49 56 63

08 16 24 32 40 48 56 64 72

09 18 27 36 45 54 63 72 81

ソースコード

次の URLにて公開しています。

https://github.com/yuka2py/eepy

投稿日: 2010-02-28

cnvk – Python で全角・半角・ひらがな・カタカナ等を変換する

Python で半角・全角の変換やカタカナとひらがなの変換などを行う簡単なモジュールを作ったので貼っておきます。他にも似たライブラリがありますがその一つとして。もしお役に立ちそうに思われた方はご自由にお使いください。で、何か不具合があれば教えてください♪

特徴

unicodedata よりは色々細かく指定できます。
追加の変換テーブルを指定するのも簡単です。
変換しない文字を指定できます。
変換方法は単純に replace です。正規表現ほか色々と試したんですが、たぶん早い方です。

ドキュメント

モジュール、関数に記載の doc を参照してください。

ダウンロード

https://github.com/yuka2py/cnvk

コード

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
cnvk 0.9.3 - 全角・半角・ひらがな・カタカナ等を変換する簡単なモジュールです

Author:
    yuka2py

Lisence:
    Artistic License 2.0

Usage:
    import cnvk
    text = cnvk.convert(text, cnvk.H_ALPHA, cnvk.H_NUM) #英数字を半角に変換
    text = cnvk.convert(text, cnvk.H_ALPHA, cnvk.H_NUM, {u"-":u"－"}) #追加の変換を dict で指示
    text = cnvk.convert(text, cnvk.HIRA2KATA, cnvk.H_KATA) #ひらがなも含め、半角カタカナに変換
    text = cnvk.convert(text, cnvk.Z_KATA, cnvk.KATA2HIRA) #カタカナも含め、全角ひらがなに変換
    text = cnvk.convert(text, cnvk.HAC, skip=u"＄＆") #u"＄" と u"＆" 以外の ASCII 文字を半角に変換
"""

def convert(text, *maps, **ops):
    """ 変換マップを指定して、文字列を変換します。
    追加の変換マップを dict や tuple で簡単に利用できます。
    処理をスキップする文字を指定することが出来ます。

    args:
        text: 変換元のテキスト。unicode を必要とします。
        maps: 変換マップの指定。tuple, dict または tuple を返す関数（callable オブジェクト）で指定。
                    マップは指定された順序に実行されます。
        skip: 変換しない除外文字の指定。tuple または文字列で指定
                    tuple で指定すると各要素を除外。文字列で指定すると含まれる全ての文字を除外。
    return:
        converted unicode string

    built-in maps:
        H_SPACE (HS): スペースを半角に統一
        H_NUM (HN): 数字を半角に統一
        H_ALPHA (HA): 英字を半角に統一
        H_KIGO (HKG): ASCII記号を半角に統一
        H_KATA (HK): カタカナを半角カタカナに統一
        H_ASCII (HAC): アスキー文字を半角に統一（スペースを除く）（＝H_NUM + H_ALPHA + H_KIGO）
        Z_SPACE (ZS): スペースを全角に統一
        Z_NUM (ZN): 数字を全角に統一
        Z_ALPHA (ZA): 英字を全角に統一
        Z_KIGO (ZKG): ASCII記号を全角に統一
        Z_KATA (ZK): カタカナを全角に統一
        Z_ASCII (ZAC): アスキー文字を全角に統一（スペースを除く）（＝Z_NUM + Z_ALPHA + Z_KIGO）
        HIRA2KATA (H2K): ひらがなをカタカナに変換
        KATA2HIRA (K2H): カタカナをひらがなに変換
    """
    if "skip" in ops:
        skip = ops["skip"]
        if isinstance(skip, basestring):
            skip = tuple(skip)
        def replace(text, fr, to):
            return text if fr in skip else text.replace(fr, to)
    else:
        def replace(text, fr, to):
            return text.replace(fr, to)

    for map in maps:
        if callable(map):
            map = map()
        elif isinstance(map, dict):
            map = map.items()
        for fr, to in map:
            text = replace(text, fr, to)

    return text

H_SPACE = HS = ((u"　",u" "),)
H_NUM = HN = (
    (u"０",u"0"),(u"１",u"1"),(u"２",u"2"),(u"３",u"3"),(u"４",u"4"),
    (u"５",u"5"),(u"６",u"6"),(u"７",u"7"),(u"８",u"8"),(u"９",u"9"),
    )
H_ALPHA = HA = (
    (u"ａ",u"a"),(u"ｂ",u"b"),(u"ｃ",u"c"),(u"ｄ",u"d"),(u"ｅ",u"e"),
    (u"ｆ",u"f"),(u"ｇ",u"g"),(u"ｈ",u"h"),(u"ｉ",u"i"),(u"ｊ",u"j"),
    (u"ｋ",u"k"),(u"ｌ",u"l"),(u"ｍ",u"m"),(u"ｎ",u"n"),(u"ｏ",u"o"),
    (u"ｐ",u"p"),(u"ｑ",u"q"),(u"ｒ",u"r"),(u"ｓ",u"s"),(u"ｔ",u"t"),
    (u"ｕ",u"u"),(u"ｖ",u"v"),(u"ｗ",u"w"),(u"ｘ",u"x"),(u"ｙ",u"y"),(u"ｚ",u"z"),
    (u"Ａ",u"A"),(u"Ｂ",u"B"),(u"Ｃ",u"C"),(u"Ｄ",u"D"),(u"Ｅ",u"E"),
    (u"Ｆ",u"F"),(u"Ｇ",u"G"),(u"Ｈ",u"H"),(u"Ｉ",u"I"),(u"Ｊ",u"J"),
    (u"Ｋ",u"K"),(u"Ｌ",u"L"),(u"Ｍ",u"M"),(u"Ｎ",u"N"),(u"Ｏ",u"O"),
    (u"Ｐ",u"P"),(u"Ｑ",u"Q"),(u"Ｒ",u"R"),(u"Ｓ",u"S"),(u"Ｔ",u"T"),
    (u"Ｕ",u"U"),(u"Ｖ",u"V"),(u"Ｗ",u"W"),(u"Ｘ",u"X"),(u"Ｙ",u"Y"),(u"Ｚ",u"Z"),
    )
H_KIGO = HKG = (
    (u"．",u"."),(u"，",u","),(u"！",u"!"),(u"？",u"?"),(u"”",u'"'),
    (u"’",u"'"),(u"‘",u"`"),(u"＠",u"@"),(u"＿",u"_"),(u"：",u":"),
    (u"；",u";"),(u"＃",u"#"),(u"＄",u"$"),(u"％",u"%"),(u"＆",u"&"),
    (u"（",u"("),(u"）",u")"),(u"‐",u"-"),(u"＝",u"="),(u"＊",u"*"),
    (u"＋",u"+"),(u"－",u"-"),(u"／",u"/"),(u"＜",u"<"),(u"＞",u">"),
    (u"［",u"["),(u"￥",u"\"),(u"］",u"]"),(u"＾",u"^"),(u"｛",u"{"),
    (u"｜",u"|"),(u"｝",u"}"),(u"～",u"~")
    )
H_KATA = HK = (
    (u"ァ",u"ｧ"),(u"ィ",u"ｨ"),(u"ゥ",u"ｩ"),(u"ェ",u"ｪ"),(u"ォ",u"ｫ"),
    (u"ッ",u"ｯ"),(u"ャ",u"ｬ"),(u"ュ",u"ｭ"),(u"ョ",u"ｮ"),
    (u"ガ",u"ｶﾞ"),(u"ギ",u"ｷﾞ"),(u"グ",u"ｸﾞ"),(u"ゲ",u"ｹﾞ"),(u"ゴ",u"ｺﾞ"),
    (u"ザ",u"ｻﾞ"),(u"ジ",u"ｼﾞ"),(u"ズ",u"ｽﾞ"),(u"ゼ",u"ｾﾞ"),(u"ゾ",u"ｿﾞ"),
    (u"ダ",u"ﾀﾞ"),(u"ヂ",u"ﾁﾞ"),(u"ヅ",u"ﾂﾞ"),(u"デ",u"ﾃﾞ"),(u"ド",u"ﾄﾞ"),
    (u"バ",u"ﾊﾞ"),(u"ビ",u"ﾋﾞ"),(u"ブ",u"ﾌﾞ"),(u"ベ",u"ﾍﾞ"),(u"ボ",u"ﾎﾞ"),
    (u"パ",u"ﾊﾟ"),(u"ピ",u"ﾋﾟ"),(u"プ",u"ﾌﾟ"),(u"ペ",u"ﾍﾟ"),(u"ポ",u"ﾎﾟ"),
    (u"ヴ",u"ｳﾞ"),
    (u"ア",u"ｱ"),(u"イ",u"ｲ"),(u"ウ",u"ｳ"),(u"エ",u"ｴ"),(u"オ",u"ｵ"),
    (u"カ",u"ｶ"),(u"キ",u"ｷ"),(u"ク",u"ｸ"),(u"ケ",u"ｹ"),(u"コ",u"ｺ"),
    (u"サ",u"ｻ"),(u"シ",u"ｼ"),(u"ス",u"ｽ"),(u"セ",u"ｾ"),(u"ソ",u"ｿ"),
    (u"タ",u"ﾀ"),(u"チ",u"ﾁ"),(u"ツ",u"ﾂ"),(u"テ",u"ﾃ"),(u"ト",u"ﾄ"),
    (u"ナ",u"ﾅ"),(u"ニ",u"ﾆ"),(u"ヌ",u"ﾇ"),(u"ネ",u"ﾈ"),(u"ノ",u"ﾉ"),
    (u"ハ",u"ﾊ"),(u"ヒ",u"ﾋ"),(u"フ",u"ﾌ"),(u"ヘ",u"ﾍ"),(u"ホ",u"ﾎ"),
    (u"マ",u"ﾏ"),(u"ミ",u"ﾐ"),(u"ム",u"ﾑ"),(u"メ",u"ﾒ"),(u"モ",u"ﾓ"),
    (u"ヤ",u"ﾔ"),(u"ユ",u"ﾕ"),(u"ヨ",u"ﾖ"),
    (u"ラ",u"ﾗ"),(u"リ",u"ﾘ"),(u"ル",u"ﾙ"),(u"レ",u"ﾚ"),(u"ロ",u"ﾛ"),
    (u"ワ",u"ﾜ"),(u"ヲ",u"ｦ"),(u"ン",u"ﾝ"),
    (u"。",u"｡"),(u"、",u"､"),(u"゛",u"ﾞ"),(u"゜",u"ﾟ"),
    (u"「",u"｢"),(u"」",u"｣"),(u"・",u"･"),(u"ー",u"ｰ"),
    )
HIRA2KATA = (
    (u"ぁ",u"ァ"),(u"ぃ",u"ィ"),(u"ぅ",u"ゥ"),(u"ぇ",u"ェ"),(u"ぉ",u"ォ"),
    (u"っ",u"ッ"),(u"ゃ",u"ャ"),(u"ゅ",u"ュ"),(u"ょ",u"ョ"),
    (u"が",u"ガ"),(u"ぎ",u"ギ"),(u"ぐ",u"グ"),(u"げ",u"ゲ"),(u"ご",u"ゴ"),
    (u"ざ",u"ザ"),(u"じ",u"ジ"),(u"ず",u"ズ"),(u"ぜ",u"ゼ"),(u"ぞ",u"ゾ"),
    (u"だ",u"ダ"),(u"ぢ",u"ヂ"),(u"づ",u"ヅ"),(u"で",u"デ"),(u"ど",u"ド"),
    (u"ば",u"バ"),(u"び",u"ビ"),(u"ぶ",u"ブ"),(u"べ",u"ベ"),(u"ぼ",u"ボ"),
    (u"ぱ",u"パ"),(u"ぴ",u"ピ"),(u"ぷ",u"プ"),(u"ぺ",u"ペ"),(u"ぽ",u"ポ"),
    (u"ヴ",u"ヴ"),
    (u"あ",u"ア"),(u"い",u"イ"),(u"う",u"ウ"),(u"え",u"エ"),(u"お",u"オ"),
    (u"か",u"カ"),(u"き",u"キ"),(u"く",u"ク"),(u"け",u"ケ"),(u"こ",u"コ"),
    (u"さ",u"サ"),(u"し",u"シ"),(u"す",u"ス"),(u"せ",u"セ"),(u"そ",u"ソ"),
    (u"た",u"タ"),(u"ち",u"チ"),(u"つ",u"ツ"),(u"て",u"テ"),(u"と",u"ト"),
    (u"な",u"ナ"),(u"に",u"ニ"),(u"ぬ",u"ヌ"),(u"ね",u"ネ"),(u"の",u"ノ"),
    (u"は",u"ハ"),(u"ひ",u"ヒ"),(u"ふ",u"フ"),(u"へ",u"ヘ"),(u"ほ",u"ホ"),
    (u"ま",u"マ"),(u"み",u"ミ"),(u"む",u"ム"),(u"め",u"メ"),(u"も",u"モ"),
    (u"や",u"ヤ"),(u"ゆ",u"ユ"),(u"よ",u"ヨ"),
    (u"ら",u"ラ"),(u"り",u"リ"),(u"る",u"ル"),(u"れ",u"レ"),(u"ろ",u"ロ"),
    (u"わ",u"ワ"),(u"を",u"ヲ"),(u"ん",u"ン"),
    )

Z_SPACE = ZS = ((u" ",u"　"),)
Z_NUM = ZN = lambda: ((h, z) for z, h in H_NUM)
Z_ALPHA = ZA = lambda: ((h, z) for z, h in H_ALPHA)
Z_KIGO = ZKG = lambda: ((h, z) for z, h in H_KIGO)
Z_KATA = ZK = lambda: ((h, z) for z, h in H_KATA)
KATA2HIRA = lambda: ((k, h) for h, k in HIRA2KATA)
H_ASCII = HAC = lambda: ((fr, to) for map in (H_ALPHA, H_NUM, H_KIGO) for fr, to in map)
Z_ASCII = ZAC = lambda: ((h, z) for z, h in H_ASCII())

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

#!/usr/bin/env python

# -*- coding: utf-8 -*-

"""

cnvk 0.9.3 - 全角・半角・ひらがな・カタカナ等を変換する簡単なモジュールです

Author:

yuka2py

Lisence:

Artistic License 2.0

Usage:

import cnvk

text = cnvk.convert(text, cnvk.H_ALPHA, cnvk.H_NUM) #英数字を半角に変換

text = cnvk.convert(text, cnvk.H_ALPHA, cnvk.H_NUM, {u"-":u"－"}) #追加の変換を dict で指示

text = cnvk.convert(text, cnvk.HIRA2KATA, cnvk.H_KATA) #ひらがなも含め、半角カタカナに変換

text = cnvk.convert(text, cnvk.Z_KATA, cnvk.KATA2HIRA) #カタカナも含め、全角ひらがなに変換

text = cnvk.convert(text, cnvk.HAC, skip=u"＄＆") #u"＄" と u"＆" 以外の ASCII 文字を半角に変換

"""

def convert(text, *maps, **ops):

""" 変換マップを指定して、文字列を変換します。

追加の変換マップを dict や tuple で簡単に利用できます。

処理をスキップする文字を指定することが出来ます。

args:

text: 変換元のテキスト。unicode を必要とします。

maps: 変換マップの指定。tuple, dict または tuple を返す関数（callable オブジェクト）で指定。

マップは指定された順序に実行されます。

skip: 変換しない除外文字の指定。tuple または文字列で指定

tuple で指定すると各要素を除外。文字列で指定すると含まれる全ての文字を除外。

return:

converted unicode string

built-in maps:

H_SPACE (HS): スペースを半角に統一

H_NUM (HN): 数字を半角に統一

H_ALPHA (HA): 英字を半角に統一

H_KIGO (HKG): ASCII記号を半角に統一

H_KATA (HK): カタカナを半角カタカナに統一

H_ASCII (HAC): アスキー文字を半角に統一（スペースを除く）（＝H_NUM + H_ALPHA + H_KIGO）

Z_SPACE (ZS): スペースを全角に統一

Z_NUM (ZN): 数字を全角に統一

Z_ALPHA (ZA): 英字を全角に統一

Z_KIGO (ZKG): ASCII記号を全角に統一

Z_KATA (ZK): カタカナを全角に統一

Z_ASCII (ZAC): アスキー文字を全角に統一（スペースを除く）（＝Z_NUM + Z_ALPHA + Z_KIGO）

HIRA2KATA (H2K): ひらがなをカタカナに変換

KATA2HIRA (K2H): カタカナをひらがなに変換

"""

if "skip" in ops:

skip = ops["skip"]

if isinstance(skip, basestring):

skip = tuple(skip)

def replace(text, fr, to):

return text if fr in skip else text.replace(fr, to)

else:

def replace(text, fr, to):

return text.replace(fr, to)

for map in maps:

if callable(map):

map = map()

elif isinstance(map, dict):

map = map.items()

for fr, to in map:

text = replace(text, fr, to)

return text

H_SPACE = HS = ((u"　",u" "),)

H_NUM = HN = (

(u"０",u"0"),(u"１",u"1"),(u"２",u"2"),(u"３",u"3"),(u"４",u"4"),

(u"５",u"5"),(u"６",u"6"),(u"７",u"7"),(u"８",u"8"),(u"９",u"9"),

)

H_ALPHA = HA = (

(u"ａ",u"a"),(u"ｂ",u"b"),(u"ｃ",u"c"),(u"ｄ",u"d"),(u"ｅ",u"e"),

(u"ｆ",u"f"),(u"ｇ",u"g"),(u"ｈ",u"h"),(u"ｉ",u"i"),(u"ｊ",u"j"),

(u"ｋ",u"k"),(u"ｌ",u"l"),(u"ｍ",u"m"),(u"ｎ",u"n"),(u"ｏ",u"o"),

(u"ｐ",u"p"),(u"ｑ",u"q"),(u"ｒ",u"r"),(u"ｓ",u"s"),(u"ｔ",u"t"),

(u"ｕ",u"u"),(u"ｖ",u"v"),(u"ｗ",u"w"),(u"ｘ",u"x"),(u"ｙ",u"y"),(u"ｚ",u"z"),

(u"Ａ",u"A"),(u"Ｂ",u"B"),(u"Ｃ",u"C"),(u"Ｄ",u"D"),(u"Ｅ",u"E"),

(u"Ｆ",u"F"),(u"Ｇ",u"G"),(u"Ｈ",u"H"),(u"Ｉ",u"I"),(u"Ｊ",u"J"),

(u"Ｋ",u"K"),(u"Ｌ",u"L"),(u"Ｍ",u"M"),(u"Ｎ",u"N"),(u"Ｏ",u"O"),

(u"Ｐ",u"P"),(u"Ｑ",u"Q"),(u"Ｒ",u"R"),(u"Ｓ",u"S"),(u"Ｔ",u"T"),

(u"Ｕ",u"U"),(u"Ｖ",u"V"),(u"Ｗ",u"W"),(u"Ｘ",u"X"),(u"Ｙ",u"Y"),(u"Ｚ",u"Z"),

)

H_KIGO = HKG = (

(u"．",u"."),(u"，",u","),(u"！",u"!"),(u"？",u"?"),(u"”",u'"'),

(u"’",u"'"),(u"‘",u"`"),(u"＠",u"@"),(u"＿",u"_"),(u"：",u":"),

(u"；",u";"),(u"＃",u"#"),(u"＄",u"$"),(u"％",u"%"),(u"＆",u"&"),

(u"（",u"("),(u"）",u")"),(u"‐",u"-"),(u"＝",u"="),(u"＊",u"*"),

(u"＋",u"+"),(u"－",u"-"),(u"／",u"/"),(u"＜",u"<"),(u"＞",u">"),

(u"［",u"["),(u"￥",u"\"),(u"］",u"]"),(u"＾",u"^"),(u"｛",u"{"),

(u"｜",u"|"),(u"｝",u"}"),(u"～",u"~")

)

H_KATA = HK = (

(u"ァ",u"ｧ"),(u"ィ",u"ｨ"),(u"ゥ",u"ｩ"),(u"ェ",u"ｪ"),(u"ォ",u"ｫ"),

(u"ッ",u"ｯ"),(u"ャ",u"ｬ"),(u"ュ",u"ｭ"),(u"ョ",u"ｮ"),

(u"ガ",u"ｶﾞ"),(u"ギ",u"ｷﾞ"),(u"グ",u"ｸﾞ"),(u"ゲ",u"ｹﾞ"),(u"ゴ",u"ｺﾞ"),

(u"ザ",u"ｻﾞ"),(u"ジ",u"ｼﾞ"),(u"ズ",u"ｽﾞ"),(u"ゼ",u"ｾﾞ"),(u"ゾ",u"ｿﾞ"),

(u"ダ",u"ﾀﾞ"),(u"ヂ",u"ﾁﾞ"),(u"ヅ",u"ﾂﾞ"),(u"デ",u"ﾃﾞ"),(u"ド",u"ﾄﾞ"),

(u"バ",u"ﾊﾞ"),(u"ビ",u"ﾋﾞ"),(u"ブ",u"ﾌﾞ"),(u"ベ",u"ﾍﾞ"),(u"ボ",u"ﾎﾞ"),

(u"パ",u"ﾊﾟ"),(u"ピ",u"ﾋﾟ"),(u"プ",u"ﾌﾟ"),(u"ペ",u"ﾍﾟ"),(u"ポ",u"ﾎﾟ"),

(u"ヴ",u"ｳﾞ"),

(u"ア",u"ｱ"),(u"イ",u"ｲ"),(u"ウ",u"ｳ"),(u"エ",u"ｴ"),(u"オ",u"ｵ"),

(u"カ",u"ｶ"),(u"キ",u"ｷ"),(u"ク",u"ｸ"),(u"ケ",u"ｹ"),(u"コ",u"ｺ"),

(u"サ",u"ｻ"),(u"シ",u"ｼ"),(u"ス",u"ｽ"),(u"セ",u"ｾ"),(u"ソ",u"ｿ"),

(u"タ",u"ﾀ"),(u"チ",u"ﾁ"),(u"ツ",u"ﾂ"),(u"テ",u"ﾃ"),(u"ト",u"ﾄ"),

(u"ナ",u"ﾅ"),(u"ニ",u"ﾆ"),(u"ヌ",u"ﾇ"),(u"ネ",u"ﾈ"),(u"ノ",u"ﾉ"),

(u"ハ",u"ﾊ"),(u"ヒ",u"ﾋ"),(u"フ",u"ﾌ"),(u"ヘ",u"ﾍ"),(u"ホ",u"ﾎ"),

(u"マ",u"ﾏ"),(u"ミ",u"ﾐ"),(u"ム",u"ﾑ"),(u"メ",u"ﾒ"),(u"モ",u"ﾓ"),

(u"ヤ",u"ﾔ"),(u"ユ",u"ﾕ"),(u"ヨ",u"ﾖ"),

(u"ラ",u"ﾗ"),(u"リ",u"ﾘ"),(u"ル",u"ﾙ"),(u"レ",u"ﾚ"),(u"ロ",u"ﾛ"),

(u"ワ",u"ﾜ"),(u"ヲ",u"ｦ"),(u"ン",u"ﾝ"),

(u"。",u"｡"),(u"、",u"､"),(u"゛",u"ﾞ"),(u"゜",u"ﾟ"),

(u"「",u"｢"),(u"」",u"｣"),(u"・",u"･"),(u"ー",u"ｰ"),

)

HIRA2KATA = (

(u"ぁ",u"ァ"),(u"ぃ",u"ィ"),(u"ぅ",u"ゥ"),(u"ぇ",u"ェ"),(u"ぉ",u"ォ"),

(u"っ",u"ッ"),(u"ゃ",u"ャ"),(u"ゅ",u"ュ"),(u"ょ",u"ョ"),

(u"が",u"ガ"),(u"ぎ",u"ギ"),(u"ぐ",u"グ"),(u"げ",u"ゲ"),(u"ご",u"ゴ"),

(u"ざ",u"ザ"),(u"じ",u"ジ"),(u"ず",u"ズ"),(u"ぜ",u"ゼ"),(u"ぞ",u"ゾ"),

(u"だ",u"ダ"),(u"ぢ",u"ヂ"),(u"づ",u"ヅ"),(u"で",u"デ"),(u"ど",u"ド"),

(u"ば",u"バ"),(u"び",u"ビ"),(u"ぶ",u"ブ"),(u"べ",u"ベ"),(u"ぼ",u"ボ"),

(u"ぱ",u"パ"),(u"ぴ",u"ピ"),(u"ぷ",u"プ"),(u"ぺ",u"ペ"),(u"ぽ",u"ポ"),

(u"ヴ",u"ヴ"),

(u"あ",u"ア"),(u"い",u"イ"),(u"う",u"ウ"),(u"え",u"エ"),(u"お",u"オ"),

(u"か",u"カ"),(u"き",u"キ"),(u"く",u"ク"),(u"け",u"ケ"),(u"こ",u"コ"),

(u"さ",u"サ"),(u"し",u"シ"),(u"す",u"ス"),(u"せ",u"セ"),(u"そ",u"ソ"),

(u"た",u"タ"),(u"ち",u"チ"),(u"つ",u"ツ"),(u"て",u"テ"),(u"と",u"ト"),

(u"な",u"ナ"),(u"に",u"ニ"),(u"ぬ",u"ヌ"),(u"ね",u"ネ"),(u"の",u"ノ"),

(u"は",u"ハ"),(u"ひ",u"ヒ"),(u"ふ",u"フ"),(u"へ",u"ヘ"),(u"ほ",u"ホ"),

(u"ま",u"マ"),(u"み",u"ミ"),(u"む",u"ム"),(u"め",u"メ"),(u"も",u"モ"),

(u"や",u"ヤ"),(u"ゆ",u"ユ"),(u"よ",u"ヨ"),

(u"ら",u"ラ"),(u"り",u"リ"),(u"る",u"ル"),(u"れ",u"レ"),(u"ろ",u"ロ"),

(u"わ",u"ワ"),(u"を",u"ヲ"),(u"ん",u"ン"),

)

Z_SPACE = ZS = ((u" ",u"　"),)

Z_NUM = ZN = lambda: ((h, z) for z, h in H_NUM)

Z_ALPHA = ZA = lambda: ((h, z) for z, h in H_ALPHA)

Z_KIGO = ZKG = lambda: ((h, z) for z, h in H_KIGO)

Z_KATA = ZK = lambda: ((h, z) for z, h in H_KATA)

KATA2HIRA = lambda: ((k, h) for h, k in HIRA2KATA)

H_ASCII = HAC = lambda: ((fr, to) for map in (H_ALPHA, H_NUM, H_KIGO) for fr, to in map)

Z_ASCII = ZAC = lambda: ((h, z) for z, h in H_ASCII())

投稿日: 2010-02-20

ファイル内に子モジュールを作る

時々、子モジュールに収めたい機能があるけどファイルは一つにしたいとか、同じモジュールファイル内に子のモジュールを作りたい時があるので、やってみました。

関数からモジュールを作る（デコレータ利用）

import sys, types

def module(func):
    """ 関数定義をモジュールに変換するデコレータ。
    関数内での定義が、モジュールのコンテンツになります。
    関数内の最後で、return locals() を書いてください。
    """
    modname = "%s.%s" % (
         sys._getframe(1).f_locals["__name__"], 
         func.__name__)
    mod = types.ModuleType(modname)
    setattr(mod, "__file__", __file__)
    for n, c in func().items():
        setattr(mod, n, c)
    sys.modules[modname] = mod
    return mod

@module
def helper():
    def bolder(text):
        return "<b>%s</b>" % text

    ... more difinition ...

    return locals()

import sys, types

def module(func):

""" 関数定義をモジュールに変換するデコレータ。

関数内での定義が、モジュールのコンテンツになります。

関数内の最後で、return locals() を書いてください。

"""

modname = "%s.%s" % (

sys._getframe(1).f_locals["__name__"],

func.__name__)

mod = types.ModuleType(modname)

setattr(mod, "__file__", __file__)

for n, c in func().items():

setattr(mod, n, c)

sys.modules[modname] = mod

return mod

@module

def helper():

def bolder(text):

return "<b>%s</b>" % text

... more difinition ...

return locals()

モジュール定義用の関数の中で、最後に return locals() ってのがイケていないですが、色々考えても回避できませんでした。orz…

クラスからモジュールを作る（メタクラス利用）

import sys, types

def modularize(name, bases, dct):
    """ クラス定義をモジュールに変換するメタクラス用関数。
    クラス内での定義が、モジュールのコンテンツになります。
    """
    modname = "%s.%s" % (
         sys._getframe(1).f_locals["__name__"], 
         name)
    mod = types.ModuleType(modname)
    setattr(mod, "__file__", __file__)
    for n, c in dct.items():
        setattr(mod, n, c)
    sys.modules[modname] = mod
    return mod

class helper(object):

    __metaclass__ = modularize

    def bolder(text):
        return "<b>%s</b>" % text

    ... more difinition ...

import sys, types

def modularize(name, bases, dct):

""" クラス定義をモジュールに変換するメタクラス用関数。

クラス内での定義が、モジュールのコンテンツになります。

"""

modname = "%s.%s" % (

sys._getframe(1).f_locals["__name__"],

name)

mod = types.ModuleType(modname)

setattr(mod, "__file__", __file__)

for n, c in dct.items():

setattr(mod, n, c)

sys.modules[modname] = mod

return mod

class helper(object):

__metaclass__ = modularize

def bolder(text):

return "<b>%s</b>" % text

... more difinition ...

Python 3 なら、クラスデコレータを使えるでしょうかね。

なお、特にクラス定義を使いたい理由がなければ、上の関数定義を利用する方が、モジュールコンテンツのコーディング上便利だと思います。

定義したモジュールのインポート

例えば上述の定義を hoge モジュールに書いている場合、次のような感じで通常のモジュールのように呼び出せるようになります。

from hoge.helper import bolder
from hoge.helper import *

1 2	from hoge.helper import bolder from hoge.helper import *

どうでしょうか？

投稿日: 2010-01-28

GAE の Datastore の Timeout 対策

Google App Engine のデータストアって、よく Timeout しますよね。(；＾ω＾)
本日、単純な Model.get() が Timeout したので、さすがに我慢できなくてリトライするように変更してみました。何かの参考になればとコードをアップしておきまーす♪

import logging
logging.basicConfig(level=logging.DEBUG)

from google.appengine.api import datastore
from google.appengine.api import datastore_errors

_DB_RETRY_ATTEMPTS = 3   #リトライ回数
_DB_RETRY_INTERVAL = 0.2 #リトライの間隔基準。この場合 0.2s

def autoretry(func):
    if func.__name__ == "_autoretry_wrapper":
        func = func._original_func

    def _autoretry_wrapper(*args, **kwargs):
        for num in range(1, _DB_RETRY_ATTEMPTS+1):
            try:
                return func(*args, **kwargs)
            except (
                    datastore_errors.Timeout, 
                    datastore_errors.TransactionFailedError
                    ), e:
                sleeptime = num * _DB_RETRY_INTERVAL
                time.sleep(sleeptime)
                logging.warning("Datastore %s: retry %d/%d in %s seconds." % 
                    (e.__class__.__name__, num, _DB_RETRY_ATTEMPTS, sleeptime))
        else:
            raise e

    _autoretry_wrapper._original_func = func
    return _autoretry_wrapper

datastore.Get = autoretry(datastore.Get)
datastore.Put = autoretry(datastore.Put)
datastore.Delete = autoretry(datastore.Delete)

import logging

logging.basicConfig(level=logging.DEBUG)

from google.appengine.api import datastore

from google.appengine.api import datastore_errors

_DB_RETRY_ATTEMPTS = 3 #リトライ回数

_DB_RETRY_INTERVAL = 0.2 #リトライの間隔基準。この場合 0.2s

def autoretry(func):

if func.__name__ == "_autoretry_wrapper":

func = func._original_func

def _autoretry_wrapper(*args, **kwargs):

for num in range(1, _DB_RETRY_ATTEMPTS+1):

try:

return func(*args, **kwargs)

except (

datastore_errors.Timeout,

datastore_errors.TransactionFailedError

), e:

sleeptime = num * _DB_RETRY_INTERVAL

time.sleep(sleeptime)

logging.warning("Datastore %s: retry %d/%d in %s seconds." %

(e.__class__.__name__, num, _DB_RETRY_ATTEMPTS, sleeptime))

else:

raise e

_autoretry_wrapper._original_func = func

return _autoretry_wrapper

datastore.Get = autoretry(datastore.Get)

datastore.Put = autoretry(datastore.Put)

datastore.Delete = autoretry(datastore.Delete)

※_original_func 関連のコードは別に無くても良いのですが、ローカルの開発環境ではコードの修正などに伴って問題が出ることがあるので、追加しています。たぶん本番環境では不要ですね。

なお、この変更にもし問題などが有りましたら、ご指摘頂けたら助かります！