aspとcoldfusionとutf-8とxmlではまって・・・・・BOM

かなりハマりました。
ＩＩＳで動いているaspってほとんどShift_JIS環境。
イントラのトップページがそうなのですが、そこに半年ほど前ＲＳＳを置きました。新着をＤＢからゴリゴリとxmlファイルにする感じで、そこにはColdFusionが載っていないので苦手なＡＳＰで作りました。
コードはShift_JIS。

UTF-8ベースのColdFusion側でそのxmlを読むときは、
<cfhttp method = "Get" url="http://hon/top/top_r.xml" charset="Shift_JIS" result="XMLFileText"/>
といった感じで、キャラセットを指定してあげればＯＫで、特別問題なかったのですが、先日「RSSをUTF-8にしてほしい」との要望が。

ＡＳＰでUTF-8のファイルってどうやって作るんだ？　とすぐ思ったのですが、とりあえず「わかりました」と答えてしまったわけです。

あんまりASPの参考書は持っていないので、とりあえずいろいろググると、
　Fsystem.CreateTextFile(File_name,true,true)　とすればよさげ。
ふんふん♪とやってみたのですが、
UTF-8ではなく、ただのunicodeみたい♪～(￣ε￣；)←違いがわからない男

さらにググる。

おぉ、これか？http://makoto3.cocolog-nifty.com/makoto3/2006/03/asputf8_7348.html
<%@ LANGUAGE=JScript CodePage=65001 %>
なにやら、
<cfprocessingdirective pageencoding="UTF-8">
とおなじかほりが。

・・・・・しかしハズレ。

さらにググる。

（￣～￣;）ウーン・・・・みんなゴリゴリ変換かけてる模様。ちょっとなぁ・・・・

ググるのはやめて、ＳＩ屋さんたちにSkypeで聴き回る。（といっても３人ほど）
みんな、「やったことないですねぇ・・・・」と、つれない返事。「ちょっとしらべてみますよ」などと社交辞令的な返事（いやいや、ご好意ですね）。

忘れかけていた頃、メールが一通。

=======================================================
先ほどご連絡あった件ですが、個人的興味からちょっと調べてみました。

ADODB.StreamがサーバでCreateObjectできる事が条件ですが、
こんな感じでいけそうな気がします。

' ADODB.Stream保持用
Dim stream As Object
 
Set stream = CreateObject("ADODB.Stream")

'ストリームを作成
stream.Open
stream.Type = 2 ' 2 = adTypeText
stream.Charset = "UTF-8"

'文字列を格納
stream.WriteText "こんにちは。小西です。"

' テスト的にファイル書き出し
' ※ 環境、用途によって変更して下さい。
stream.SaveToFile "C:\test.txt", 2 ' 2 = adTypeText

'ストリームの破棄
stream.Close
Set stream = Nothing

以上、独り言でした。
=====================================================

おぉ、コニちゃん。ありがとう。
小さくテストしてみたら、いけそうです。

ゴリゴリ、ゴリゴリ・・・・・

でけた！UTF-8でxmlファイルが書けました。
秀丸で読むと[UTF-8]ってなってます。

ところが、今度はColdFusion側で読んだとき・・・・・
<cfhttp method = "Get" url="http://honw01/top/top_r.xml" charset="UTF-8" result="XMLFileText"/>
<cfset honxmlDoc = XmlParse(XMLFileText.Filecontent)>
とすると、
The web site you are accessing has experienced an unexpected error.
Please contact the website administrator.

The following information is meant for the website developer for debugging purposes.

Error Occurred While Processing Request

XML ドキュメントを Parsing する際に、エラーが発生しました。 Content is not allowed in prolog.

(Ｔ▽Ｔ;)

いろいろ調べながら、エラーがでたり出なかったりするので変だなぁ・・・・と。
どうやら、できたxmlを秀丸で上書き保存するとエラーが出なくなる。

こういうときは、スリム化デバッグです。
怪しいところを残しながら、どんどん生成するxmlを小さくしてテスト。
極小のPDCAサイクルを廻すわけです。
日本語がよくない？改行コードがよくない？<item>なくしちゃえ！・・・・


結局、たった１行のxmlにまで縮小してもエラー・・・・

でも秀丸で上書き保存するだけでエラーが出なくなる。

１行まで小さくしたので、ここで気づきました。
上書き保存すると、ファイルサイズが　183バイト　→　180バイト　と３バイトだけ減ってることに。

この３バイトの差は何なんだ？ということで、今度はファイルダンプツールを物色。
ほどなく入手し、ダンプを見る。

すると、ダメな場合のxmlには、ファイルの最初に　"EF BB BF"の３バイトがついている。
なんじゃこりゃ？

ダメ元で"EF BB BF"をググる。
ありゃりゃ、いっぱい出てくるね。なになに、ボム？BOM(ByteOrderMark)
http://sakaguch.com/utf1.html
この辺を参考に。

UTF-8（ボムあり）　と　UTF-8N（ボムなし）　の２種類があるそうな。
どうやら、ColdFusionでXmlParseするときは、ボム無しじゃなきゃダメらしい。

さて、じゃぁどうやってボム無しにするか・・・・・asp側じゃわからんな。

(。-`ω´-)ンー・・・とColdFusionの文字列関数を眺める。
RemoveCharsかな？３文字切るんじゃダメだった。じゃ、１文字。

おぉ（゜ロ゜）　　できた！

<cfhttp method = "Get" url="http://hon/top/top_r.xml" charset="UTF-8" result="XMLFileText"/>
<cfset honxmlDoc = XmlParse(RemoveChars(XMLFileText.Filecontent,1,1))>


約６時間のハマリでした。