掲示板の汎用ログフォーマット規格を作ろう！ ->画像>1枚

住人の力を合わせてログフォーマット規格を作りませんか？
規格を作れば掲示板の移行なども容易に実現できます。

以前も同様のスレッド作りましたがいつの間にか消えてました。
http://pc.2ch.net/php/kako/1035/10359/1035908481.html

デリミタは何にするか
エンコーディングはどうするか
XML化しちゃうけ？
参加してくれる方がいましたら
公式サイトでも立ち上げて本格的にやりたいな・・・と。

デリミタ
>>10

文字コード
>>20

記録するべきデータとデータ構造について考えるべき
相互変換可能なフォーマットなんか規定するのはナンセンスつかどうでもいい

XML
UTF-8

終了

とりあえず思いつくものを。
名前 UA HOST コメント タイトル 書き込み日時 メール

てかスレ式にするのかツリーにするのかリストにするのかどれなんだい。

データベースに投げつける

ξﾐヽ(・∀・)ﾉξ　ｳﾝｺﾅｹﾞﾏｸﾘ

なぜ、atomじゃダメなの?
まず >>1 は既存のフォーマットをサーベイして比較検討した結果を示してね。
そうすりゃ漁スレ^h^h^h良スレになれる!

> なぜ、atomじゃダメなの?

意味が解らない。もしや掲示板のソースをatomの中に放り込むって言う馬鹿げた手段に出るつもり？
atomってそういうように作られてたっけ？

「ログ」でないなら汎用のフォーマットは作れるかもしんないけどね。
OPML みたいな感じで交換時に使うってんならね。

でもログはその利用方法に応じて変わるだろ。

ログフォーマットっていう言い方からしてファイルベース
なんだろうけど、1ファイルで納めるかどうかも利用方法に
応じて変わると思うんだが。で、そういうのはあとで考えるよっ
て連中はとりあえずデータベースに全部投げるとかそういう
発想になっちゃうわけ。

フォーマットありきなんて考え方をログに当てはめるのは
ナンセンスだと思うがなぁ。

>10
> 1ファイルで納めるかどうかも利用方法に応じて変わると思うんだが。
これについては、>5 で書かれてるHOST情報などですね。
HOST情報など、簡単には表に出せない情報まで1ファイルで扱うと
専用ブラウザ対応の問題で面倒になる。
実際、そういうサイトもあるし。

・XMLでログファイルの具体的な仕様を定義。
　（国コード・文字コード・グループ・作成者・表題・提供元URL・作成日時・最終更新日時・総レス数・各列の概要 etc.）

例）イメージとしてはこんな感じ
[国コード:JP] [文字コード:Shift-JIS] [所属:2ch WebProg] [作成者:nobody]
[表題:掲示板の汎用ログフォーマット規格を作ろう！] [提供元URL:http://pc8.2ch.net/test/read.cgi/php/1131793084/]
[作成日時:2005/11/12 19:58:04] [最終更新日時:2005/11/16 00:18:59] [総レス数:11]
[各列の概要:no name trip mail date(YYYY/MM/DD hh:mm:ss) id text]（←アイコン掲示板用に、iconとか定義しちゃっても面白いかもな）

・ログファイルはCSV形式で送出する。
　（他にも数種類使えるのを用意して、XMLの方で指定してやるってのもアリか。送出時に変換してやるなら、鯖側のログファイルの扱いは自由だし）


専ブラは必要なログの範囲（例えば100～全て）に加えて、必要な列情報をリクエストとして送信。
鯖の処理に余裕があって帯域に余裕がなければ、必要な範囲だけを抜き出し圧縮して送信すれば良いし。逆なら（略

何となく書いてみたけど途中で飽きて、雑になった。
まともにやろうと思ったら、こんなチラシの裏みたいなのじゃなくて、もっと練らないと使い物にならんね。

>12
専用ブラウザに関して言えば、ログ範囲はレス単位ではないです。
取得済みログのBytes数で管理されており、「〇Bytes目から続きをくれ」
みたいなリクエストになります。(あくまでも現状は、という話ですが)
そこから考えた場合、通常はデータベースに放り込んでおいてという手法だと
現状のBytes指定のリクエストは難しいということになるのかな。
現在の2chの仕様に合わせないといけないって訳ではないので
ここでの定義としては、「レス単位で指定するのだ」としても良いわけですが
既得分に「あぼーん」があった場合とか、ログ取得がCGI経由になり重くなるとか、
いろいろ懸念事項がありそうです。
掲示板訪問者のうち、専用ブラウザ使用者の占める割合は案外低いけど
専用ブラウザが対応されていない掲示板は、流行にくいと思いますので
難しいっすね。

静的な情報しか入ってないログなんかより、
Web 2.0 時代の掲示板とか、
そういう方向に発想した方が面白いんじゃねーか？

専用ブラウザとかより RSS, Atom にどんな情報出すと
便利かとかさ。OpenSearch に対応した掲示板とか。

スレの群れの中で消えていくかと思ったら、意外とまともな流れになったね。

OpenSearchに対応したりと検索系に力を入れた掲示板とか良さそうだし作りたいけど、俺はまだ経験が浅くて力量が伴ってないからなぁ･･。
もっと勉強して精進せねば

>1がんがれ

公開/保留/あぼ～んフラグは欲しい。
あるいは、保留投稿とかゴミ箱行き投稿を別ファイルに持たせるのでも良いけど。
スパム投稿対策には、URL検閲機能と証拠保全機能があると便利だとつくづく感じる。

どうみても糞スレです

欲しいデータ

■ インデックスファイル
投稿日時 / 編集日時 / 投稿時 IP / 編集時 IP
記事 ID / タグが有効なのかプレーンテキストなのかのフラグ
文字コード / 改行コード / 言語
パスワード / 暗号化の有無 / 暗号化の方法 / 暗号化の際のパスワード (password とはまた別)
記事を別ファイルにするのでそのファイル名 (ファイル名はランダムでユニークなのが望ましい)

※ インデックスファイルは最新の投稿が一番下


■ 記事データ
インデックスファイルをリビルドする際、記事の時刻を posttime で扱うか edittime で扱うかのフラグ
今流行りのタグとやらをカンマ区切りか[]でかこって羅列
投稿者名 / メールアドレス / ホームページ / 件名 / 本文

※ 記事データにはインデックスファイルに記述するデータを全て含む。
※ というのも、インデックスファイルがぶっ飛んだ時にインデックスをリビルド出来るようにするため。


先に必要と思われるデータは列挙しておいたほうがよい。
あとからデータを追加するのはかなり面倒だし、フォーマットがぐちゃぐちゃになって使いづらくなるだけ。
(RSS なんかが反面教師としてはいい例かと思う)

>>19が反面教師としてはいい例。

>>19
それって、わざわざ移行を検討させる程に魅力的ですか？

DB使えよ

.DAT使え
<>で区切れ

>>6で正解が出ている。
よって、このスレ終了。

そのDBに入れるデータ構造をうだうだ話すスレだと思うのだが？

>>25はＤＢのカラムに順番があると思っているらしい。

誰も「データの順番」とは書いてない。
「データの構造」って書いてる。

DB のテーブル構造を統一するのはナンセンス．

せっくす

でも必要なデータを挙げるのは必須作業

はいはいワロスワロス

感動した。
協力しようじゃないか。
じゃあ、まずオレから。


投稿者の生年月日：占い機能を入れたいから

>>32
建前：占い機能を入れたいから
本音：キャッシュカードのパスワードを抜きたいから

昭和の 33

書き込んだ人間の健康状態も記入したいので排便量フィールドを追加しといて。

排便入れるなら排尿も必要だな
あとカロリー値とか糖分とかも…すんげぇ膨大なデータになるな・・・

既に違うスクリプトだろ

いやいや。
掲示板に必要なデータですよ。
なにしろ汎用ですから。

住基ネットに進入できる掲示板にすれば、データ入力の手間が省けるね♪

それは侵入だな

住基ネットのログフォーマットを考えないとな。

提供可能な臓器の固体番号からまずはじめようか

というわけで、糞スレでした。

臓器の固体番号以前に個人ごとに割り振れるユニークIDフィールドも必要
今後人口が増えることを考えて100億ぐらい扱えれば十分か・・・

ようするに何でもモジュール化して定義を追加できればいいわけだ

やっぱ、xml

って、３・４年前でも似たようなスレ見たことあるが・・・。

sqliteでいいだろ。
国内のレンサバにDBが入っていないことで、日本のcgiの進歩が
世界から取り残されてしまった弊害は計り知れない。。
いまだにKENTが蔓延っているのがその証拠。

SQLiteは使いやすいよな
漏れは好きだ

うちのBBSのログだと、たとえばID10番のログの場合
10.xml
-------------------------------------------------
<bbs-article>
  <time>2005-09-04 04:58:05</time>
  <name>test</name>
  <title>test</title>
  <style>color:#009900;font-family:'MS UI Gothic','Osaka',sans-serif;</style>
  <password>5e4c8dfa(以下略。32byteのMD5)</password>
</bbs-article>
--------------------------------------------------
10.txt
--------------------------------------------------
これは本文です。

てすとてすと
--------------------------------------------------
こんな感じ。

気持ち悪いログだな。

ものすごく無駄が多いな…サイズやら気にしないなら問題ないんだろうが…

>>49
その程度なら XML やめて YAML にしておくと楽そう

記事ごとに style が保持できる必要あるのかなぁ…

>>52
投稿時に色などを設定できる掲示板は多い。
必要性は感じないが。

>>51
データに無駄が多いのは百も承知ですよ。
たとえ無駄が多くとも、得られるメリットのほうが大きいと判断したからそうしてるわけで。

>>52
YAML なんて仕様、初めて知った。おおまかなポリシーはだいたい理解した。
もしもデファクトスタンダードとして認められるぐらいの立場になれば採用するかもね。
それまでは、フォーマットの汎用性・再利用性を優先してXMLにしておくよ。

スタイルについては、仕様を決める段階のときに
そのまんま保存するか、IDなどを使って管理するか(RDBSで言う正規化みたいに)
かなり悩んだ。
もしも正規化した場合だと、記事を投稿した時点でユーザーが選んだスタイルが
後々になって変わってしまう懸念があって、
ユーザーの視点から見たらそれはやっぱ嫌だろうってことで
結局スタイルまるごと保存形式にしたわけです。

おっと、>>49 = >>54 でした。

>>53
この掲示板は、もともとはB級Webサイト
(シロートが運営してて、身近な友達etcの間で細々と交流し合うほーむぺーじ)
での利用を想定してるんですよ。

で、そんなB級Webサイトのいち利用者である自分としては、
こういう掲示板では何らかの形で自分のアイデンティティーを主張したいわけで。

もちろん、知識の共有だけが目的の、技術系のコミュニティであれば
そんな必要は全くないです。

RFC 1036

これでいいか？

用途:掲示板の基本情報
DTD名:bbs.dtd
XML名:bbs.xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- bbs.dtd -->
<!ELEMENT bbs (code, url, name, abstract, mode) >
<!ATTLIST subjects version CDATA #FIXED "1.0">
<!ELEMENT code (#PCDATA) ><!-- 掲示板の英名 -->
<!ELEMENT url (#PCDATA) ><!-- 掲示板のルート(いわゆるindex.htmlのある階層) -->
<!ELEMENT name (#PCDATA) ><!-- 掲示板の名称(ひらがな・漢字も許可)
<!ELEMENT abstract (#PCDATA)<!-- 掲示板の概要 -->
<!ELEMENT rule (#PCDATA)<!-- 掲示板のルール -->
<!ELEMENT mode (#PCDATA)<!-- 掲示板の機能情報(将来の為の予約って事で) -->

サンプル:
<?xml version="1.0" encoding="UTF-8"?>
<!-- bbs.xml -->
<bbs version="1.0">
<code>samplebbs</code>
<url>http://localhost/samplebbs/<;/url>
<name>サンプル掲示板</name>
<abstract>当該標準フォーマットに関連した話題だけを取り扱います。</abstract>
<rule>XMLやDTDに関する質問はよそでやって下さい。</rule>
</bbs>

用途：subject.txtの変わり
DTD名: subject.dtd
XML名: subject.xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- subject.xml -->
<!ELEMENT subjects (thread) >
<!ATTLIST subjects version CDATA #FIXED "1.0">
<!ELEMENT thread (#PCDATA)<!-- スレッドのタイトル -->
<!ATTLIST thread key CDATA #REQUIRED><!-- 各スレッド固有のキー -->
<!ATTLIST thread file CDATA #REQUIRED><!-- 発言ログのファイル名(相対・絶対パスとも許可) -->
<!ATTLIST thread numberof CDATA #REQUIRED><!-- 発言数 -->
<!ATTLIST thread load CDATA><!-- 人気度なんかを表現する良識(でも予約ね)-->

サンプル:
<?xml version="1.0" encoding="UTF-8"?>
<!-- subjects.xml -->
<subjects version="1.0">
<thread key="1234567890" file="./dat/1234567890.xml" numberof="2">スレッド1番</thread>
<thread key="1234567891" file="./dat/1234567891.xml" numberof="12">スレッド2番</thread>
<thread key="1234567892" file="./dat/1234567892.xml" numberof="2">スレッド3番</thread>
<thread key="1234567893" file="./dat/1234567893.xml" numberof="46">スレッド4番</thread>
<thread key="1234567894" file="./dat/1234567894.xml" numberof="12">スレッド5番</thread>
<thread key="1234567895" file="./dat/1234567895.xml" numberof="7">スレッド6番</thread>
<thread key="1234567896" file="./dat/1234567896.xml" numberof="124">スレッド7番</thread>
<thread key="1234567897" file="./dat/1234567897.xml" numberof="2">スレッド8番</thread>
<thread key="1234567898" file="./dat/1234567898.xml" numberof="15">スレッド9番</thread>
<thread key="1234567899" file="./dat/1234567899.xml" numberof="12">スレッド10番</thread>
</subjects>

用途：xxxxxxx.log(発言ログ)の変わり
DTD名: thread.dtd
XML名: [スレッドのキー番号].xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- thread.dtd -->
<!ELEMENT thread (message) >
<!ELEMENT message (from, mail, date, body) >
<!ATTLIST message title CDATA #FIXED "1.0"><!-- スレッドのタイトル -->
<!ATTLIST message version CDATA #FIXED "1.0">
<!ELEMENT from (#PCDATA) ><!-- 名前 -->
<!ELEMENT mail (#PCDATA) ><!-- メールアドレス -->
<!ELEMENT date (#PCDATA) ><!-- 投稿時刻(UNIXタイムスタンプ) -->
<!ELEMENT body (#PCDATA) ><!-- 本文 -->

<!-- [スレッドのキー番号].xml -->
<thread version="1.0">
<message>
<from>名無しさん</from>
<mail>sage</mail>
<date>1137844462</date>
<body>発言ですわ</body>
</message>
<message>
<from>名無しさん</from>
<mail>sage</mail>
<date>1137844462</date>
<body>発言ですわ</body>
</message>
</thread>

頭悪杉

具体性の無いレスだな

無理にXMLにするくらいならカンマ区切りファイルで十分じゃん

タブ区切りが好き。

>>62-63
じゃあ、例えばカンマや\tを含むデータを保存したい場合はどうしますか？

""で括ったり、適当な文字に変換したりお好きなように

カンマならエンティティ化してタブならスペースにするなり消すなりするんじゃない

タブは保存すらさせないかなぁ

CSVもTSVも、データがシンプルなのはいいんだけど、
それぞれの値が何を意味するかの情報が存在しないから
掲示板の「汎用」ログフォーマットとしては不適なんだよね。

改善策としては、データの1行目にフィールド名を記述して
------------------------------------
name,title,date,color
test,test,2006-01-30T00:00,#000000
hoge,var,2006-01-30T01:00,#0000ff
------------------------------------
みたいにするとか。そのほうがまだマシかな。

＝まとめ＝

ログ形式
name<>mail<>date<>msg<>subject　2ch形式
↓半互換形式(同じスクリプトでなんとなく読める)
name<>mail<>date<>msg<>subject(<>id<>pass<>stat<>color<>type･･･)
↓区切記号を変更(ちょい変えな読めん)
name,mail,date,msg,subject(,id,pass,stat,color,type･･･)

文字エンコード
S-JIS（2ch互換）
↓
EUC-JP（半端？S-JISよかよさげでUTF-8と違って容量膨れない）
↓
UTF-8（結局最後はこれ？でも容量は膨らむっぽい）

S-JISじゃなくてCP932と考えたほうがいいんでしょ？？①とか入るよね。
まあUTF-8のほうがいいと思うけど。多分長い目で見るとS-JISは廃れる。

よく考えたらcp932でもない変な文字入ってるわ。UTF-8にすれ

保守

改行を <br> や <br /> にするのってどうなんだろ
1行に1記事とするならこれが一番楽だけど

>>1の公式サイトは？

＞大阪府三島郡島本町の小学校や中学校は、暴力イジメ学校や。
島本町の学校でいじめ・暴力・脅迫・恐喝などを受け続けて、心も身体も壊されて廃人同様になってしもうた僕が言うんやから、
まちがいないで。精神病院へ行っても、ちっとも良うならへん。教師も校長も、暴力やいじめがあっても見て見ぬフリ。
そればかりか、イジメに加担する教師もおった。 誰かがイジメを苦にして自殺しても、「本校にイジメは
なかった」と言うて逃げるんやろうなあ。
島本町の学校の関係者は、僕を捜し出して口封じをするな

＞島本町って町は、暴力といじめの町なんだな

＞「口封じ」なんかしません。どうぞ、気が済むまでお書き込み下さい。

島本町は日本の恥！島本町は日本の迷惑！

誰でも簡単にネットで稼げる方法など
参考までに、
⇒　『半藤のブブイウイウレレ』 というサイトで見ることができます。

グーグル検索⇒『半藤のブブイウイウレレ』

7B7WBUT137