スレ立てする時に5chの使い方と日本語以外に解ってなきゃいけないことがあるなんて初めて聞いた
2019年8月15日(木) niconareサービス終了について
https://blog.nicovideo.jp/niconews/104611.html
4月11日(木) 投稿者向けのデータダウンロード機能の提供
投稿者の方がご自身の投稿いただいたスライドや、
スライドについたコメントをダウンロードできる機能を提供いたします。
この機能はniconareのサービス終了日までご利用いただくことができます。
7月18日(木) スライドの投稿、およびコメント投稿機能の提供終了
これ以降はスライドの視聴および、
投稿済みスライド情報の編集のみ行うことができます。 Adobe Flashのサポート終了まであと2年。消えゆくFlashゲームを保存する「Flashpoint」の登録作品がリリースから1年で1万タイトルを超える
https://news.denfaminicogamer.jp/news/181225g
歴史の中に消えようとするデジタルコンテンツを収集し保存するボランティア団体「Archive Team」に所属するBen Latimore氏が、終焉の危機にひんしているFlashゲームを収集し、誰もがプレイできるプラットフォーム「Flashpoint」を公開してから1年が経つ。 パブー閉店に伴うブクログからのお知らせ
http://info.booklog.jp/?eid=1007
【パブー・サービス終了までのスケジュール】
2019年6月30日(日) パブー新規作品の作成・公開の停止、プロ版サービス終了、新規会員登録停止
2019年9月30日(月) パブー閉店(商品販売の終了)
2019年10月1日(火)ブクログでのパブー検索終了
2019年11月30日(土) パブー側のログイン機能の停止
2019年12月1日(日)ブクログ本棚のパブー発行書籍の書影の非表示化 【魚拓】とか【Internet Archive】とかスレタイに付けないと検索にひっかからなさそうな気がするわ
立て直した方が良いんじゃないの?
【意図しないデータ消失事故にアーカイブが活かされた事例】
・2019年3月18日
2003年にサービスを開始して以来、2億人以上のユーザー数を誇っていた米音楽系SNS「Myspace」が、
過去12年間に投稿された写真、動画、音声の全てのファイルをサーバー移行失敗により消失したと発表。
これにより1400万組のアーティストによる5000万以上も楽曲が損失したこととなり、世界各地では亡くなった友人や家族との思い出が消えてしまったなどという悲痛の声があがった。
・2019年4月1日
インターネット・アーカイブが「MySpaceが消失した音楽ファイルのうち、約50万曲が匿名の学術グループによって提供された」と発表し、そのファイルを公開した。
喪失した音楽ファイル全体の1%にも満たない曲数ではあるが、復旧したデータ量は1.3TBにも及ぶ。
今後の第三者によるデータ提供に注目が集まっている。
Myspaceの喪失データのうち約50万件の音楽ファイルが学術グループにより復活
https://gigazine.net/news/20190405-recover-half-million-myspace-songs/ 2019.02.26 サービス終了のお知らせ
http://www.mapfan.net/news/index.html#190226
平素は「MapFan.net」をご愛顧頂きまして、誠にありがとうございます。
「MapFan.net」は、2020年3月31日をもちましてサービス終了させて頂きます。
ユーザーの皆様には大変ご迷惑をおかけ致しますが、何卒ご理解賜りますようお願い申し上げます。
サービス終了に伴い、2019年2月26日時点で「通常版」*1をご利用中のユーザー様につきましては、有効期限を2020年3月31日まで延長させて頂きました。
サービス終了までご利用頂けますので、継続利用手続きの必要はございません。
なお、新規購入につきましては、サービス終了する1年前の2019年3月31日をもちまして、お手続きを停止致しました。
また、「MapFan.net」は終了致しますが、今後は、MapFanプレミアム会員向けサービス *2の中で、パソコン用地図ソフトをご利用いただけるよう準備しております(2019年度中予定)。 全サービス終了のお知らせ | DNSを自由に簡単に。Dozens(ダズンズ)
https://dozens.jp/close/
サービス終了までのスケジュール
・2019年3月1日(金)
新規会員登録・有料プランへのアップグレード受付終了
・2019年9月30日(月)
コントロールパネル・APIの停止
・2019年10月31日(木)
DNSサーバーの停止・サービスの完全終了 色々なサイトの情報が集まってきているからwikiとかがあった方がいいかもね
【Internet Archive】ウェブアーカイブ総合 Page.01【ウェブ魚拓】
のスレタイで立て直すけどいい?
【魚拓】ウェブアーカイブ総合 Page.01【Internet Archive】
こっちのほうが見やすいかも
テンプレのURL中のカンマも何とかしろよ
要らんものにも付いてるし、大文字を使うだけで回避できるのもある
archive.today は https じゃなくて httpだぞ
(Rock54回避のためピリオドをカンマに変更)が消えてないよ
>>40
ジオシティーズスレでのアーカイブ活動の振り返りから生まれたスレらしいのでそれはそう
スレタイだけど、これならインターネット板の制限に収まるはず これで良いよね
ウェブアーカイブ総合【Internet Archive・魚拓】#1 【魚拓】ウェブアーカイブ総合1【Internet Archive】
スレタイこれでもいける
>>43
この板のスレタイ制限は48バイトなんだが、それは50バイトだからオーバーしてしまう 魚拓諦めてIAだけのほうがいいのかな
【InternetArchive】ウェブアーカイブ総合 Page.1
いっそ文字数制限の緩和を申請してみるのもいいかもしれない
>>24
あー、そうだな。
誰かにウィキ作ってほしい。 共同編集サイトで有名なのってwiki以外だとgoogleドキュメントくらいか
他に候補ある?
>>47
文字数制限緩和の申請は賛成だけど、どれくらい待たされるか分からん(そもそも許可されないかも)し、とりあえず>>48のスレタイで立てるよ 【ウェブ魚拓】インターネットアーカイブ総合 #1
一つの案として。
立て直す前にwiki作っとかない?
どうせならもうテンプレに突っ込んどいちゃったほうがいいと思うんだけど
>>53
Internet Archiveのスレと間違われそう
誰かwikiの管理をできる時間がある人がいたらwiki作成宜しく
自分は管理者業務とか無理だわ どこか既存のwikiに専用のページを作るっていう方法もある
アーカイブ関係のwikiがすでにあればそういうところがいいんだけど
一分に一件ずつ保存しても一日1440頁しか保存できない。
正直そんなに慌てて次スレ建てなくてもいい
このスレでwikiの作成や話し合いを十分にやってから立てればいい
それもそうか
Wiki作るって言っても無計画にやったら瓦解するだろうし、具体的に何を書く(書いていい)Wikiなのか決めとかないと
規律と理念、主要なアーカイブサイトのアーカイブリクエスト方法と見方、主要なツールの使い方、アーカイブに便利なソフトウェア一覧、関連リンク集、サービス終了が告知されている中で保存に公益性がありそうなサイト一覧、将来的に保存が必要になりそうなサイト一覧
とか?
多少ArchiveTeamに倣ったほうがよさそう
他力本願で技術力が足りない人が多すぎるから、人を集めることも重要だな
【12日まで】500円を貰える春のばらまきキャンペーン開催中です
@ スマホのApp Storeから「プリン(pring)」をインストールする
A 会員登録を済ませる
B 下図の通りに進む
C コードを登録 [5gAYSz]
これで五百円を貰えます
スマホでセブンATMからお金を下ろせたり便利なアプリですので是非お試し下さい。 結局wikiはどこに作るんだ
atwikiかwikiwiki辺りか?
>>64
というか ArchiveTeam の日本語版を作ったほうがいいな
向こうが全てにおいて優れているから自分達で1から始める理由がない
日本支部的な感じで翻訳から始めよう そのまま日本語化は無理だろうね、法律違うし
アーカイブをまとめてtorrentで配布とかそもそもサイトをアーカイブして勝手に公開することとか
禁止しないといけないこと、解釈を変えないといけないこと色々あるでしょう
Torrent配布は日本では完全に無理だな
Archive Teamはインターネットアーカイブをデータを提供しているらしいから、それに倣った方がいい
そういえば少し前にググルマップがゼンリン切ったけど、ゼンリンが提供してた部分以外で何か独自の消失したものってあった?
このスレってパソコン初心者感がすごいな
このまま進んでも上手くいかないだろうな、というのが見てて分かる
初心者っぽいポイントを挙げてみろよ
出来ないならそれは単にイチャモン付けてるだけだぞ
×初心者っぽいポイント
○上手くいかないであろう根拠
逆に聞くが>>74はどうやったら上手くいくと思うよ? >>78
google cacheをWayBackMachineに保存するときに保存のブックマークレット使うと失敗しますね。
最新の方で開いてから「Save this url in the Wayback Machine」をクリックで成功。
一度失敗してしまった場合はgoogle cacheのURLの後ろに「&hl=ja」等をつけてから最新で開いて「Save This URL」。 /web/2/ってのは/web/*/の勘違いかタイポなんだろうな
/web/*/使えばもっと簡潔に書けると思うよ
/web/*/だと一覧に飛んで/web/2/だと最新のに飛ぶんでないの
このスレ見つけらんねえよ
魚拓,archive,waybackとかスレタイに含まれてなきゃ
上の方で話してたけどスレタイの文字数制限厳し目だからウェブアーカイブ総合の横にInternetArchiveと魚拓入れただけでカツカツになっちゃうんだよね
板設定変更依頼スレッド見ると簡単には設定変更してくれないようだしなんか削らないと
いっそ魚拓・InternetArchive総合にすりゃいいのか?
良スレだな。応援してるわ
日本のサイトもサービス終了対策しないと空白になってしまうので
管理人が全員生きてて引っ越し出来るとも限らんし、消された情報が将来誰かに必要・不要なんて分からんのよね
日本の法律から、終了するサイトは丸ごと個人のローカルへ保存する方法が有ると良いな
分散バックアップにもなると思う
>>89
タイトル案
【魚拓】ウェブアーカイブ1【Internet Archive】
【魚拓】ウェブアーカイブ1【InternetArchive】
【魚拓】ウェブアーカイブ1【IA】
【魚拓】ウェブアーカイブ1【Internet Archive】
【魚拓】アーカイブ1【Internet Archive】
【魚拓】Web archiving1【Internet Archive】
魚拓:ウェブアーカイブ1:Internet Archive
ウェブアーカイブ1【Wayback Machine,魚拓】
ウェブアーカイブ1【Internet Archive,魚拓】
ウェブアーカイブ1【魚拓】
ウェブアーカイブ1😂InternetArchive魚拓
ウェブアーカイブInternetArchive魚拓1
archive 1【魚拓】
魚拓 1 魚拓やWayback Machine以外のツールも扱うよ、ってことで「総合」は付けておきたい
>>91
追加
ウェブアーカイブ総合【Internet Archive・魚拓】#1
【ウェブ魚拓】インターネットアーカイブ総合 #1
>>1にリンクがあるウェブ魚拓スレやIA専用スレと間違われないようなスレタイが望ましい となるとやっぱりウェブアーカイブ総合は外せないか?
魚拓、InternetArchiveの他にウェブページを保存したい人が調べそうな単語ってあるんかな
収集、保存、保管、ダウンロード、キャプチャ、スクラップ
うーん・・・
魚拓もウェブ魚拓って完全にスレタイに含めないと話にならない
>>96
×魚拓だけで良いんじゃないかな
○「ウェブ魚拓」と完全にスレタイに含める必要は無いんじゃないかな そんなにこだわってないならIAは略していいってことになるけどそうはならないのと同じ
ウェブ魚拓とスレタイに含めないと立てる意味がない
【ウェブ魚拓】ウェブアーカイブ総合 Page.1【InternetArchive】
sjisで60バイト
ウェブ魚拓をweb魚拓にすれば57バイト
ウェブアーカイブもwebアーカイブにすれば54バイト
64バイトまで引き上げてもらえば全部入る
【ウェブ魚拓】を抜けば48バイトに収まる
とりあえずウェブ魚拓抜いて立て直して申請通ったら次のスレからウェブ魚拓も入れるのがいいんじゃないか
なぜIAじゃなくてウェブ魚拓を抜くのかについてはGoogleの検索トレンドを参考にした
大抵「Archive」でスレタイ検索するなあ自分は
「ウェブ魚拓」と「魚拓」のどちらでも、Googleなら上手いこと検索に引っ掛かってくれそうではある
Bingは知らん
ウェブアーカイブ(に関するものを)総合(したスレッド)
ていうかそれ総合格闘技とか格闘技で空手やら柔道やら説明できるから総合いらないじゃんって言ってるようなもんでしょ
総合とわざわざ表記することによって一つではなく全体であることを暗に示してるんだよ
いや、どっちかというと「空手 part1」でも十分なのに「空手総合 part1」 にしてる感じ
ウェブアーカイブの技術としては1つにまとまるから総合しなくてもいい
「ウェブアーカイブサービス総合」なら自然だね
文字列制限があるなら省いても問題ない
今気づいたけど「ウェブアーカイブ」が何を指すかの認識の違いだね
@ ウェブアーカイブ → アーカイブのサービス (digital archive or archive site)
A ウェブアーカイブ → アーカイブ技術 (web archive or web archiving)
アーカイブ技術という意味で使っても良いかと思う
>>78-79
window.open()の後ろにeval()付けたり、void()の引数にしたり、
未定義値を返したいだけなのに方法がバラバラ。
同じ人が作ったにしては変な話だな。 公式が公開しているものをコピペしたのも含まれてるのかな
67 名前:192.168.0.774
投稿日:2019/04/09(火) 02:14:18.12 ID:Xrq4p9iW0
結局wikiはどこに作るんだ
atwikiかwikiwiki辺りか?
69 名前:192.168.0.774
投稿日:2019/04/09(火) 07:35:20.06 ID:aX1j4Hrw0
MediaWiki 一択でしょ
↑
まずここから考えよう
シーサーブログのシーサーウィキというのもあるらしいが。
Seesaa Wiki(シーサーウィキ)とはシーサー
株式会社が運営するレンタルウィキサービスである。
@wiki(あっとうぃき、atwiki)とは、和歌山県の有限会社アット
フリークスが提供するレンタルウィキ。2ちゃんねる掲示板のパート
スレッド(パートスレ)まとめに用いられることが多い。
(以上ウィキペディアより)
ミクシィもSNSはお荷物事業だからそろそろたたむ準備してそうだな
相変わらずパソコン初心者感が満載
おかげさまで、パクりの寄せ集めを「作った」と詐称しても
その不自然さに気付けないという
>>113
この流れだと、セットアップ済みのレンタルWikiの方が無難だと思うよ 使えりゃ何でも良いから不自然だろうが気にしないけどな
使ってて問題がありゃ自分で作り直すまでだ
>>115
>セットアップ済みのレンタルWikiの方が無難
確かにな、一からサーバ立てて設定しなきゃいけないWikiだと結局グダりそうだ
そうなるとポピュラーなatwikiあたりかな ShoutWiki なら無料で MediaWiki 使えるね
とりあえず有能な人が来るまではこれでいいでしょ
>>104
「総合」を付けることを発案した者です
単に「ウェブアーカイブ」というとIAやArchive.is等のウェブサービスを使うことを連想している人が多かったようなので、
ウェブアーカイブはそれだけじゃないよ、wget等のツールや自作ソフトを使うのも立派なウェブアーカイブなんだよ、ということを強調したかった
そして、IA専用スレやウェブ魚拓スレで扱われないウェブアーカイブ技術関連の話題の受け皿にしたかった
>>105の言う通り認識にズレがあるみたいだね >>126
126名無しさん@お腹いっぱい。2019/04/06(土) 09:24:43.110
インターネット遺産のアーカイブ系総合スレみたいなところってどこ?
そういうところは5chに無いのかな
総合ってはじめに使い出したのは俺なんだけどな >>127
すまん、ここのスレタイを考えたのは自分だったので思い違いをしてた 日本だとウェブアーカイブは著作権侵害(犯罪)になるからこのスレ危ないよね?
逮捕されたくないので消えます
実際その辺は心配ではある
弁護士に聞いてもやめとけで終わりそう
個人でDLしての私的利用ならアリなのかな
とりあえずツール中心の紹介にとどめておくべきかもね
ちゃんと説明すると、非親告罪化された著作物は金銭的な利益が絡むものに限られてるので、
大体のウェブアーカイブの場合問答無用で捕まることはないはず(多分)
あと著作権法に抵触するのはウェブアーカイブを無断で公開した場合のみであって、
各個人でサイトを保存して私的に取っておくこと自体は違法でもなんでもない
Archive Team経由でInternet Archiveにデータを寄付してしまえば日本の法律では手が出せないはず
削除依頼無視でもしない限りは大丈夫なんじゃないの
アーカイブしたサイトに違法なコンテンツがあったらどうなるかわからんけど
>>134
そうなんだよね
パッと見完全にアウトなサービスだけどちゃんと続いてるってことは、上手くやれば訴訟を起こされるようなことにはならないってことだし
それにあそこの運営は企業だから、事業の一つにもなりうるってことでもある Shoutwikiでサイト立てるのは誰がやる?
暇だったら自分がやってたんだが正直管理業務とかやってる余裕がない
いっそ最初はwikiじゃなくて各々が個人サイトとかブログで情報まとめたりしてそれらのサイトをリスト化すればいいんじゃないか
>>138
全員が個人サイトやらブログやらを持っている訳じゃないし、持ってても手間がかかって面倒だって人間もいるだろう
各々が直接情報を書き込んで行く方が手間がかからない
そうなると、きちんとした体制さえ構築できるのならWikiが一番良い それはわかってるけどwikiを管理する技術と時間がある人いるのかって話なんすわ・・・
wikiが必要なほどの量の情報が集まるのかが疑問
アーカイブに関することと言ってもツールの使い方を翻訳するくらいしかできないだろう
本格的なアーカイブ作業をするのならArchiveTeamに入るべき
日本支部を作るにしても結局はArchiveTeam本部の力が必要
日本のサイトは英語圏から見逃されやすいから日本人の注目を集めることでArchiveTeamに貢献することもできるかもしれない
ただし本当に技術がある人は既に英語圏のコミュニティに参加しているからどれほど効果があるかは分からない
それは確かになぁ
正直>>115がやれば良いんじゃないかという感じがする ArchiveTeamって多くの日本人は入りづらい所があると思うんだ
だからArchiveTeam本部と一般の日本人ネットユーザーの架け橋になるような組織はあって損はないと思う
ArchiveTeamのサイトにはアーカイブについての知見がまとめられているから、MediaWikiなんて大仰なものが必要かは疑問ではあるけど、
彼らの知見を翻訳して日本人向けに公開する場所はそれなりに有意義じゃないだろうか
とりあえず最初はgoogleドキュメントみたいな手軽なところでやってみれば
日本でウェブアーカイブというと既存のウェブサービスを利用するイメージが強いからね
英語コミュニティで活動する日本人エンジニアはある程度いるが、そうした人の中でもウェブアーカイブについて詳しい人はそんなにいないと思うよ
英語コミュニティで活動する日本人エンジニアで、ウェブアーカイブについて詳しい人は結構いると思うが
ウェブアーカイブに関する活動に多くのリソースを使おうと考える人は非常に少ないだろうね
ウェブアーカイブ専門の日本人は、国内コミュニティ・英語コミュニティ問わずかなり少ない
機械学習用のデータ収集やWebサービスの構築などの目的で、クローラを動かしてスクレイピングすることはエンジニアの間でかなり一般的になってきた感じがある
(ウェブアーカイブについての知識があるエンジニアにはこういう事をやってる人が多い)
でもそれは「データ収集手段としての保存」であって、ウェブアーカイブという「目的としての保存」を専門にしている人はほんの一握りよ
Webスクレイピングは仕事になるけどWebアーカイブは仕事にならんものな
専門家が少ないのも道理
結局サイトはどうするよ
Googleドキュメントはお手軽だけど検索エンジンで見つからないし、Wikiサービスがいいと思う
Wikiの選択肢はatwikiかShoutWikiになるのかな
完全に人が消えてるな
>>74の予言が順調に実現して来てて笑う ネット上のデータを残し続けることに皆そこまで意義感じてないんじゃね
全部のリンクたどると凄い数になる。
数が多いと絞り込むのも大変だし、応答なしになるし、全部処理するということ自体出来るのか?と不安になるくらい次から次へとアドレスが出てくる。
過去に処理したやつ除外すれば…と思ったがかえって遅くなった。
あとURLが一部壊れてしまうのも原因不明。
あまりにも膨大で途方もないから
大抵の人は投げてしまうのさ
昔に比べてネット人口が増えたけど、PCユーザー自体は減ってるんじゃ無いかと…
法人向けは売れてるだろうけど一般家庭はスマホばっかりでPC減ってるでしょ
旗を揚げられる人間がいないだけなんじゃないかとも思うけどね
知識とやる気が揃ってなきゃできねぇ
俺は白旗なら掲げられるぞ
何をそんなに困ってるのかわからない
後は WebRecoder + ipwb を簡単にできたらおっけーじゃないの?
>>161
ログを読もう
端的に言うとやらなきゃいけない事が多い割に率先して出来る人間がいない >>161
それだけでおっけーじゃないから皆こうやって話し合ってるのよ テラバイトを溜めこむ、デジタルゴミ屋敷に棲むデータホーダーたち
https://www.gizmodo.jp/2019/05/digitalhoarder.html
断捨離にコンマリ。
そんなテクニックを使いでもしなければ、人は一度手にいれたものは、どうにも手放したくない
生き物のよう。
形ある物は必ず壊れる、諸行無常の響きはインターネットの世界でも鳴りわたっているようです。
わたしはハードディスクはかならずひとつ外付けを使ってデータをローカルと外付けの2回ずつ
保存しているんですよね。いまはそれはNASに変わりましたが、以前はDVDに焼いて保存したり、
FTPを使ったり、クラウドが台頭するようになってからはクラウドも多用していますが、どうも
クラウドもソーシャルメディアも永遠の存在ではなさそう。
今回は米Gizmodoで組んでいる「ゴミ」特集のひとつを翻訳しました。外部ジャーナリストのSteven
Melendezの書き下ろしです。ちょっと長いですが考えさられる内容。ぜひ、じっくりとご覧ください。 gizmodoが世間からどういう評価を受けてるかわかった上でそれ貼ってるの?
腐れTwitter.5chまとめサイトよりマシ程度
どちらかというと >>164 はアーカイブに対してポジティブな記事だよ
ちょっと煽り気味の釣りタイトルだけどちゃんとアーカイビストの偉業を紹介してる
素直に褒めたくない意地悪さがにじみ出てるけどね 大量のアーカイブを管理するには個人だと限界があるわな
団体を作って分担作業し、出来ることならInternet Archiveのように社会的信用を得ないといけない
>>162
実はスレがたったときから居て1から読んでるんだよなぁ
記事少し作るだけでここまで悩む不思議
>>74 の未来を変えるために降臨したのに そもそもIPFSで本当に良いのかって話になったまま議論が止まってたはず
そこからArchive Team Japan的なものを作ろうじゃないかって話になって、そんなものに貢献できる日本人はもう本家に行ってるだろって話になって、
日本人でウェブアーカイブやってる人自体少数だよねって話になって、結局グダグダになって現在に至る
まず5ch自体オワコンだから人が集まるはずないよな
それ
5chで集められる人数なんてたかが知れてるから、外部サイト作ってTwitterとかで広めないとキツい
優秀なエンジニアはTwitterにかなり集ってるし、関心を持ってもらえれば良いんだが
https://u1.getuploader.com/irvn/download/1657
web2IAWBM.dms ver0.000.007 WayBackMachineに保存 (web.archive.org) 2019/05/14
web2IAWBM.dmsはIrvineとDorothy2を使ってInternet Archive WayBack Machineに自動登録(保存)するためのスクリプトです。
自動で全てのリンクをたどって保存してくれるはずです。
web2IAWBM.dmsは素人が作った物なので至らない点も多々ありますが、
一応使える水準になったと思われるので公開します。
無料のウィルススキャンはしましたが、念のためもう一度スキャンされることをお勧めします。
同梱のDorothy2(の一部)は別の方が作った物です。
■ Irvine初回起動前に必ず jwordフォルダを削除してください。■
動作試験環境:windows10pro Irvine1.3.1 >>175
Internet Archiveスレでも情報共有しとけ
手動Save Pages Now以外の方法を知らない人達ばかりだから相当喜ばれるぞ Yahooブログアーカイブ活動スレより引用
0031 Trackback(774) 2019/05/18 14:30:36
yahooブログは「記事がありません」のページで404を返すのだが、web2IAWBM.dmsが404のページを解析できなくてリンクをたどれていない可能性がある。
ブラウザでは普通にリンクをたどれる。
ID:l5DCkLS9
サイトごとにやってると分かるけど、途中で止まってることがよくあるから、
終わったらブラウザで確認した方が良い。
サーバーエラー出てる間のは保存されてないのに緑のチェックマークで成功扱いになるから注意して
ニュース記事は2ページ目以降が保存されていないことが多いよな。
魚拓も、1ページ目を保存しただけでは、2ページ目以降は保存されないよな?
パッと見保存されているように見える
>>191
あぁまたか、あそこは良く DNS から消える。
でもサーバはしっかり生きてるんだな、これが。 GASにアーカイヴ作業させられないかな
10分おきに起動
ニュース記事みたらSave Pageするのが習慣になってきた。
同一のIPからの連続取得は制限されています。
同一のIPから24時間に60回以上の取得は出来ません。
一日に間隔をあけて数回アーカイブするくらいなら何とかなるのでは
誰か試して見てくれ
>>198
基本的にCUIで操作するものなので注意
自分でリンクを辿るのではなく、アーカイブするURLのリストを読み込ませる方式らしい
HTMLやWARCはもちろん、画像やPDFでの出力にも対応してるのが便利そう [JavaScript] Wayback Machine Script - Pastebin.com
https://pastebin.com/ZxryGY8F
Automatically save the page you visited (or all links you can see) to "Wayback Machine".
試していないので使えるかどうかはわからない getASFstreamも実行ファイルがIAから削除されてるな。
getASFstreamはVectorのが生きてたからまだ平気か。
アーカイブできないデータの筆頭がオンラインゲーム・ブラウザゲーム・ソーシャルゲームだよねえ
昔流行ったフラッシュはアドレス直打ちSavePageNowで保存できたけどゲームは分からん。
Wayback Machineやたら重いんだけど
時間帯によるもの?
スクリプト走らせてる人が70人近くいるはずだし重くなっても不思議は無い。
保存されているかを確認するために実際に開いて確認してから保存している。
同じページを何度も確認していたなんてこともあると思う。
ここの住人にYahooブログをアーカイブしてほしい
異様に書き込み減ったし多分みんな保存してる。
個別にURL指定してくれれば優先する。
ジオシティーズの時のようにURal収集フォームみたいなのがあれば便利なんだけどな
質問です。
Wayback Machineを使って、見たかったサイトは見つかったのですが、画像はありませんでした。
その画像を見つけることはもうできないのでしょうか?
GASは程度にもよるが増やしすぎるとすぐこうなる。思ったより使えない。
> サービスで 1 日に使用しているコンピュータ時間が長すぎます
>>217
そうなんですか、残念ですがありがとうございます ロリコンはネトウヨ
女叩きしてるのはBBA
DQNも何方かと言えばネトウヨ色が強い
5chとネット上で、金魚の糞を巻き散らかしてるのはコイツら
改憲なんてしてもアメリカが作った自作自演の戦争に巻き込まれて戦争犯罪に加担するだけじゃん。
愛国者なら9条改正には反対しないと。どこの国も上層部は裏で繋がっている、つまり中国韓国ロシアはアメリカと通じていて、本当の敵はアメリカの中にいる。
敵国条項は残っているんだから日本がちょっとでも怪しい動きしたらロシア中国韓国アメリカから攻撃されて今度こそ日本無くなるぞ。
そして、緊急事態条項は独裁完成法。
独裁完成したら安倍晋三が死ぬまで安倍政権が続くぞ。
>>175のやつ最近のログ見たら保存されてないのに保存済みと表示されて保存してないURLある事に気付いた。
IA側が仕様変更したのか? >>223
Show Allでは確かにキャプチャーがあるのに、それを開くとHrm.で表示できない。 閉鎖がアナウンスされてるサービスについては、
Wikipediaから参考文献などとしてリンクを貼られているサイト、Twitterでシェアされているサイトを優先してアーカイブした方がいい
ジオシティーズの時もこの方式が取られてたと思う
Yahooブログのアーカイブを考えてる人がいたら参考にしてくれ
>>222
アドブロックが普及しすぎて、ブログサービスはどこも儲かっていないらしい。 >>226
スマートフォンだと余り普及して無いけど、
スマートフォンでブログやる人って少ないのかな… >>230
今のところ1768個の記事があるらしい 情報が古くても需要がありそうなのは
小説・漫画・映画のレビュー・考察サイト
ゲーム関係のサイト(攻略サイト・レビューサイトなど)
Web小説
あたりか
アーカイブしたいサイトがある時、どうやって保存するの?
Winなら巡集みたいなソフト使ってやるの? Macではターミナル?
>>237
Windowsしか書いてないけど、macで行ける? Macはもってないので分からない。
>>175のやつWindowsでも機能していない可能性がある。保存されたって出てるけど実際は保存されていないとか。 ワイ「古い車買ったろ。整備は大変そうやけど、ネットには先人の知恵がいっぱいや」
1 :名無しさん@おーぷん:19/09/27(金)23:31:11 ID:2JG主 ×
ジオシティーズ「ん?」
ディオン「んん?」
ニフティー「んんん?」
2:名無しさん@おーぷん:19/09/27(金)23:31:38 ID:2JG主 ×
先人の知恵、消える
3:名無しさん@おーぷん:19/09/27(金)23:31:46 ID:6EZ ×
しゃーない
5:名無しさん@おーぷん:19/09/27(金)23:32:30 ID:cUL ×
悲しいなぁ…
各アーカイブサービスの検索機能が優秀なら良いんだけどな
保存してもそれを探し出せないなら死蔵と変わらんな
無料ソフトウェアのサイトは保存されてても実行ファイルを含むzipファイルは保存されていません。
可能な限り保存します。
>>242
単にアーカイブしたファイルの中身に対して検索を行えるかどうかの話。
それを優秀などという語でしか表現できない貧弱なボキャブラリー。 Googleとかで「 site:web.archive.org」を付けて検索するのが現実的かと。
wikiうんぬんの話が出ているので、いくつか使ったことがあるから書いておくけど
atwiki SeesaaWiki FC2wiki などはそれぞれ記法が独特でバックアップが取れない
atwikiは特に仕様がころころ変わる上に不具合発生率も高くて、書き込みだけに集中できないし
アカウントを削除してもサーバーからデーターが完全削除されないみたい
pukiwiki/pukiwiki plusベースのところはdumpデーターは取得できるけど
運営が個人だったり個人で会社を作ってやっているところはその人がどうにかなると連絡が取れなくなる
それでもサーバーやドメインが維持されいるとサービスは利用できるけど
ある日突然使えなくなることがある
コンテンツ制作側としてのバックアップの話をここでやってどーするの。
個人サイトで無料/有料に関わらず共用サーバーを使っている場合
サーバー管理会社によってサーバーのスペック変更が行われると
サービスが終了していなくてもサイトが閲覧不可になることがあるよね
PHP5.3までしか対応していないものを使ってサイト運営をしているのに
サーバー側がPHP7.2にしちゃったとか
サーバーを丸ごと交換してデフォルトがUTF-8になったのに
サイトのほうでcharsetを指定していないとか
DBのバージョンが上がってデーターが呼び出せなくなった
等の理由で、閲覧が困難になるケース
閲覧しに行って真っ白だったり文字化けしていたりするのはこの辺の理由
そういやPukiWikiのサイトをInternetArchiveで保存させる場合、
一覧ページから数階層分のURLを掘って、その全URLに/save/リクエストを
発行すれば完了だろうな。
適当なツールが無ければIrvineとメモ帳のテキスト置換機能を使えばよい。
ソースのバックアップの話はスレチ。
このスレで使うwikiが消滅する場合の対策の話じゃないの。
>>244
人の揚げ足取る暇があったらアーカイブしろ だいたいページ内容の走査だけで検索機能実装しても優秀とは到底言えないからな
検索エンジンサービスのようにページランク等を考慮して初めて、優秀というかようやく使いものになる
アーカイブサービスのように膨大な数のページを検索しなきゃいけない場合は、そういったアルゴリズムの必要性がさらに高まる
こういう話をいちいちするのが面倒だから話を全部ひっくるめて「優秀」の一語で表現した
これで満足か?
ページランクは固有名詞に近いからランキングアルゴリズムと言うべきだったかもしれない
クソリプが跋扈するツイッターや人口の多い他の5ch板ならまだしも、
このご時世にこんな専門板で、横からいきなり会話してる訳でもない相手からレスが飛んでくるとは思わなかった
随分面食らったわ
>>256
また話が出るかもしれないから一応書いておいただけ
atwiki上のサイトで差分が見れないところがあったから
archive.orgで探してみたけど
archive.orgのbotをatwikが蹴っているみたいで最近はエラーページが保存されちゃってる
意図的にそのページを残したい人がarchive.orgのアカウントを作って残す場合は別として
消えちゃったページを後からarchive.orgで探すのは難しくなっていると思うよ
クローリングの期間がだいぶ開いている
これはGoogleのキャッシュもそうだと思う
サイトを運営している人がGoogleのアカウントを取得して
Google Search Consoleからクローリングのリクエストを出して当然ってなってきているみたい >>245
実際に検索してみると分かるけど、その方法だと引っかからないアーカイブが結構あるんだよな
Googleのクローリングが追いついてないんだと思うけど 【ヤフー】Yahoo!ブログ【アーカイブ】
http://2chb.net/r/blog/1554380939/l50/
74 Trackback(774) 2019/09/30(月) 17:07:59.58ID:th5gp/Yr
Internet ArchiveでYahooブログを保存すると遷移スクリプトが発火する話なんだけど、
web.archive.org/save のページから「Save outlinks」にチェックを入れて保存すると
どうもYahooのトップページに遷移されずにアーカイブできるみたいだ
さっき偶然発見して何回か試したけど今のところ全て上手く保存されてる アメリカの図書館はもうTwitterの全保存やめたんじゃなかったか
当時の「魔法のiらんど」上で作られたサイトは現在ではほとんど残っていない。
WebArchiveでも表層しか掘れないサイトばかりである。
当時の掲示板でのやりとり等はもちろん、かのクレリアさんが自サイトに書き記していた構築解説ですらも現在は散逸してしまった。
手動で一ページずつやってもToo Many Requestsになって捗らないな。
Wayback Machineは金払うから一気に取得かアップロードさえて欲しい。
>>264
有料取得依頼みたいなんなかったっけ
最近Archive Today重いのは俺だけかい?
すぐNetwork Errorになる したらば掲示板が丸一日メンテナンスしてたみたいですな。
ジオシティーズの時もそうだったが、特定サービスのアーカイブって何だかんだ言ってかなりの時間と労力を必要とするんだよ
自分でやりたいのは山々だが、そこに労力を注ぎ込める余裕がない
なのでアーカイブをやっている人が多少は集まっているであろうここに投げた
>>270のサイトの作者と自分は何にも関係ないことは一応断っておく Yahooブログにアーカイブすべき物なんてあるのか?
単なる日常記録も多いけど、そこらのジオシティーズよりも濃い情報が詰まってるものも多いよ
自分が知ってる範囲だと、今は消えた街並みの記録や京都のマイナーな神社の訪問記、イギリスでの聖人信仰の研究サイト、ゲーム業界の裏話やゲーム攻略などがあるよ
自分が知ってる範囲のブログだけはいくつかWayback Machineに突っ込んだが、他にも有益な情報がたくさん眠ってると思うよ
Yahooブログなんて消えても誰も困らないだろうと思ってる人が結構いるみたいだが、とんでもない偏見だよ
>>270
試しにhttrackに突っ込んだら画像のリンクが取れず、
調べたら元のHTMLにはないリンクを後から生成して突っ込んでますね。。。
動的サイト嫌いです。。。 動的サイトのWebアーカイブ用クローリングとなるとHeritrix(Internet Archiveが使ってるクローラ)の出番ですね
実績もあるし高性能で拡張性もそれなりにあるものの、マシンの要求スペックが比較的高めなのが難点か
Heritrixの最低動作スペック自体はそこまで高くないよ
ただ、リッチなコンテンツを含むページをアーカイブしようとするとメモリを食うことがある
あと基本的にLinux環境しかサポートしていないので、人によっては手が出しにくいかもしれない
Windows でも動くには動きますね
しかしやたら遅い・・・
メモリ持て余してるけどストレージが足りない
ArchiveTeamWarrior的なのがあれば参加するんだけど
ArchiveTeamに常駐してる人がここにいれば捗るんだが
むしろ元のHTMLの方には正しいリンク先URLがあるんじゃないの。
それで画像取得できないだろうか
>>282
拡大すると大きめの画像のあるページってどこかありますか? >>283
「拡大すると大きめの画像のある」って言うのがどういう意味かよく分からないので、もう少し詳しく説明をお願いしたい >>284
言葉足らずですみません
Yahoo!ブログは画像をクリックすると別ページに飛んで元の大きい画像が見られるらしいのですが、
ページのimgタグに書いてある画像より、元画像の方が大きい例があるかどうかを気にしました
>>282 の「元のHTML」に元画像へのリンクがあるのか確認したかったので >>288
とりあえず一番手っ取り早い方法は、>>289のツイートに貼られてるリンク先の入力フォームから、
保存して欲しいアカウントのIDを入力して送ること
もしかしたら他にも誰かが保存プロジェクトをやってるかもしれないから要調査だな >>291
海外からのアクセスに対し 403 Forbidden エラーを返すよう
設定されているみたいですから、Internet Archive や Archive.is では
無理でしょうね。
さらにそのエラーページは他サイトへの遷移スクリプトが
埋め込んであるので、フツーの人はエラー扱いされていることすら
気付けないでしょう。
当該エラーページの HTML ソースを貼っておきます。
https://pastebin.com/Vy7uYhiK >>290
DLだけ、自分でってことはできないの? >>293
自分のPC中にアーカイブをローカルで保存することは出来ないかってこと?
Heritrixなど動的サイトを処理できるクローラを使えば問題なく出来る、出来るけどアーカイブは死蔵してたら意味が無いからね
自分だけで閲覧する用に保存しておくこともありうるけどそれはアーカイブとは言えない
ArchiveTeamが収集したファイルはWayback Machineに登録されるようになってるので、そういう意味では安全 最近のToday
Current Running Warrior Project: Yahoo! Groups
Yahoo GroupsはYahooブログとは全くの別サービスだから早とちりすんなよ
本日のToday
人いねえもの
呼び掛けが不十分だとこうなってしまう
>>272 >>294
リンク構造維持できて程々の容量に収まるなら分割rarやzipに纏めてもらってもいい。
今は低速スマホしか使う余裕無くなったから巡集やWeboxみたいな取り込みアプリで一括アーカイブ化するのも無理だし
読売の縮刷版CD/DVDなんかは1年分で12万もするし ネットサービス企業は、スマホからの収益がメインやから、
PCだけに成ったら大倒産時代や
色々と話がとっ散らかって来たな
>>306からして何が言いたいのか今一つ要領を得ない geocitiesのアーカイブサイトは複数ある様だけどYahoo!ブログも有る?
>>312
Yahooブログスレの方にも載ってないから今のところないんじゃないかな Archive.TodayはグーグルやBingのキャッシュを保存した場合でも原本URLを認識できるのが素晴らしい。
archive.todayのTwitterの魚拓がモバイル版にならなくなった?
アカウントは新UI、ツイートは旧PC用UI
>>315
それどころかアカウントの魚拓がかなり下の方までスクロールされた状態で保存されるようになった
つまり1回の魚拓でかなりたくさんのツイートが保存されるようになった
いいね >>314
検索で出ないことあるからやっぱ微妙だった Webサイトの保存ってみんなどうやってしてるの?
このスレにすでに書いてたらすまん
Scheduled Maintenance
The Internet Archive's sites are offline for scheduled maintenance and upgrades.
Please check our twitter feed @internetarchive for updates.
Sorry for the inconvenience.
Yahooボックスってサービス終了して無かったのか…
>>328
魔法のiらんど はまだ存在しているのかw >>331-332
すみません、反映するまで時間が掛かってただけのようです
順調に保存が進みました 上の保存出来たと思ったら何も変わってなかった
もう訳が解らん、個人的にローカルへ残す事にします・・・
最近財政難を表明してからInternet Archiveはやけに不安定だからなあ
Internet Archiveのシステムはページをクロールする部分とクロールしたページを表示する部分に分かれてるんだけど、最近は後者の部分がやけに不安定だったりする
閲覧できてないだけで実は保存できてたりすることもあるけど、不安ならオフラインコピーや他のアーカイブサイトを使うといい
まあ財政難表明する以前からちょくちょく不安定になることはあったんだけど、最近は不安定になる頻度がやたら高くなってきてる
保存されるアーカイブの量にリソースが追いついてないらしい
Geocitiesのときはいくつかブックマークから追加したけどiらんどはなかったよ・・・
Wayback Machine ツイッターが簡単に登録できなくなったね
try againになる
ウェブ魚拓にロボット扱いされるようになった。
手動でやってるのに。
と思ったらReCaptcha導入でgyo.tc/urlまでもが廃止されたのかよ。
ReCaptchaの画面に飛ばしてくれればいいだけなのに。
タイトル画像詐欺になってるがな。
右下のリキャプチャマーク表示されてから5秒数えてから押せばいけるっぽい?
Internet Archiveはアーカイブ実行用クローラ(Heritrix)と
保存したアーカイブの専用ビューワ(Wayback)を組み合わせて動いてるんで、
保存したアーカイブがサーバ不調で一時的に見られなくなってても、
アーカイブさえきちんと出来てればそのうち問題なく見られるようになる
>>344
本当ですね!
さっき見てみたら復旧されたようでちゃんと保存できてました! アーカイヴトゥデイがGoogleキャッシュだけでなくBingキャッシュも原本と関連付けてくれれば神なんだが。
大住:僕は父親が来て、探偵ファイルをやめるべき理由を膨大に書き連ね
「これ以上やるなら親子関係を考えざるを得ない」と結んだ手紙を置いていきました。
wwwwwwwww
Mが九つ…これはリッジレーサーのあの曲ですねぇ…間違い無い
削除されたなろう小説や Wayback Machineでも見れないサイトを見たいなあ
レビューサイトや攻略サイトはどんなに古くても価値があると思う
Todayにリキャプチャ付いた。かわりに画像単体のキャプチャができるようになっていた。
archive.today (archive.is)
URLがいくつもあるわけだが
archive.today
archive.is
archive.li
archive.fo
archive.vn
archive.md
archive.ph
ひとつがサーバーダウンしている時には
他のURLも使えないのかどうか。
>>355
> 「DLsite blog」
そんなブログサービスがあるということを今はじめて知った >>351
そう簡単に常識が変わるわけではないジャンルだしな >>360
外資は儲からないと判断するとすぐ撤退する傾向が強いからなあ。不安。 「誹謗中傷の証拠取得用に」と謳った「Twitter魚拓」なるWebサービスが出来てバズってるが、
やってることは単にスクショ撮ってimgurに上げるだけらしい
スクショはブラウザの開発者機能でいくらでも改竄できるし、
これならArchive.isの方がずっと優秀だな
スクショに法的な証拠能力ってあるのかな
>>361
買収先は確かTwitter非公式クライアントの開発チームじゃなかったっけ
儲からないのは織り込み済みじゃないかな? Twitter魚拓に画像ハッシュを電子署名で埋め込む機能がやっと付いたらしい
結局画像を撮る前の段階で偽造可能なのはどうしようもないけど
archive todayの魚拓検索でURL以外の文字列入力すると
Googleのカスタム検索経由で全文検索できるようになってるな
Googleのやつより見やすいな
日本語で書いてあるせいか?
149 名前:名無しさん@ggmatome :2020/06/24(水) 19:41:32 ID:GJp4RZxo0
Adobe Flash Playerの2020年末サービス終了は、古いゲームの公式サイトとかに影響が出そう
ArchiveTeamがなんかやってるかなと思ったけどまだ動いてないっぽい
Flashの保存活動やってる人自体はいるよ
ArchiveTeamが動いてないだけかと
This URL has been excluded from the Wayback Machine.のサイトも掘り出したいわね
naverブランドじゃ将来性見えないもんな
かといってヤフー、ラインブランドに変えてまでやるほどでもないし
>>373
いちいちブロックしてたらキリがないなろう系サイトはともかく
こういうドメインは一部のサイトだけ見れないように緩和してほしいわ Webサイト保存してる人はなに使ってる?
自分は巡集とWebsite Explorerを使ってる
>>371
ちなみにFlash のアーカイブって何やるの? >>374
ほぼコピペしか無いサイトだからオリジナルのデータは少なそう… >>379
8割方はどうでもいいコピペまとめなんだけど、これを個人サイトみたいに使ってる人や、真っ当な有益情報をまとめてくれてる人もいるんだよね
そういった情報が消えるのはもったいないし、今後困る人がいそう 来年から新しい著作権法が施行されるらしいけど、
ウェブ魚拓とかの古いデータが、削除されたりしないか少し心配
ウェブ魚拓は削除申請来たらバンバン消してるらしいから今更感ある
archive.todayやInternet Archiveは著作権の前にサーバ処理が追いつくのか心配
NAVERまとめだけじゃ無くLINEノベルも終了か…
ソフトバンクグループ特有のサービス終了ラッシュ
ヤフーと合併するってことはこういうことだ
米国のヤフーがその典型で、買収した企業やサービスはことごとく閉鎖させてるしね
潰したい企業を買収してからわざと潰すっていう性格の悪い投資家の話聞いたことがあるけど
まさかヤフーがそれだったりしないよな
>>351
変則将棋とかのニッチすぎるカードゲームやボードゲームのサイトもだね 保存する価値が特に高いサイト
(時間が経っても役に立たなくなることがまずないため)
レビューサイト
ゲーム攻略サイト
ボードゲーム・カードゲーム関係(ただしTCGなどは除く)
タロット占いなどの占い系
料理レシピ・裁縫などの家事系
旅行・探検系も含めていいかも
あと災害etcで現存しない場所の訪問記とか
ついでに暇つぶしにネット検索してたら
ocn1.netなるサイトを発見した
こういう魚拓系サイトってエロ動画とか保存いけんの?
ocn1.netってサーバー名だったのかサイト名ではなかったのか
キューブのへやは一通り保存しといたけど他にもいっぱいあるやん
検索サイトにアーカイブが引っ掛かる又はWeb Archiveに保存されてる以外だと実質的な消滅に等しい
> お知らせです。Neverまとめ終了に伴い、【実走!酷道・険道のまとめ】についても、終了させることにしました。
>2013年以来、約7年間のご利用有難う御座いました。
>道路ネタについては、引き続きツイートしていきます。どうぞ、宜しくお願いします。
twitter.com/kendou774/status/1286852266280890368
https://twitter.com/5chan_nel (5ch newer account) ウェイバックでアーカイブしたNAVERまとめ記事でページ移動しようとすると
URLにgrid=falseっていうパラメータが追加されるみたい
誰か原因わかる人いる?
このせいでせっかくアーカイブしても2ページ目以降が参照できない問題が起きてしまう
>>404
自分が取ったアーカイブはそんな症状は出てないな
その問題が出たアーカイブのURLを教えてくれんか >>405
例えばこのまとめのアーカイブ
2159020990876963301
2ページ目のボタンを押すとこのページに移動してエラー
2159020990876963301?page=2&grid=false
何度か試すと通常通りのページが表示される時もあるようで、今一どういう条件で発生するのかわからない >>406
そのまとめではエラーにならなかったが、別の複数のまとめでエラー発動したわ
条件は全然分からないな 最近/save/の後にURLつけてブラウザで踏んで保存しようとするととんでもなく時間かかるようになってるんだけど
もっと早く保存する方法ないかな
>>408
同じく
しかもちゃんと保存できてるかどうかも怪しい これ使えんの?
175 名前:py ◆o3kzHb/in8w0 [sage] 投稿日:2019/05/14(火) 19:06:58.64 ID:cP8wStLG0
https://u1.getuploader.com/irvn/download/1657
web2IAWBM.dms ver0.000.007 WayBackMachineに保存 (web.archive.org) 2019/05/14
web2IAWBM.dmsはIrvineとDorothy2を使ってInternet Archive WayBack Machineに自動登録(保存)するためのスクリプトです。
自動で全てのリンクをたどって保存してくれるはずです。
web2IAWBM.dmsは素人が作った物なので至らない点も多々ありますが、
一応使える水準になったと思われるので公開します。
無料のウィルススキャンはしましたが、念のためもう一度スキャンされることをお勧めします。
同梱のDorothy2(の一部)は別の方が作った物です。
■ Irvine初回起動前に必ず jwordフォルダを削除してください。■
動作試験環境:windows10pro Irvine1.3.1 >>410
自分で使ってみては?
レビューしてくれ >>412
理解した
このところ/save/にURL繋げて直接保存させるのやってないから分からんけど、
ブラウザのsave page nowのフォームから保存するときとは色々処理が違うのかもね
最近Waybackの調子が特に良くないらしいから多分サーバ自体の問題だとは思うけど Naverまとめを色々漁ってたらネット上で出回ってるコラの元画像・出典を集めたやつがあった
単なる宣伝まとめに完全汚染される前は、こういう地味だけど役立つまとめを書く人がそこそこいたんだけどな...
00年代から10年代のインターネットの残滓みたいな側面もあっただけに惜しい話だ
ArchiveTeamにどうにかして持っていきたい
昔のエロゲーとか普通の深夜アニメとかの公式サイトで保存されていないページが時々ある
Googleマップの埋め込みはArchiveTodayで録れる
動画を保存するならメタデータを含めた上で普通にダウンロードした方がいい
トップページは見れるけど細かい中身までは保存されてないのか見れないことが多いわね 特に画像や動画は死んでる
さくらインターネット専用サーバ
2020年11月30日で全て終了
>>421
古い専用サーバだけが対象
>この度、1997年6月より提供開始した「専用サーバ」および2007年1月より提供開始した「専用サーバ Platform Ad / St」につきまして、
>2020年11月をもちまして、サービスを終了いたします。
>これらサービスは、サービス開始から10年以上の期間が経過しており、今後、保守部材の確保ができず、サービス継続が困難な状況でございます。
>さくらの専用サーバ(2012年2月 提供開始 〜 現在申込受付)」はサービス終了の対象ではございません。
https://server.sakura.ad.jp/dedicated_server_end/ >>422
既に消えてるページあるよ
エロゲの回想未収録エロを個別セーブデータで対応してくれてたサイトとか
まあlzhの脆弱性騒動でlzh書庫セーブデータはsなしhttp,xp,win7締め出しみたいにサーバ側に既に全消去されてたけど
http://daidokoro.sakura.ne.jp/data/eroge_data.htm
http://web.archive.org/web/20180430112946/http://daidokoro.sakura.ne.jp:80/data/eroge_data.htm
NGワード引っかかったから、気になるなら半角にテキストエディタかなんかで変換して サービス終了のお知らせ
長らくのご利用まことにありがとうございます。
大変恐れ入りますが、当サービスは2020年9月末をもって終了させていただきます。
mobile space
携帯(ケータイ)無料ホームページ提供フリーサイト「MobileSpace(モバスペ)」
http://m-space.jp/ Naverまとめのバックアップしてる有志いないかー?
自分も最近バックアップしてるんだがURL集めとかどこにすればいいかわからない
>>404
それはしゃあない、NAVERまとめは2ページ以降のURLも規則的だから、そこは見る側がインターネットアーカイブからURLをいじってアーカイブを見る方法しかないと思う
2ページ以降のURLがわかる以上アーカイブするにあたってそこまで気にしなくてもいい 将来役に立つか分らんけど書いとく
Naverまとめは2ページ目以降のURL末尾が
@: ?page=ページ番号
A: ?&page=ページ番号
の2パターンあるので注意
通常であれば2ページ目→@、3ページ目以降→Aのパターンで保存されてるはず(だが例外もある)
あとはこの辺 >>404 >>406 とりあえず作ったからURL集めここにしないか?
NAVERの終了近づいてるから立てといた
https://jbbs.shitaraba.net/internet/25479/
5chだと多量URLは規制くらうし、かといっていちいちGeoLogみたいなURL集め場作るのもあれだし
したらばはGoogle検索ひっかかるししたらば自体もアーカイブできるから万が一にも備えられるしURL保管庫としては優秀
後から集めたURLにタイトルつけてスレ立てすれば後世代の人がググって見つけられる可能性が出てくるのが大きい
他にサービス終了候補出たらここにスレ立ててURL集める感じで >>429
乙
汎用的に使えるし次スレからここのテンプレに入れた方がいいな
>>429は念の為にトリップ付けてしたらばと5ch両方に書き込んでおくと良いかも
したらばと5ch(&おーぷん2ch)とではトリップの生成アルゴリズムが違うらしく同じ名前でも違うトリップになるけど、とりあえずでも管理人だという証明がある方が何かと安心だしね 150万記事くらいURLかき集めてタイトルとページ数もセットで保存してあるよ
ArchiveTeamにも先月渡したんだけどどうやら忙しいらしくて動きがない
>>432
ArchiveTeamに渡すってことはインターネットアーカイブには保存できてないってこと? >>433
ArchiveTeamが保存したサイトはWayback Machineにアップロードされて、最終的にちゃんとInternet Archiveに保存される仕組みになってる >>432
150万はすごいな、何を使って収集したのか気になる
あとArchiveTeamとのコンタクトってどうやって取ったん?
サイトの説明を色々読んでるけど窓口が見つからない >>434
いや、そういう意味ではなくArchiveTeamの動きないってことはインターネットアーカイブに保存できてないんじゃないかってこと
もしインターネットアーカイブに現時点で保存できなくて、ArchiveTeamに動きなければ>>432がローカルで保存できてない限り9月30日を迎えたらそれも無駄になる >>436
なるほどな、確かにArchiveTeamに動きがなかったら保存されないね
ArchiveTeamが今どういう状況なのかがよく分からないんだけど、本当にNAVERまとめは一切手付かずなのかな? >>437
いろいろ保存してるけど本当に2ページ以降はクロールされてないよ
クローラーの仕様でGoogle検索に出る1ページだけは保存されるけど
だから人力で保存されてる記事はあんまりないね >>438
もう自分でクローラソフト動かしてローカルに保存した方が安心じゃね?
ネットのデータなんて今じゃいつ消えるか分からない
もうバックアップのバックアップ(調子悪くてバックアップ後に取り外したHDDに入れっぱなしのデータ等)くらいのオマケ
アーカイブサイトに保存して安心してたら見られなくなってて、
txtでちょっとメモした断片的情報しか手元に残ってなくて絶望したわ >>439
確かにそれもそうだし愛読書のごとく読むようなウェブページはpdf化してるけどさ
やはりローカル保存じゃ限界がある、数万記事とか保存しようものならHDD持たないし
それにアーカイブに保存する理由はみんなが見れるからね、知恵袋や古い2chの過去ログ見ててそこのリンクがリンク切れになっても大丈夫なようにある
インターネットアーカイブが消えるときってやっぱり削除要請に応じてるからなのかな
今のところ自分で保存した記事で消えた経験はないが、削除要請以外の自動削除はないと信じたい ちなみにArchivetodayや他の魚拓サイトは個人経営らしいから経営者が死んだらサーバー更新できず見られなくなるから、そこに大事なものがあればローカル保存したほうがいい、数十年後に見られなくなってる可能性あるし
やはり数百年後の人類に情報を残すなら法人経営のインターネットアーカイブ
>>439
そうなんだよなあ
前にインターネットアーカイブで閲覧してた削除済みのサイトが
「This URL has been excluded from the Wayback Machine」で
見られなくなってしまってローカルに保存していなくて今も後悔してるわ
前は見られていた分ショックがでかい
こういうのってドメイン再取得した人が解除申請出すしかまた見られる
方法ないのかね?
これって「完全に削除」されたわけじゃなくて単純に「除外」された状態らしいから >>442
除外したってことはやっぱりサーバーの容量不足とかじゃなくて要請に応えただけか
サービス終了とかじゃなくてそのページがあると都合が悪いからって意図的に消してるのはローカル保存しかないと思うよ
俺は何回も読むサイトは1ページだけならpdf化してる
さすがに保存対象のURLが何個もあるサイトを全部やるのは面倒だけど
ドメイン再取得していけるかはわからんけど管理者であったことを証明しないとさすがに難しいんじゃないか?でも今の管理者ではダメとも限らないしなー >>443
クローラソフトで.mhtやindex.html等で階層いくつ潜るか設定してクロールすればいいじゃん >>443
>>444
微妙なラインだよなー
ぶっちゃけるとそのサイトはジオシティーズドメインのページで、ジオシティーズの
URLは普通にアーカイブ何万も保存されてて見られるんだけど、そのドメインのサイトは
除外されてるんだよな
自分はそもそもの管理者じゃなくてそのページのファンで、もしまた見られるなら
自分が読んで楽しみたいだけなんだけど、やっぱ厳しいかもしれんな ArchiveTeamがNAVERまとめのアーカイブ作業に取り組み始めてくれてたみたい
進捗はわからないけど、これでひとまず安心かな
漏れもあるだろうから重要なページは各自で保存する必要があるけどね
>>435
pythonでスクリプト組んで収集した
ArchiveTeamはIRCを使って活動してる
サイトの#から始まるリンクをクリックすれば各プロジェクトに対応したチャットルームに行けるよ
コマンド入力でクローラ操作してる人がいるArchiveBotの部屋が活発なイメージ >>446
なるほど、どうもありがとう
ArchiveTeamが動いてくれたなら最悪の事態は避けられるはずだな...
もちろん>>432(446)の収集したURLあってこその事だから自分も見習わないといけないが NAVERまとめデータ共有
csvデータ(URL, ページ数, タイトル)記事数:1472709, 更新日昇順, 192 MB
https://web.archive.org/web/20200913150754if_/https://transfer.notkiska.pw/r9mfn/NAVER_matome_article_list.csv
※収集後に更新されたことでタイトル、ページ数が異なったり削除されていたりする可能性あり
トピック一覧ページから収集したからトピックが設定されてない記事は1つも収集できてない >>448
503エラーのページがアーカイブされているんだが ごめんなさい。恥ずかしいのですがarchiveteamって何ですか?
Wayback Machineが一時的に落ちてただけだった
何回かリロードしたらちゃんとダウンロード出来たわ、すまん
>>454
Braveいいよね特にスマホ
ポイントサイトで乞食活動やるよか割もいいし 今更NAVERまとめをローカルに落とそうとしているのだが
Website Explorer・WinHTTrack・Cyotek WebCopy
はうまくいかず(設定ミスがあるのか?)
NAVER&FC2まとめダウンローダ
http://shimarisu.webcrow.jp/naver_matome.html
は画像もhtmlも一応取れるのだがhtmlにダウンロードした画像
はリンクされてない。
後はmhtとpdfぐらいしか無く……
他の人はどのようにローカルに落としているのでしょうか? そもそもローカルに落としてないな...
Wayback Machineに頼ってる
Naverまとめはほぼバックアップされてるっぽいから安心した
ただNaverのトピックのアーカイブの表示がいろいろおかしい、まったく違う記事名出たりする
どうやらNaver側はURLの大文字と小文字を区別してるのにウェイバックマシン側では区別してないから発生するバグっぽい
トピック見れなかったら別の時間のアーカイブ参照すると見れることがある
例えばトピックのIDがaaabbの場合IDがAaaBbやAAABBの別トピックもウェイバックマシン側がaaabbとして扱うから収集された時間で記事が混在する
2ページ以降のトピック表示は2ページ目の存在による
aaabbにだけ2ページ目以降が存在すればaaabbしか表示されない、他のIDにもあると2ページ以降も混在状態になる
aaabbに2ページ目がなくてAaaBbにある場合もURLいじったりして2ページ以降行くとAaaBbの2ページ目が表示される
NAVERまとめ共有データの中を特定のワードで検索してそこのまとめにアクセスして所属トピック押せばある程度好きなトピックに飛べるから有効に使えると思ったけど少し難ありか
記事にはまったく関係ないから大丈夫、トピックURLが英数字5文字で大文字小文字の違いで別ID扱いされる仕様により起きてるだけだから
記事の中身のURLで個別化されている部分は全部数字だから大丈夫
ツイッターを見ているとNAVERまとめがなくなったことを喜んでる人結構多いし、
何なら「あんなの保存しとく価値はない」みたいな意見も見受けられる
でも、アーカイブが必要かどうかを判断するのは現在生きている自分たちじゃなく将来の人々だと思うんだよね
自分もYahooブログが終わった時は「あんなの保存したってしょうがないだろう」と思っていた側だったんだけど、サ終してしばらく経ったある時、
自分の専門分野に関するとある重要な記録がYahooブログ上で公開されていたらしいこと、
なおかつブログ主が亡くなっていて再公開の見込みもないこと、
そしてどこにもそのアーカイブが残っていないらしいことが判明して、かなり後悔した事があった
これはあくまで一例に過ぎないけども、とにかくWebアーカイブを取る必要があるかどうかは取る側の人間ですら判断できるものじゃないんだと思うわ
長文&自分語りすまない
しかしまあNAVERまとめをブログ代わりに使ってた人結構多かったみたいだな
>>459
バカッターなんて結論決まってて後押し(確証バイアス)がほしい時だけ見るもんだよ
今回のなんて馬鹿は想像力も共感力も低くて他人の痛みが分からないから見るだけ無駄だったわけだし >>461
確かにそれはそういうものなのかもしれないな ArchiveTeamのリソースほんとすごいな...
so-netが終了したらまた古のインターネットが色々消えるな
So-netブログはSeesaaに成ったからブログ以外か…
so-netのURL収集を始めることにしました
知っているURLがあれば追加してください
現時点でユーザー名単位で2万程度、個別URLでは300万くらいDBに入ってます
https://geolog.mydns.jp/so-net/
特にJavaScript等から呼び出されるファイル群は網羅が難しいので、何か良い手があれば >>469
日本語版ウィキペディアの外部リンクから2000個ほど抽出したんですが、スクリプトでの送信とかって受け付けてます?
(既に収集済みのものとだいぶ被りがありそうですが) >>470
特に制限はしてないですが、処理速度的に現実的ではない気がするので、
フォームを改行区切りで複数受け付けられるように直したいと思います geocitiesのときはそれなりに貢献できたけど今回はブクマ見てもso-netなかったわ・・・
削除済み動画を全部リストアップして、動画説明文/タイトル/コメントなどの情報を取得していく感じか
コメントに関してはXML形式で取得する手法があったような気がする
マイメモリー機能は使ったことないから分からん
sm1から順に数字をカウントアップしていけばいいのかな
>>472
検索で引っかかったサイトは送信した
WaybackMachineにも保存できないかな >>478
Google検索なんて糞化が酷くてもう使ってないからどーでもいい 世界一使われてる検索エンジンだしな
個人の好みとしてはGoogleが何をしたってどうでもいいとしても、
影響力を考えると決して無視はできないよ
数年前からネットサーフィン=スマホに成ったからなぁ…
Google 絶対じゃなくなったんであまり件数ヒットしない検索ワードは Bing や Yandex 併用だよ。
>>477
誰かがArchiveTeamにURLリスト渡してくれれば多分保存できる
NAVERまとめの時はアーカイブ開始までに1ヶ月くらいかかったから保存したい場合は早めに相談したほうがいいかも wgetでWARC.GZファイルを書き出したとき画像ファイルとかも格納される?
どなたかご存知だったらお願いします
>>485
WARCは画像ファイルや音声ファイルも含めてページを丸ごと保存する仕組みになっているから、
--page-requisitesオプションを付けて確実に画像がダウンロードされるように指定すれば、ちゃんと画像が格納されるはず >>487
ありがとです
--page-requisitesがうまく反映されてなかったみたいでした コロナ騒動の最中に消えていったお店のサイトも手動で保存している。
>>469 を使ってみた
URLをページ内検索で探したらなかったのに、送信するとDBにあると出た...
ページ内検索がダメなのかな
あと、文字化けしているところがあるけど大丈夫なのかな >>491
どのURLでしょう?
ロジック上は文字コードを考慮していないので、文字化けはそのせいかもしれないです
一応UTF-8のはずなんですが そこってサイトによって取れたり取れなかったりしない?
>>493
そこって消える前のフリーウェアとかアーカイブ出来ないクソじゃね >>496
自分の目的が果たせないものをクソ扱いするのは幼稚だからやめような
フリーウェアはInternet Archiveに持っていくとか、
証拠に使うから削除されたくないものは削除申請が通りにくいarchive.today使うとか、
各サービスを使い分けるのがより無難だよ 「Yahoo!ライフマガジン」サービス終了のお知らせ
この度「Yahoo!ライフマガジン」は、2021年3月31日(水)をもちまして、サービスを終了させていただくことになりました。
記事コンテンツは、引き続き「Yahoo! MAP」アプリ上でご覧いただけます。
これまで長きにわたりご利用いただき、ありがとうございました。
もっと早く情報投げて貰えればドメイン失効前にどうにか出来たのに
>>502
[[特別:統計]]によると記事だけで17,306個もあるみたい
Botとかで一度にエクスポートできるの? >>503
勘違いしてた。一度にできる方法があるのか chakuwikiスレにこのスレッドのURLを書くだけ書いてきた
どうなるか分からないけどwiki teamに伝えておいた
今調べてくれてるらしい
SSLの問題で通常のwikiのダンプツールが機能しないらしい
詳しい人いますか?
すまんアーカイブの準備がある程度できたらしい
wiki team
>>515
Internet ArchiveのSave Page Nowで'Job failed'とか出るということなら、それはInternet Archive側の内部エラーだからどうにもならない >>512
アーカイブ対象はIPで保存しているようだけど
Wayback Machineにはドメイン名でアクセスできるのでしょうか? >>517
無理なはず
アーカイブをした対象のURLがIPアドレスであるならば、Wayback MachineにもIPアドレスのまま保存されます
chakuwiki側がドメインを改めてIPに紐づけた上で、もう一度アーカイブを取り直すしかないです >>507
archive.org にサイト指定してarchive bot走らせること依頼出来るの知らんかった
ニコニコ実況もできたのかな >>515
さっきそのページ試してみたけど普通に取れましたよ
多分chakuwikiかInternet Archiveのどちらかでたまたま内部エラーが起きたんじゃないかと思う >>521
全て保存できてます
507氏の申請により、海外のArchiveTeamという非営利団体がbotをぶん回して現在進行系でアーカイブを取ってくれてます
ArchiveTeamのbotが収集したデータはInternet Archive上に移管されるようになっているので、わざわざ手動でアーカイブ取る意味は薄いです chakuwikiのAWSの契約がいつ切れるか分からない以上、時間との戦いって感じかね
保存対象として読み込まれてるリソースの数は現時点で総計173万個
さすがに1ヶ月後までには終わってると思うんだけど心配だな
>>507
>>522
ありがとうございます。
因みにそのアーカイブサイト上のChakuwikiページはどちらになるか、わかりますでしょうか。 >>525
反映される時期は不明だけどWayback Machineから
https://52.69.139.163/ で始まるURLで検索すれば閲覧できるようになるよ
ちなみに保存されたルートはアーカイブされたページの右上にあるAbout this captureを押せばわかる
Live Web Proxy Crawlsは一般人が通常通り手動で保存した場合で、Archive teamとかだったらbot経由で保存されてる
少なくともChakuwiki関係者の誰かがドメイン取って
Chakuwiki.netから52.69.139.163に転送するようにすればつながるのかな?
確かサイト移転どかで転送する際はアーカイブでも転送してくれたっけ?
>>527
そこまで至れり尽くせりではない
Internet Archiveがドメインの名前解決をしてくれるわけじゃないので、
新しくドメインを取ったところで、52.69.139.163で取られたアーカイブには転送されない https://blog.nicovideo.jp/niconews/141893.html
2021年の春までにニコニコ動画の削除跡地の動画タイトル、説明文、コメントが消えるらしいので
どうにかしてアーカイブを取りたい
ただ、保存ツールはNicomentXenoglossiaが使いやすいんだけど、
アクセス制限の関係上1時間で250件くらいしか落とせないから全削除動画を落とすのは現実的じゃない
仕方ないからコメントは諦めて動画タイトルと説明文だけでも視聴ページからアーカイブしたいと思ったんだけど、
今年に入ってから削除動画は非ログイン状態だと一切表示できなくなってるんだよね…
ArchiveTeamはログイン状態でアーカイブすることって出来るんですか? >>526
ありがとうございます。
こちらのスレの皆様には本当に助けていただきました。
ありがとうございました。 >>530
今の機械翻訳は優秀だし、日本の教育水準はなんだかんだ高いから、
高校まで真面目に英語やってれば大学でサボってても機械翻訳のおかしなところ微調整で長文も余裕 このスレへの書き込みのみを見る限り、chakuwikiはこのスレが建ってから初めて大規模アーカイブにまで持ち込めた案件ってことになるのかな
実際に依頼したのは>>507ではあるけど でも情報をここに書き込んでくれた>>499がいなかったらそもそもArchiveTeamへの連絡にこぎつけることもできなかった訳だしな 連絡しなくてもサイト全体をダウンロードする方法を書いてくれた人もいるのに、
ここの住民は知識だけで人に任せるしかできず、初めからやる気がないんだろ
>>536
上で書かれてるサイト全体をアーカイブする方法は、主に使ってる技術とサイトの規模の問題で全く使い物にならない
ArchiveTeamは実績も知見も関係各所へのコネもあるところなので、
大規模なサイトを対象にする場合はあそこの力を借りるしかない
こういう言い方はしたくないが、知識もなければ自前でクローラ回したこともない癖にイチャモン付けないで欲しいわ >>537
個人でやれる事なんてせいぜい大型個人サイトまでだもんね
wikiみたく大勢が集まって作っていくようなのは漏れが出やすいしね ジオシティーズもGeoLogプロジェクトが半年くらいかけて収集してたけど、ArchiveTeamはその10倍くらいの量を60%くらいの時間で処理してた記憶
>>531
自分も保存したいと思ってた
IRCログだとアクセス間隔を開けないといけないという話で終わっている気がするけどどうなるんだろう‥
とりあえず具体的な日程が出次第即IRC側に報告しよう お尋ねしたいんですが、Webarchiveで一度アーカイブされていて、
きちんとその状況が確認できていたものが、
アーカイブから消されることってあるのでしょうか。
因みにアーカイブしていたのはChakuwikiの一部ページです。
前からたまになかったっけ?このスレでも上の方で何度か言われてたような
>>543
そのサイトの運営者(chakuwikiで言えば亡くなった創設者の人)は、自分がそのサイトの運営者だという証拠を提出した上でアーカイブの削除を要請できる
この要請が通れば、Internet Archiveから既存のアーカイブが削除されるようになっている
chakuwikiに関してはおそらくそういう心配はないと思う
可能性があるとしたら遺族が削除申請を出すことかな あとInternet Archiveのサーバはよく不具合を起こす
これのせいで、ちゃんと取れているはずのアーカイブが一時的に見れなくなったり、
アーカイブはちゃんと取れているのに、まだ取られていないという誤った表示が出てきたりすることがある
多分だけど>>543はその不具合にたまたま遭遇したんだと思う
これはInternet Archiveのサーバ内部の問題なので、こちらが取れる対処法はない
サーバの調子が良くなってまた見れるようになるのを待つしかない 借井戸に「今週月曜日に取ったはずのアーカイブがごっそり消えている」って報告があったけど、
これは>>546で説明したサーバ不具合の典型的症状やね... Chakuwikiのアーカイブについて
https://52.69.139.163/index.php/
のドメインで今アーカイブをとっているのですが、"()"の他に"!"や"&"がURLに入っているページもWayback Machineではうまく保存できないことが判明しました
(archive.todayでは保存できたのですが…) >>548
もしかしてAPIでチェックしてる?
APIでは一部記号(自分が確認出来たのは"&")が入ってるとアーカイブされててもレスポンスが空の不具合がある
カレンダー側では問題なく確認出来るよ 今日Chakuwikiのアーカイブを見て回ったら多くのページが保存されていました。
少なくとも普通に閲覧に支障がないレベルでアーカイブ化が完了しております。
@wikiとか?
〜wikiとかwiki系で攻略wiki作ってるの多いよね
atwiki系のサイトがサービス終了したら影響大きいだろうな
ランス10みたく色んなwikiに情報あるならまだマシだけど、
攻略サイト作成者や利用者が声がデカイ一部の一強厨にゴリ押しされて、
2番手移行を併合しようとするような流れになったら困る
分かれてるのは作成者とその周辺と気が合わないというのもあるだろうけど、
いつ消えるか分からないこのご時世、何かあった時のための避難所0では無保険過ぎて不安だし
chakuwiki、とうとうサーバ自体が消えたっぽい
もうちょっと早めに分かってればなぁ
Mediawkiの機能を使った記事や画像のエクスポート自体は完了しているらしいのが不幸中の幸いかな
>>552
HTMLで書かれた個人サイトも忘れずに 今時個人サイトのゲーム攻略は絶滅危惧種でしょ
だからこそ保存しなきゃいけない訳だが
>>561
ぶっちゃけエロゲ攻略サイト以外の個人ゲーム攻略サイトなくね?w
どーでもいい、スクショもない感想サイトや呟きレベルならあるけど >>562
昔はエロゲ以外のゲームのやつも結構あったんだよ
だからこそ「絶滅危惧種」って言った訳 Wayback machine がFlashをアーカイブして2021年以降も使えるようになるって本当?
Wayback MachineでアーカイブされているサイトのFlashで作られたメニューって2021年以降に見られるのかな?
調べてもよくわからない…
若干スレチかもしれないけどどこに書けばいいのかわからないので
ニコニコ動画の「テクノ」の記事に貼ってあった
http://techno.org/electronic-music-guide/
このサイト、とても参考になるけど全体がFlashで出来ていて、ローカルに保存したswfでもRuffleを使ってみても(今のところ)きちんと動かなくて
このままじゃ来年見られ無くなっちゃうから元のサイト(www.di.fm)の方にFlash以外での形式で公開してほしいって伝えたいけど自分には英語力がない…
誰か英語のできる人が伝えてほしい >>568
568です
ニコニコ動画→ニコニコ大百科の間違いでした >>568
よく分からないけどこのサイトってどこかの法人が運営してるものっぽいね
他のページは更新されてるのにこれはFlashのまま放棄されているあたり、運営側としても更新する予定はないんだと思うけど あと、依頼するならここよりもテクノ系の5chスレッドを探して書き込んだ方がいいと思うよ
>>565
有名なものならあるようですね
もっと増えて欲しいな だいたい再現ってのはコメントの一部を消すってことじゃなくてコンマ以下の秒数とか表示位置が若干変わるってことじゃないかな?
過去のコメントアートが楽しめなくなるってことだから結局よろしくないんだけど
削除動画のコメントについてはArchiveTeamに依頼しようとしてた人いたよね
どうなったんだろう
>>559
アフィで原住民ともめた曰く付きが管理人 2ch(5ch)が閉鎖されたら過去ログはどこかアーカイブしてるのかな
>>579
ある程度は既にアーカイブされてるんじゃないだろうか
まあ閉鎖が発表されたら誰かがアーカイブプロジェクト立ち上げるだろうけど そもそも昔から2ch過去ログサイトはいっぱいあるよね
まあ最近見ないから消えたかもしれんけど
過去ログサイトとウェブアーカイブってちょっと違うような気はする
まあWayback Machineに入ってないスレは沢山あるだろうね
ニコ動そのものがサービス終了したら動画のアーカイブはどうなるんだろう
やっぱりArchiveTeamかな
動画データってアーカイブ可能なの!?
じゃあ…Pornhubのデータは…
>>585
一般に動画のアーカイブは技術的に難しい
ストリーミング配信の動画なんかは特に難しい 動画ダウンローダあるんだからアーカイブ自体は可能
無劣化は無理っぽいけど
mp4のまま丸々上げてるサイトなら別だけど普通は無理だよ
自分でダウンロードして動画のアーカイブの方にアップロードするしかない
そりゃ情弱には無理
痛いpc雑誌読者以下の情弱っぽいし
ストリーミング形式はHeritrixも無理らしいという話は聞いたことがある
本当かは知らん
>>591
野良だからな〜
コード読める人、こういうの↓の検証頼む
【Firefox,Chrome】危険なアドオン・拡張機能の一覧を作るスレ【Edge,etc】 [無断転載禁止]©2ch.net
http://2chb.net/r/software/1483763294/33
33 名前:名無しさん@お腹いっぱい。[sage] 投稿日:2018/02/13(火) 11:00:20.51 ID:aB7Xo92Z0
ソース見てXMLHttpRequestかfetchが書いてある場合は注意した方が良い。
XMLHttpRequestかfetchはpostで情報送信できるので。manifestのパーミッションも不要だし。
拡張で情報送信できるのはこの2つの関数だけだと思う。 WayBackMachineにSo-netが追加されてた
今回は全てを取得することはできなかったみたいだがほとんどを取得できたみたい
感謝ですね
外出自粛で引きこもり増えてるんだからウェブサービス全盛かと思うのにな
サービス終了ラッシュで流れ弾のどれかに当たって鬱こもり増えそう
IPFSが普及すれば価値のある情報がもうちょっとは残りやすくなるのかな
ピン打つだけでローカルに保存できるの便利
>>596
家でもスマホって人が多数派だろうからPC向けのサービスには辛い時代 そういや自分で適当にサイト立ち上げてそこにバックアップしたいURL書き込み、してIAでsave outlinks使えば実質的にそこに書いてあるURL一括でバックアップできるよな?
save outlinksは会員限定機能で特定のページ内に書いてあるURL全部バックアップする機能
これ思いついて今までURLに置換ツールで/save/つけてクリップボード一括開きしてたのが馬鹿らしくなった
あれサーバーに負担かけるしエラーの確認だので時間とられるし
注意点としては余計なリンク作らないことだな、だからブログとかでやるのはやめたほうがいい
何回も同じリンクをバックアップするから規制される可能性もあるし、真っ白なページ作ってURL記述が最善
読取用にHTMLでURL記述する必要があるが置換ツール使うかブックマークインポート使えば簡単にできるはず
何個だったか忘れたが、save outlinksは読み込める外部リンクの数に上限があったはずだからそれは要注意だな
やってみたらできた
URLの一覧をHTMLコードに変換してホームページ作成サイトにアップロードしてからそのリンクをバックアップ
save outlinksでバックアップできるURLは100個が限界で100個超えてたらランダムに選ばれるみたいだから要注意
FC2ホームページ使うと最後にPowered by FC2ホームページ っていうリンクが強制で1つ最後に入ってしまうから実質は99個が限界かな
完全に真っ白なページ(広告もなし)作れれば理想なんだがどっかないかな、ちなみにAndroidスマホをWebサーバー化したらバックアップ時にエラーが出た
>>602
GitHub PagesかNetlify使ったら?
前者はGitの知識がないと厳しいから実質後者一択かな >>603
なるほど、やってみたけどやはり手軽なのはFC2だな、indexファイル含めたフォルダごとアップロードしないといけないのは地味に手間だ
FC2はファイルマネージャーにドラッグドロップするだけでアクセスできるようになるからかなり時間効率はいい
複数バックアップのリスクもこれ見る限りでは大丈夫そうではあるな
ただ複数ファイル最初からアップロードするならNetlify使ってやったほうがやりやすいかもね
100ジャストだから数えやすいし
URLに/ファイル名 つけるだけでまとめてアップロードしたhtmlにはアクセス可能
とりあえずまとめてバックアップしてみたけど上限の100個でも問題なくできるね
特定のURLがずっとSavingが続く場合は画面のURLをバックアップ成功したの含めて全部コピーしてメモ帳に貼り付けしてサクラエディタとかで「Done!」が入ってる行を一括削除処理するとバックアップできてないURLだけメモ帳に残せる
そしたらサクラエディタで/web/2/付け足して数日経ったらまとめて開いて保存できてるか確認、一見ずっとsavingになってても後で確認したら保存できてる可能性が高い、バックアップできてなければ再度バックアップ
これで、手間がだいぶ減る
あとFC2ホームページは日本語の入ってるURLは文字化けするね、netlifyは特に何も設定しなくても文字化けはしない あと、これやるならsave error pagesのチェックは毎回外したほうがいいかも
大量にやるとバックアップされる側が一時重くなるのもあるから404ページが保存されてしまうかもしれない
ゲームやりながらほぼ放置でURL1600個バックアップできた、一度に100個保存できるのは革命だな
やはりsave error pagesのチェック外すのは必須、結構高い頻度でgatewayエラー出るから
多くて100個中5個くらい、出るときはだいたい1.2個エラーになる
チェック外しておくとwaybackmahineがどのURLがエラーで保存できなかったか通知してくれるからそれは手動で個別にバックアップ
>>608
さすがに大量のリンクをアーカイブするのはSPN側のキャパもあるだろうしArchiveTeamに頼んでSPNじゃないところでアーカイブしたほうがいいと思う。
じゃないとSPNのサービス縮小、最悪の場合はSPN終了になりかねない
ArchiveTeamのIRCでDeepl翻訳とか使って言うと対応してくれるらしいので
https://webirc.hackint.org/#irc://irc.hackint.org/#archiveteam-bs Save Page Nowあんまり使いすぎてSPN自体が無くなったらどうしようもないから、自分はSPNでアーカイブする量をセーブしてる
多くても週300くらい
>>609
Save outlinks自体が大量バックアップしてくれっていうような機能だし大丈夫じゃないか?
ブログとかだったら意図的じゃなくても1ページ50リンク以上あるとかザラだし、大量バックアップ推奨してなかったらあんな機能普通つけないよ
個人的に無会員で大量にタブ開いてバックアップするのが一番負担かけるやり方だと思うわ、それよりはかなり負担少ないように感じる
save outlinksが会員限定機能な以上邪魔になったらアカウント制限しにくるだけ、何個も重複してバックアップとか意図的に負担かけるようなことしなければ平気だとは思うけど、ただしやりすぎは禁物かもね
あと正直archive teamは画像のバックアップを正常にとれないみたいだから画像ありきのページだと正直依頼するには微妙かもしれない、Naverまとめとか画像まともに表示されてないものが多い、手動で保存したものはしっかり表示される
waybackmachineの自動クロールも画像保存されないことある、手動だとやはり保存される
負担減らしたいならバックアップ済はバックアップしないってチェック項目あればいいのにね 別に問題ないと思うよ
よく負荷がどうこうっていうけど、個人サイトじゃあるまいし影響は無い
>>614
■ 実施スケジュール
実施日時 実施内容
2021年3月1日(月)
過去ログ機能の変更
過去ログのURL共有機能を提供
2021年3月15日(月)
削除された動画へのコメント投稿とコメント表示の終了
- 動画タイトルや説明文などの情報も表示されなくなります
マイメモリー機能の提供を終了
- マイメモリーの新規作成や、 既存マイメモリーの視聴ができなくなります
2021年 春以降
動画コメントサーバーを新コメントサーバーに順次リニューアル
2021年リニューアル
完了後
動画投稿一覧などに表示される最新コメントに、投稿者用NG設定を適用
「コメント投稿ユーザーをNG登録」する機能の効果を永続化
自分が投稿したコメントを削除できるように outlinksとGoogleSpreadsheetのバッチ処理が使える。
iRONNA終了
> 2014年10月にスタートした総合オピニオンサイト「iRONNA」は、
> 諸般の事情により2021年3月下旬をもって新規コンテンツの公開を終了することになりました。(中略)
> 尚、終了後もこれまでのiRONNAのコンテンツが閲覧できる環境を維持するための態勢構築を進めています。(後略)
https://ironna.jp/article/16883
閲覧は維持してくれるらしいので緊急性はない。 せっかくwaybackmachineでアーカイブしたのに、どうアーカイブされているか見ようとしたら別の日にアーカイブされたものに飛ばされてしまった。
少し待たないとダメな感じ?
基本少し待って確認だけどそれでも反映されてなかったり、反映されてるけど取れてなかったりする。
ここ最近は調子悪いからしばらく様子見たほうがいいよ
この前読んだ漫画に、WaybackMachineを使っているシーンがあった
1コマ程度だけど
最近ニコ動の調子が悪いのはこれのせいなの?
落とすようなのはリスクあるから自分とこのIPではあまりやりたくないな…
割と可能性はあるな
【3/1 0時追記】動画が視聴できない不具合など【調査中・ニコニコ動画】
連日の不具合につき、ご利用の皆様にご不便をおかけし、大変申し訳ございません。
本不具合について、海外からの通常の量ではないアクセスにより、引き起こされております。
現在、さらなる原因調査と、追加の対応を行っております。
不具合発生時間
2021年2月28日(日) 06:06頃〜
https://blog.nicovideo.jp/niconews/148255.html >>630
間隔を1秒たりとも空けてないとは思わなかった
プルリクエストした方がええんかな
ArchiveTeam側に連絡取れるようならあちら側で対処してもらうよう依頼した方が良さそうかな 今気付いたがアーカイブする対象の動画はどういう指定になってるんだろう
sm+数字連番とかで指定されているようならnmはどうなるんだ
間隔なしでアクセスしてたのか
連絡できる方お願いします
意図的に止めたか、UserAgentとかでブロックされたか
今日archive.isでページを保存しようとしたら
「One more step
Please complete the security check to access archive.is」という画面になった
(そのページのURLは�https://archive.is/submit/”、あと”私はロボットではありません”っていうのも出てくる)
こうなるのはなぜ? >>637
ボットからのアクセスからじゃないかをチェックするため
「私はロボットではありません」ってボックスをクリックかタップするとボットでは無いことを証明出来る