From: Kaoru Yamashita <kaoru@is.toyo-eng.co.jp>
Real-Date: Wed, 31 Aug 94 23:44:53 +0900
Subject: [infotalk,01905] Re: [Q] What is "robots.txt"?
Message-Id: <9408311444.AA27484@ebi.is.toyo-eng.co.jp>
東洋エンジニアリングの山下です。
森脇＠東大情報科学 さん writes:
> 全く別の場所(イギリスとアメリカ)から、
> GET /robots.txt HTTP/1.0
> というリクエストがありました。
www.toyo-eng.co.jp でも、これまでに 4つのホスト(イギリス、アメリカ x 2、
フランス)から、同じリクエストが来ています。
> そこで質問なのですが、この"robots.txt" とは一体なんでしょうか？
> もしWWW 探検 robot/spiderが訪問してきたとか、そういうことでしたら、
> それなりに歓迎してあげたいのですが(^_^)。
便乗質問になってしまいますが、私もこのリクエストが何なのかを
知りたいと思います。また、htdocs/robots.txt を用意することは、
ひょっとしてお約束なのでしょうか？
東洋エンジニアリング 産業システム事業本部
産業システム研究所 情報基盤研究グループ
山下 薫 (平社員)
Tel: 0474-54-1991 Fax: 0474-54-1767
E-mail: kaoru@is.toyo-eng.co.jp (postmaster)
URL: http://www.toyo-eng.co.jp/
郵政省: 〒275 千葉県習志野市茜浜2-8-1
From: Jun-ichiro Itoh <itojun@mt.cs.keio.ac.jp>
Real-Date: Wed, 31 Aug 1994 23:39:03 +0900
Subject: [infotalk,01904] Re: [Q] What is "robots.txt"?
Message-Id: <19579.778343943@mt.cs.keio.ac.jp>
いとぢゅん@けいおうやがみです。
On Wed, 31 Aug 94 23:10:05 +0900, MORIWAKI Satoshi (森脇敏) <moriwaki@is.s.u-tokyo.ac.jp> said:
moriwaki> WWWサーバーの管理をしているのですが、全く別の場所(イギリスとアメリカ)
moriwaki> から、
moriwaki> GET /robots.txt HTTP/1.0
moriwaki> というリクエストがありました。
moriwaki> そこで質問なのですが、この"robots.txt" とは一体なんでしょうか？
私も是非知りたいです。
「これはなんかのsecurity holeを狙っているのでは」と思って心配
していたところです(robots.txtって名前のファイル取ったくらいで
なんかできるとは思いませんけども、ねぇ)。
とりあえず、私の見た範囲のlogをつけておきます。
--
いとぢゅん@mt.cs.keio.ac.jp(伊藤純一郎)
where do we come from? what are we? where are we going?
---www.csl.sony.co.jp
beta.Xerox.COM - - [01/Aug/1994:05:27:23 +0900] "GET /robots.txt HTTP/1.0" 404 248
DALLAS.MT.CS.CMU.EDU - - [08/Aug/1994:19:39:18 +0900] "GET /robots.txt HTTP/1.0" 404 248
halsoft.com - - [13/Aug/1994:06:50:53 +0900] "GET /robots.txt HTTP/1.0" 404 248
halsoft.com - - [13/Aug/1994:16:48:28 +0900] "GET /robots.txt HTTP/1.0" 404 248
pentland.stir.ac.uk - - [23/Aug/1994:17:02:17 +0900] "GET /robots.txt HTTP/1.0" 404 248
halsoft.com - - [23/Aug/1994:21:05:23 +0900] "GET /robots.txt HTTP/1.0" 404 248
From: MORIWAKI Satoshi (森脇敏) <moriwaki@is.s.u-tokyo.ac.jp>
Real-Date: Wed, 31 Aug 94 23:09:55 +0900
Subject: [infotalk,01903] [Q] What is "robots.txt"?
Message-Id: <9408311409.AA03540@tje13.is.s.u-tokyo.ac.jp>
森脇＠東大情報科学と申します。
WWWサーバーの管理をしているのですが、全く別の場所(イギリスとアメリカ)
から、
GET /robots.txt HTTP/1.0
というリクエストがありました。
そこで質問なのですが、この"robots.txt" とは一体なんでしょうか？
学内の方々のお話では、他のサーバーにもしばしば来るリクエストなのだそう
です。
現在は、この名前のfileを用意していませんので、errorが出てしまうのです
が、やはり、robots.txt というファイルは用意するべきなのでしょうか。そ
れとも無視するのがよいでしょうか？
みなさんはどうされておられますか？
もしWWW 探検 robot/spiderが訪問してきたとか、そういうことでしたら、
それなりに歓迎してあげたいのですが(^_^)。
--
森脇 敏(MORIWAKI SATOSHI)
moriwaki@is.s.u-tokyo.ac.jp
東京大学理学部情報科学科４年生
http://tje12.is.s.u-tokyo.ac.jp:10000
From: Kaoru Yamashita <kaoru@is.toyo-eng.co.jp>
Real-Date: Wed, 31 Aug 94 22:59:34 +0900
Subject: [infotalk,01902] ANNOUNCE: Autumn version of www.toyo-eng.co.jp is available
Message-Id: <9408311359.AA27086@ebi.is.toyo-eng.co.jp>
東洋エンジニアリング株式会社(TEC)の WWW サーバ、
http://www.toyo-eng.co.jp/ をリニューアルしましたのでお知らせします。
変更点はあまりありませんが、NetWorld+Interop 94 Tokyo プログラムが
トップレベルのメニューから外れ、新設の「バックナンバー」のコーナーに
移動しました。幕張メッセ周辺情報は、"Chiba Bay Area Information" として
引続き提供していきます。
主要なページの URL は可能な限り変えないようにしていますが、
深い階層のページの場合は、URLが変更になっている可能性があります。
リンクを張られている場合は、チェックをお願いします。
なお、21:00 - 22:00 JST の間は、メンテナンスのため予告無しに
サービスが停止することがありますのでご注意下さい。
皆さんのアクセスをお待ちしています。
〒275 習志野市茜浜 2-8-1
東洋エンジニアリング株式会社 産業システム研究所
亀井 朗, kamei@is.toyo-eng.co.jp
山下 薫, kaoru@is.toyo-eng.co.jp
Tel: 0474-54-1991
Fax: 0474-54-1767