add document

Author: mhaya

docs/operation/change_crawlerlist.md

@@ -0,0 +1,131 @@
+# クローラリストの変更
+
+## 前提条件
+
+従来のJAIRO Cloudクローラリスト（https://bitbucket.org/niijp/jairo-crawler-list)を
+COUNTER Robots(https://github.com/atmire/COUNTER-Robots/tree/master)のような正規表現を含むリストに変更する。
+
+IPアドレスリストは以下の様に正規表現で記述する。
+
+```
+^1\.1\.1\.1$
+^11\.11\.11\.11$
+```
+
+新しいリストのURLは現状のリストとは異なるものと想定する。
+
+以下手順では旧クローラリストを以下とする。
+
+https://bitbucket.org/niijp/jairo-crawler-list/raw/master/JAIRO_Crawler-List_ip_blacklist.txt
+https://bitbucket.org/niijp/jairo-crawler-list/raw/master/JAIRO_Crawler-List_useragent.txt
+
+
+また、新クローラリストを以下とする。
+
+https://bitbucket.org/niijp/jairo-crawler-list/raw/master/JAIRO_Crawler-List_ip_blacklist_new.txt
+https://bitbucket.org/niijp/jairo-crawler-list/raw/master/JAIRO_Crawler-List_useragent_new.txt
+
+また、RedisキーのTTLは 86400 秒とする。
+
+## 事前作業
+
+### Redisに事前にキーを設定する
+
+新旧の環境がクローラリストを参照できるようにする。
+
+まずはじめに、redisに新クローラリストの値を設定する。
+
+値は正規表現をパイプ（|）でつなぎ合わせた文字列となる。
+
+具体的なイメージとしては、以下のような正規表現があった場合、
+
+```
+^1\.1\.1\.1$
+^11\.11\.11\.11$
+```
+
+以下のような文字列を作成する。
+
+```
+^1\.1\.1\.1$|^11\.11\.11\.11$
+```
+
+登録のイメージは以下の通りとなる。
+
+```
+SET "https://bitbucket.org/niijp/jairo-crawler-list/raw/master/JAIRO_Crawler-List_ip_blacklist_new.txt" "^1\.1\.1\.1$|^11\.11\.11\.11$"
+SET "https://bitbucket.org/niijp/jairo-crawler-list/raw/master/JAIRO_Crawler-List_useragent_new.txt" "bot|googlebot"
+```
+
+また、あわせてTTLも設定する。
+
+```
+EXPIRE "https://bitbucket.org/niijp/jairo-crawler-list/raw/master/JAIRO_Crawler-List_ip_blacklist_new.txt" 86400
+EXPIRE "https://bitbucket.org/niijp/jairo-crawler-list/raw/master/JAIRO_Crawler-List_useragent_new.txt" 86400
+```
+
+最後に旧クローラリストのTTLを延長する。
+
+```
+EXPIRE "https://bitbucket.org/niijp/jairo-crawler-list/raw/master/JAIRO_Crawler-List_ip_blacklist.txt" 86400
+EXPIRE "https://bitbucket.org/niijp/jairo-crawler-list/raw/master/JAIRO_Crawler-List_useragent.txt" 86400
+```
+
+## 切り替え作業
+
+
+### 設定を変更する
+
+instance.cfg　に以下設定を追加する。
+
+```
+WEKO_ADMIN_USE_REGEX_IN_CRAWLER_LIST = True
+```
+
+### 再起動を行う
+
+
+### クローラリストを新しいものに変更する
+
+管理画面（/admin/loganalysissetting/）またはデータベースを直接書き換える。
+
+
+データベース調節書き換える場合は、以下クエリを参考とする。
+
+```
+UPDATE loganalysis_restricted_crawler_list SET list_url='https://bitbucket.org/niijp/jairo-crawler-list/raw/master/JAIRO_Crawler-List_ip_blacklist_new.txt' WHERE id = 1;
+UPDATE loganalysis_restricted_crawler_list SET list_url='https://bitbucket.org/niijp/jairo-crawler-list/raw/master/JAIRO_Crawler-List_useragent_new.txt' WHERE id = 2;
+```
+
+## 検証
+
+ボットによるアイテムアクセスリクエストを再現する。
+
+```
+curl -k -I -H "User-Agent: alexa" "https://localhost/records/2000001"
+```
+
+イベントキューを処理する。
+
+
+```
+invenio stats events process
+```
+
+elasticsearch の```-events-stats-record-view```インデックスのドキュメントを確認し、
+当該リクエストのis_restrictedがtrueとなっていることを確認する。
+
+クローラリストおよびIP除外リストに該当するリクエストは、
+is_restrictedがtrueとなる。
+
+## 事後処理
+
+旧クローラリストを参照する機関がなくなったら、旧クローラリストを削除する。
+
+```
+DEL "https://bitbucket.org/niijp/jairo-crawler-list/raw/master/JAIRO_Crawler-List_ip_blacklist.txt"
+DEL "https://bitbucket.org/niijp/jairo-crawler-list/raw/master/JAIRO_Crawler-List_useragent.txt"
+```
+
+
+

docs/spec/base/admin/ADMIN_14_10.md

@@ -1,14 +1,14 @@
-### ログ解析
+# ログ解析
 
-  - > 目的・用途
+## 目的・用途
 
 本機能は、リポジトリ管理者として、利用統計の集計除外とするIPアドレスとユーザエージェントを設定できる機能である
 
-  - > 利用方法
+## 利用方法
 
 【Administration \> 設定（Setting） \> ログ解析（Log Analysis）画面】にて操作を行う
 
-  - > 利用可能なロール
+## 利用可能なロール
 
 <table>
 <thead>
@@ -39,9 +39,7 @@
 </tbody>
 </table>
 
-  - > 機能内容
-
-<!-- end list -->
+## 機能内容
 
   - 利用統計の集計除外とするIPアドレスとユーザエージェントを設定する
 
@@ -125,21 +123,15 @@
 
       - 画面にてIPアドレスを削除、または共用クローラーリストを有効から無効に変更しても、一度除外されたアクセスログは集計されない
 
-<!-- end list -->
-
-  - > 関連モジュール
-
-<!-- end list -->
+## 関連モジュール
 
   - > invenio-stats：register\_events 関数にて、各インデックスに対する処理クラス、前処理を設定している
 
   - > weko-admin：画面表示と集計除外処理を定義する
 
   - > weko-redis：集計除外処理中で、Redisとの接続を管理する
 
-<!-- end list -->
-
-  - > 処理概要
+## 処理概要
 
 1\. 画面表示
 
@@ -298,7 +290,7 @@
 
 <!-- end list -->
 
-  - > 更新履歴
+## 更新履歴
 
 <table>
 <thead>