Logs - AWSログ転送のサンプル

OpsRamp Logsでは、Amazon Kinesis Data Firehoseを使用し、CloudWatch logsに集約されたAWSのログを取り込むことができます。

 

設定方法

Infrastructure > Logs 画面左上のハンバーガーマークのLog Configuration > AWSをご参照ください。
Amazon Kinesis Data FirehoseおよびClouldWatch logsでSubscription Filterの設定が必要になります。

  • Amazon Kinesis Data Firehoseの設定
     Amazon Kinesis Data Firehoseを作成し、「Choose source and destination」で「Source」および「Destination」を選択します。
    Source Direct PUT
    Destination HTTP Endpoint

    httpsqiita-image-store.s3.ap-northeast-1.amazonaws.com0234493987468130-5305-f099-0b16-10e7e5028316.png?ixlib=rb-4.0.0&auto=format&gi

    「Destination settings」で「HTTP endpoint URL」および「Content ending」を設定します。

    HTTP endpoint URL OpsRampの設定画面に表示されたURL
    Content encoding Not enbaled

    httpsqiita-image-store.s3.ap-northeast-1.amazonaws.com023449394959a3ac-a7d8-f1af-1078-ef050371b6c3.png?ixlib=rb-4.0.0&auto=format&gi

  • CloudWatch logsの設定
    AWSコンソールでCloudWatch > Logs > Log groupsから対象のロググループに対し、Subscription Filterを設定します。
    対象のロググループを選択し、Actions > Subscription filters > Create Kinesis Firehose subscription filterから設定します。
    httpsqiita-image-store.s3.ap-northeast-1.amazonaws.com0234493919cfa68e-a4b8-8471-ba24-1a6b3a8debf5.png?ixlib=rb-4.0.0&auto=format&gi
    Choose destinationのKinesis Firehose delivery streamに作成したAmazon Kinesis Data Firehoseを選択します。
    httpsqiita-image-store.s3.ap-northeast-1.amazonaws.com023449399c18ff00-692e-b453-8b7a-e793e2fa66f7.png?ixlib=rb-4.0.0&auto=format&gi
    Grant permissionで、Subscription FilterがAmazon Kinesis Data Firehoseに対して書き込むためのロールを設定します。
    httpsqiita-image-store.s3.ap-northeast-1.amazonaws.com02344939f721d0c4-f900-e82b-4a97-79c387360ad7.png?ixlib=rb-4.0.0&auto=format&gi
    • Role: Trust relationships
      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Sid": "Statement1",
                  "Effect": "Allow",
                  "Principal": {
                      "Service": "logs.us-east-1.amazonaws.com"
                  },
                  "Action": "sts:AssumeRole"
              }
          ]
      }

       

    • Policy: Permissions
      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Action": [
                      "firehose:PutRecord",
                      "firehose:PutRecordBatch"
                  ],
                  "Resource": [
                      "<作成したAmazon Kinesis Data FirehoseのARN>"
                  ]
              }
          ]
      }

       


    Configure log format and filtersで、Log formatおよびSubscription filter nameに任意のフォーマットおよび名前を設定します。

    httpsqiita-image-store.s3.ap-northeast-1.amazonaws.com02344939ecd63761-1c99-c46f-30c6-42ac7e903202.png?ixlib=rb-4.0.0&auto=format&gi