艾體寶干貨 | IOTA流量分析秘籍第三招：檢測黑名單上的IP地址

IOTA 設備提供 RESTful API，允許直接訪問存儲在設備上的數據。這對于集成到各種場景中非常有用。在本例中，可以過濾當前捕獲內容中的黑名單 IP。用例可能是分析某些內部 IP 是否未傳播到特定訪問級別之外，或者某些設備是否從不應訪問的區域進行訪問。

IOTA簡介

IOTA 是一款功能強大的網絡捕獲和分析解決方案，適用于邊緣和核心網絡。IOTA 系列包括便攜式 EDGE 型號、高速 CORE 型號和 IOTA CM 集中設備管理系統。IOTA 解決方案可為分支機構、中小企業和核心網絡（如數據中心）提供快速高效的網絡分析和故障排除功能。

IOTA 設備提供 RESTful API，允許直接訪問存儲在設備上的數據。這對于集成到各種場景中非常有用。在本例中，可以過濾當前捕獲內容中的黑名單 IP。用例可能是分析某些內部 IP 是否未傳播到特定訪問級別之外，或者某些設備是否從不應訪問的區域進行訪問。

一、前提條件

• Python 編程基礎知識。
• 從 Profitap 訪問 IOTA 設備。

二、設置 IOTA 設備

1. 連接 IOTA 設備

• 將 IOTA 設備連接到要監控的網段。
• 確定正確的網段至關重要。通過目視檢查 IOTA 設備上的流量，確保在捕獲期間使用正確的網段。

2. 訪問 IOTA 網絡界面

• 打開網絡瀏覽器并輸入 IOTA 設備的 IP 地址。
  • 例如：https://（用 IOTA 設備的實際 IP 地址替換）。
• 使用正確的憑證登錄。該腳本使用的用戶名/密碼組合應允許它查看必要的信息。

3. 配置捕獲設置

• 設置用于捕獲數據包的網絡接口。
  • 從設備的 Web 界面選擇要監控的接口。
• 根據需要配置過濾器，以關注特定流量類型。
  • 您可以根據需要設置過濾器，只捕獲特定類型的流量，如 HTTP 或 FTP。

三、使用 IOTA 數據庫查詢引擎

查詢引擎允許任何用戶以機器可讀的方式與 IOTA 設備交互，以查詢元數據數據庫。用戶只需輸入用戶名/密碼，即可通過 RESTful API 訪問數據庫。

為確保敏感信息不被傳播，以及設備上的任何信息都不會被用戶篡改，建議創建一個新的特殊用戶。在本例中，創建了一個用戶名為 “apitest ”的用戶。請注意，該用戶已作為 “查看器 ”自動添加到組織中。不需要配置任何其他功能，而且該角色只允許只讀訪問，可以防止任何誤傳。

四、安全考慮

這里使用的解決方案是為使用腳本創建一個專用的用戶/密碼組合。由于建議保護 IOTA 的直接訪問不受任何外部干擾，并使用 HTTPS 連接，因此這樣做沒有問題。但請注意，良好的做法是確保該用戶/密碼組合不在任何其他情況下使用，并且該用戶僅具有查看器角色（新用戶默認具有該角色）。

五、檢測黑名單 IP 的 Python 腳本

import requests
import re
import time
import urllib.parse
import json
import argparse
from urllib3.exceptions import InsecureRequestWarning
 
def main():
    # CLI options
    parser = argparse.ArgumentParser(description='Compare IP blacklist files against IOTA metadata. Blacklist files must contain a list of single IPv4/IPv6 addresses or IP subnet in CIDR notation.')
    required_args = parser.add_argument_group('required')
 
    required_args.add_argument('-d', '--device_ip', help='Device IP address')
    required_args.add_argument('-i', '--infile', nargs='+', help = 'Blacklist file(s)')
    parser.add_argument('-u', '--device_username', default='admin', help='Device IP username (default: admin)')
    parser.add_argument('-p', '--device_password', default='admin', help='Device IP password (default: admin)')
    parser.add_argument('-l', '--query_time_window_s', type=int, default=600, help='Number of seconds from the current time to query IOTA metadata (default: 600)')
 
    args = parser.parse_args()
    if args.device_ip:
        iota_ip_address = args.device_ip
    if args.device_username:
        iota_username = args.device_username
    if args.device_password:
        iota_password = args.device_password
    if args.query_time_window_s:
        query_time_window_s = args.query_time_window_s
    if args.infile:
        blacklist_files = args.infile
 
    query_time_window_end = int(time.time())
    query_time_window_start = query_time_window_end - query_time_window_s
 
    results = {}
 
    session = requests.Session()
    session.auth = (iota_username, iota_password)
 
    # Suppress warnings from urllib3
    requests.packages.urllib3.disable_warnings(category=InsecureRequestWarning)
 
    # Open blacklist files, iterate over them
    for blacklist_file in blacklist_files:
        count_fail = 0
        print(f' - {blacklist_file}')
        with open(blacklist_file) as f:
            for line in f:
 
                # Skip comments or empty lines
                if re.match(r"^[;#s]", line):
                    continue
 
                # Current IP address or subnet
                ip = line.split()[0]
                print(f'   - {ip:45}', end='')
 
                # Handle CIDR subnet query
                if re.match(r"^(?:(?:(?:[0-9]{1,3}.){3}[0-9]{1,3}/[0-9]{1,2})|(?:[0-9a-fA-F:]{2,39}/[0-9]{1,2}))$", ip):
                    query = urllib.parse.quote(f"SELECT COUNT(DISTINCT FLOW_ID) AS matching_flows FROM flows.base WHERE (isIPAddressInRange(IP_SRC, '{ip}') OR isIPAddressInRange(IP_DST, '{ip}')) AND DATE_PKT_MS_FIRST >= toDateTime64({query_time_window_start}, 3) AND DATE_PKT_MS_FIRST <= toDateTime64({query_time_window_end}, 3) FORMAT JSON", safe='()*')
                    response = session.get('https://'+iota_ip_address+'/api/datasources/proxy/3/?query='+query, verify=False)
                    matching_flows = json.loads(response.content)['data'][0]['matching_flows']
 
                    if matching_flows == "0":
                        print('Ok')
                    else:
                        count_fail += 1
                        print(f'Match (flows: {matching_flows})')
 
                # Handle single IP address query
                elif re.match(r"^(?:(?:(?:[0-9]{1,3}.){3}[0-9]{1,3})|(?:[0-9a-fA-F:]{2,39}))$", ip):
                    query = urllib.parse.quote(f"SELECT COUNT(DISTINCT FLOW_ID) AS matching_flows FROM flows.base WHERE (IP_SRC = '{ip}' OR IP_DST = '{ip}') AND DATE_PKT_MS_FIRST >= toDateTime64({query_time_window_start}, 3) AND DATE_PKT_MS_FIRST <= toDateTime64({query_time_window_end}, 3) FORMAT JSON", safe='()*')
                    response = session.get('https://'+iota_ip_address+'/api/datasources/proxy/3/?query='+query, verify=False)
                    matching_flows = json.loads(response.content)['data'][0]['matching_flows']
 
                    if matching_flows == "0":
                        print('Ok')
                    else:
                        count_fail += 1
                        print(f'Match (flows: {matching_flows})')
 
                # Some unknown case
                else:
                    print('Unhandled case')
 
        # Record results after completing file
        results[blacklist_file] = count_fail
 
    # Print results
    print('nResultsn===')
    for file in results:
        print(f' - {file:47}{str(results[file])} matches')
 
if __name__ == '__main__':
    main()

六、腳本分步說明

1.導入必要的庫

import requests
import re
import time
import urllib.parse
import json
import argparse
from urllib3.exceptions import InsecureRequestWarning

2.設置配置

# CLI options
    parser = argparse.ArgumentParser(description='Compare IP blacklist files against IOTA metadata. Blacklist files must contain a list of single IPv4/IPv6 addresses or IP subnet in CIDR notation.')
    required_args = parser.add_argument_group('required')
 
    required_args.add_argument('-d', '--device_ip', help='Device IP address')
    required_args.add_argument('-i', '--infile', nargs='+', help = 'Blacklist file(s)')
    parser.add_argument('-u', '--device_username', default='apitest', help='Device IP username (default: apitest)')
    parser.add_argument('-p', '--device_password', default='apitest', help='Device IP password (default: apitest)')
    parser.add_argument('-l', '--query_time_window_s', type=int, default=600, help='Number of seconds from the current time to query IOTA metadata (default: 600)')

• -d / -device_ip
  • IOTA 設備的 IP。
• -i / -infile
  • 包含要查找的 IP 地址的文本文件。也可以提供地址范圍的 CIDR 子網查詢。文件可能包含以 ; 或 # 為前綴的注釋。任何空行或以空格開頭的行都將被省略。通過多次提供此參數，可以向腳本提交多個輸入文件。
• -U / -device_username
  • 上一步中定義的用戶名。
• -p / -device_password
  • 上述步驟中定義的密碼。
• -l / -query_time_window_s
  • 查詢應在過去多少時間內進行。默認值為 600 秒，相當于 10 分鐘。

輸入文件：

以輸入文件為例，它將搜索特定子網以及內部 DNS 服務器的所有 IP 地址。

# IP Address of DNS server
192.168.1.250

# Host range for internal testing
10.40.0.0/24

3.檢測黑名單 IP 的主邏輯

主邏輯打開黑名單文件，逐步進行解析，并查詢內部數據庫，進行相應的子網查詢或直接 IP 地址查詢。

query = urllib.parse.quote(f"SELECT COUNT(DISTINCT FLOW_ID) AS matching_flows FROM flows.base WHERE (isIPAddressInRange(IP_SRC, '{ip}') OR isIPAddressInRange(IP_DST, '{ip}')) AND DATE_PKT_MS_FIRST >= toDateTime64({query_time_window_start}, 3) AND DATE_PKT_MS_FIRST <= toDateTime64({query_time_window_end}, 3) FORMAT JSON", safe='()*')
                    response = session.get('https://'+iota_ip_address+'/api/datasources/proxy/3/?query='+query, verify=False)
                    matching_flows = json.loads(response.content)['data'][0]['matching_flows']

首先，設置查詢。在本例中，我們只需要查詢找到的條目的數量，這就是我們執行 COUNT 操作的原因。數據庫以 SQL 格式進行查詢。

創建查詢后，將建立一個會話，該會話將使用 HTTP GET 操作來查詢信息。查詢結果以 JSON 數據形式顯示，目前正在讀取第一個條目。

對于找到的每個 IP 地址，將打印匹配條目的數量，對于每個文件，將打印匹配條目的總數。

七、運行腳本

建議在 Python 環境中運行腳本。可以使用以下命令來實現：

python3 -m venv ./Development/iota
source ./Development/iota/bin/activate
python3 -m pip install argparse requests

這將創建一個 Python3 venv 環境（更多信息請參見此處），并安裝默認環境中不存在的所需庫。

然后，假設 Python 腳本和 infile 文件都在當前目錄下，下面的命令將運行該腳本：

在這種情況下，IOTA 的定位是在出站廣域網連接上進行捕獲。在最后 10 分鐘內，內部 DNS 服務器沒有進行任何出站 DNS 查詢，但內部測試網絡通過廣域網連接發送了 4 次數據。

在本例中，腳本被用作白名單測試，但也可輕松配置為黑名單測試。

結論

通過本指南，您可以有效地利用 IOTA 設備及其 REST API 來監控網絡流量，并使用 Python 檢測黑名單 IP 地址。這種方法為在自動化監控環境中維護網絡安全提供了強大的工具。

審核編輯 黃宇