config.py

#!/usr/bin/env python3
"""
Инструмент для бенчмаркинга облачных PostgreSQL

Этот скрипт оценивает и сравнивает производительность нескольких облачных
сервисов баз данных PostgreSQL с использованием pgbench. Он проводит бенчмаркинг
любого количества облачных провайдеров PostgreSQL, собирает метрики производительности,
выполняет статистический анализ и генерирует интерактивный отчет с визуализациями.
"""

import os
import sys
import subprocess
import time
import datetime
import socket
import logging
import json
import statistics
from typing import Dict, List, Any, Optional, Tuple, Union
import concurrent.futures
import re
import platform
from pathlib import Path

# Проверка наличия необходимых пакетов и установка при необходимости
try:
    import pandas as pd
    import numpy as np
    import plotly.express as px
    import plotly.graph_objects as go
    from plotly.subplots import make_subplots
    import psycopg2
    from scipy import stats
except ImportError:
    print("Отсутствуют необходимые пакеты. Попытка установки...")
    try:
        subprocess.check_call([sys.executable, "-m", "pip", "install", 
                              "pandas", "plotly", "psycopg2-binary", "numpy", "scipy"])
    except subprocess.CalledProcessError as e:
        if "externally-managed-environment" in str(e.stderr):
            print("\nОШИБКА: Невозможно установить пакеты в управляемом извне окружении.")
            print("\nПожалуйста, установите необходимые пакеты, используя один из этих методов:")
            print("\n1. Используйте системный менеджер пакетов:")
            print("   Для Arch Linux: sudo pacman -S python-pandas python-numpy python-plotly python-psycopg2 python-scipy")
            print("   Для Ubuntu/Debian: sudo apt-get install python3-pandas python3-numpy python3-plotly python3-psycopg2 python3-scipy")
            print("\n2. Используйте pip с флагом --break-system-packages:")
            print("   pip install --break-system-packages pandas plotly psycopg2-binary numpy scipy")
            sys.exit(1)
        else:
            raise
    
    # Повторная попытка импорта после установки
    import pandas as pd
    import numpy as np
    import plotly.express as px
    import plotly.graph_objects as go
    from plotly.subplots import make_subplots
    import psycopg2
    from scipy import stats

# Настройка логирования
logging.basicConfig(
    level=logging.INFO,
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
    handlers=[
        logging.StreamHandler(),
        logging.FileHandler('pg_benchmark.log')
    ]
)
logger = logging.getLogger('pg_benchmark')

# -----------------------------------------------------------------------------
# Конфигурация для облачных сервисов PostgreSQL
# -----------------------------------------------------------------------------

cloud_configs = [
    {
        "name": "H3llo.Cloud",
        "host": "192.168.0.93",
        "port": 5432,
        "database": "postgres",
        "user": "postgres", 
        "password": "postgres",  
        "instance_type": "4vcpu_16gbram_40gb_msk",
        "version": "16",
        "rub_per_hour": 9000.00/720,  
        "connection_pooling": False,
        "region": "moscow"
    },

]

# -----------------------------------------------------------------------------
# Параметры конфигурации бенчмарка
# -----------------------------------------------------------------------------

benchmark_config = {
    # Размер базы данных
    "scale_factor": 200,  # Множитель размера: 100 = ~2GB (100K*scale_factor строк в таблице accounts)
 
    # Вариации тестов клиентов и потоков
    "client_counts": [16, 32, 64],  # Одновременные клиенты базы данных
    "thread_counts": [32, 64, 128],  # Рабочие потоки
    
    # Продолжительность теста
    "transactions_per_client": 1000,  # Транзакций на клиента
    "run_time": 30,  # Продолжительность теста в секундах по умолчанию
    "use_run_time": True,  # Использовать run_time вместо transactions_per_client
    
    # Повторение тестов
    "iterations": 3,  # Итерации для статистической значимости
    "warmup_iterations": 1,  # Разогревочные итерации перед сбором данных
    
    # Подготовка базы данных
    "initialization": True,  # Инициализировать таблицы pgbench
    "vacuum_before_tests": True,  # Выполнить vacuum перед тестами
    "analyze_before_tests": True,  # Выполнить analyze перед тестами
    "drop_tables_after_tests": True,  # Удалить таблицы после тестирования
    "initialization_options": {
        "fillfactor": 90,  # Фактор заполнения таблиц
        "foreign_keys": True,  # Создавать внешние ключи
        "unlogged": False,  # Использовать unlogged таблицы
        "tablespace": None,  # Использовать определенное табличное пространство
    },
    
    # Типы рабочей нагрузки
    "workload_types": [
        {"name": "default", "script": None, "description": "Стандартная нагрузка TPC-B"},
        {"name": "simple_update", "script": "simple_update", "description": "Простое обновление"},
        {"name": "select_only", "script": "select_only", "description": "Только чтение"},
        {"name": "complex_write", "script": "complex_write", "description": "Сложная запись"},
    ],
    
    # Настройки соединения
    "connection_timeout": 10,  # Таймаут соединения в секундах
    "connection_retries": 3,  # Количество попыток соединения
    "use_ssl": False,  # Использовать SSL для соединений
    "ssl_mode": "prefer",  # Режим SSL: disable, allow, prefer, require, verify-ca, verify-full
    
    # Отчеты о прогрессе
    "progress_reporting": True,  # Показывать прогресс во время бенчмаркинга
    "progress_interval": 10,  # Секунды между обновлениями прогресса
    
    # Тестирование сети
    "test_network_latency": True,  # Тестировать задержку сети
    "ping_count": 10,  # Количество пингов для теста задержки
    
    # Расширенные настройки - для будущей реализации
    # Эти настройки определены для документирования возможностей,
    # но требуют дополнительной реализации в коде
    
    # Настройки транзакций
    "transaction_isolation_levels": [
        "read committed",  # Чтение подтвержденных данных (по умолчанию)
    ],
    "default_isolation_level": "read committed",  # Уровень изоляции по умолчанию
}

# -----------------------------------------------------------------------------
# Пользовательские SQL-нагрузки
# -----------------------------------------------------------------------------

# Определение пользовательских SQL-скриптов нагрузки
custom_workloads = {
    "simple_update": r"""
\set aid random(1, 100000 * :scale)
\set bid random(1, 1 * :scale)
\set tid random(1, 10 * :scale)
\set delta random(-5000, 5000)
BEGIN;
UPDATE pgbench_accounts SET abalance = abalance + :delta WHERE aid = :aid;
SELECT abalance FROM pgbench_accounts WHERE aid = :aid;
COMMIT;
""",
    
    "select_only": r"""
\set aid random(1, 100000 * :scale)
\set bid random(1, 1 * :scale)
\set tid random(1, 10 * :scale)
BEGIN;
SELECT abalance FROM pgbench_accounts WHERE aid = :aid;
SELECT * FROM pgbench_branches WHERE bid = :bid;
SELECT * FROM pgbench_tellers WHERE tid = :tid;
COMMIT;
""",
    
    "complex_write": r"""
\set aid1 random(1, 100000 * :scale)
\set aid2 random(1, 100000 * :scale)
\set bid random(1, 1 * :scale)
\set tid random(1, 10 * :scale)
\set delta random(1, 1000)
BEGIN;
UPDATE pgbench_accounts SET abalance = abalance - :delta WHERE aid = :aid1;
SELECT abalance FROM pgbench_accounts WHERE aid = :aid1;
UPDATE pgbench_accounts SET abalance = abalance + :delta WHERE aid = :aid2;
SELECT abalance FROM pgbench_accounts WHERE aid = :aid2;
UPDATE pgbench_tellers SET tbalance = tbalance + :delta WHERE tid = :tid;
UPDATE pgbench_branches SET bbalance = bbalance + :delta WHERE bid = :bid;
COMMIT;
""",
    "join_heavy": r"""
\set aid1 random(1, 10000 * :scale)
\set aid2 random(1, 10000 * :scale)
\set aid3 random(1, 10000 * :scale)
BEGIN;
SELECT a1.abalance, a2.abalance, a3.abalance
FROM pgbench_accounts a1
JOIN pgbench_accounts a2 ON a1.aid = a2.aid + 1
JOIN pgbench_accounts a3 ON a2.aid = a3.aid + 1
WHERE a1.aid = :aid1 AND a2.aid = :aid2 AND a3.aid = :aid3;
COMMIT;
""",
    "insert_with_indexes": r"""
\set aid random(1, 100000 * :scale)
\set bid random(1, 1 * :scale)
\set tid random(1, 10 * :scale)
\set delta random(-5000, 5000)
BEGIN;
INSERT INTO pgbench_history (tid, bid, aid, delta, mtime) VALUES (:tid, :bid, :aid, :delta, CURRENT_TIMESTAMP);
UPDATE pgbench_accounts SET abalance = abalance + :delta WHERE aid = :aid;
COMMIT;
"""
}