ClickHouse/dbms/include/DB/Storages/MergeTree/BackgroundProcessingPool.h

122 lines
4.3 KiB
C
Raw Normal View History

2014-04-11 13:05:17 +00:00
#pragma once
#include <thread>
#include <set>
#include <map>
2014-07-03 08:51:11 +00:00
#include <list>
#include <condition_variable>
2014-04-11 13:05:17 +00:00
#include <Poco/Mutex.h>
#include <Poco/RWLock.h>
2014-07-03 08:51:11 +00:00
#include <Poco/Event.h>
#include <Poco/SharedPtr.h>
2014-04-11 13:05:17 +00:00
#include <DB/Core/Types.h>
namespace DB
{
/** Используя фиксированное количество потоков, выполнять произвольное количество задач в бесконечном цикле.
* При этом, одна задача может выполняться одновременно из разных потоков.
* Предназначена для задач, выполняющих постоянную фоновую работу (например, слияния).
* Задача - функция, возвращающая bool - сделала ли она какую-либо работу.
* Если не сделала, то в следующий раз будет выполнена позже.
*
* Также, задача во время выполнения может временно увеличить какой-либо счётчик, относящийся ко всем задачам
* - например, число одновременно идующих слияний.
2014-04-11 13:05:17 +00:00
*/
class BackgroundProcessingPool
{
public:
typedef std::map<String, int> Counters;
/** Используется изнутри задачи. Позволяет инкрементировать какие-нибудь счетчики.
* После завершения задачи, все изменения откатятся.
2014-04-11 13:05:17 +00:00
* Например, чтобы можно было узнавать количество потоков, выполняющих большое слияние,
* можно в таске, выполняющей большое слияние, инкрементировать счетчик. Декрементировать обратно его не нужно.
*/
class Context
{
public:
void incrementCounter(const String & name, int value = 1)
{
std::unique_lock<std::mutex> lock(pool.mutex);
2014-04-11 13:05:17 +00:00
local_counters[name] += value;
pool.counters[name] += value;
}
private:
friend class BackgroundProcessingPool;
Context(BackgroundProcessingPool & pool_, Counters & local_counters_) : pool(pool_), local_counters(local_counters_) {}
BackgroundProcessingPool & pool;
Counters & local_counters;
};
/// Возвращает true, если что-то получилось сделать. В таком случае поток не будет спать перед следующим вызовом.
typedef std::function<bool (Context & context)> Task;
2014-07-03 08:51:11 +00:00
class TaskInfo
{
public:
/// Разбудить какой-нибудь поток.
void wake();
2014-07-03 08:51:11 +00:00
private:
friend class BackgroundProcessingPool;
BackgroundProcessingPool & pool;
Task function;
/// При выполнении задачи, держится read lock.
Poco::RWLock rwlock;
volatile bool removed = false;
volatile time_t next_time_to_execute = 0; /// Приоритет задачи. Для совпадающего времени в секундах берётся первая по списку задача.
2014-07-03 08:51:11 +00:00
std::list<std::shared_ptr<TaskInfo>>::iterator iterator;
TaskInfo(BackgroundProcessingPool & pool_, const Task & function_) : pool(pool_), function(function_) {}
2014-07-03 08:51:11 +00:00
};
typedef std::shared_ptr<TaskInfo> TaskHandle;
2014-04-11 13:05:17 +00:00
BackgroundProcessingPool(int size_);
2014-04-11 13:05:17 +00:00
size_t getNumberOfThreads() const
2014-04-11 13:05:17 +00:00
{
return size;
2014-04-11 13:05:17 +00:00
}
int getCounter(const String & name);
2014-04-11 13:05:17 +00:00
TaskHandle addTask(const Task & task);
void removeTask(const TaskHandle & task);
2014-04-11 13:05:17 +00:00
~BackgroundProcessingPool();
2014-04-11 13:05:17 +00:00
private:
2014-07-03 08:51:11 +00:00
typedef std::list<TaskHandle> Tasks;
2014-04-11 13:05:17 +00:00
typedef std::vector<std::thread> Threads;
const size_t size;
static constexpr double sleep_seconds = 10;
static constexpr double sleep_seconds_random_part = 1.0;
Tasks tasks; /// Задачи в порядке, в котором мы планируем их выполнять.
2014-04-11 13:05:17 +00:00
Counters counters;
std::mutex mutex; /// Для работы со списком tasks, а также с counters (когда threads не пустой).
Threads threads;
volatile bool shutdown = false;
std::condition_variable wake_event;
2014-04-11 13:05:17 +00:00
void threadFunction();
2014-04-11 13:05:17 +00:00
};
2014-07-02 12:30:38 +00:00
typedef Poco::SharedPtr<BackgroundProcessingPool> BackgroundProcessingPoolPtr;
2014-04-11 13:05:17 +00:00
}