ULOG_TSDB搭建详解

一、依赖

1、打开FAL，挂载好片内/片外Flash，设置分区表

2、打开FlashDB、ulog组件

3、使能硬件RTC

二、实现

1、后端设备初始化

主要实现原理：把tsdb作为ulog输出的后端设备，实现保存日志数据到flash中

仿照console_be.c文件实现tsdb_be.c，参考官方文档ulog日志-日志后端

console_be.c是实现把控制台作为后端设备输出ulog数据

主要需要实现ulog_tsdb_backend_init函数和ulog_tsdb_backend_output函数，再通过INIT_ENV_EXPORT导出命令在系统初始化时执行

tsdb_be.c实现如下

#include <rthw.h>
#include <ulog.h>

//需要先在rtconfig.h中定义该宏
#ifdef ULOG_BACKEND_USING_TSDB

#if defined(ULOG_ASYNC_OUTPUT_BY_THREAD) && ULOG_ASYNC_OUTPUT_THREAD_STACK < 384
#error "The thread stack size must more than 384 when using async output by thread (ULOG_ASYNC_OUTPUT_BY_THREAD)"
#endif

extern int ulog_tsdb_init(void );
extern void ulog_tsdb_append(const char *str,size_t len);

static struct ulog_backend tsdb;

void ulog_tsdb_backend_output(struct ulog_backend *backend, rt_uint32_t level, const char *tag, rt_bool_t is_raw,
        const char *log, size_t len)
{
    
		ulog_tsdb_append(log,len);		
}

int ulog_tsdb_backend_init(void)
{
    
    ulog_init();
    tsdb.output = ulog_tsdb_backend_output;
    ulog_tsdb_init();
    ulog_backend_register(&tsdb, "tsdb", RT_TRUE);

    return 0;
}
INIT_ENV_EXPORT(ulog_tsdb_backend_init);

#endif /* ULOG_BACKEND_USING_TSDB */

2、TSDB功能实现

主要实现初始化、追加、查询（全部/日期区间）、清除功能，并把查询、清除功能导出到MSH命令中

①tsdb初始化

//在tsdb_be.c的后端设备初始化时调用
int ulog_tsdb_init(fdb_tsdb_t tsdb);
//该函数主要调用官方API
//参数意义：TSDB结构体、TSDB分区名称、挂载分区名称、时间戳回调函数、用户自定义数据
fdb_tsdb_init(&_global_tsdb, "log", "ts_area", get_hw_rtc_time, FDB_MAX_TSL_LEN, NULL);
//注意：移植时需要根据实际情况修改挂载分区名称 "ts_area"
//get_hw_rtc_time : 调用硬件RTC的API获取当前实时时间戳

②追加日志数据

//初始化为后端设备输出函数（在tsdb_be.c中实现）
//str：ulog字符串数据  len：ulog字符串长度
void ulog_tsdb_append(const char *str,size_t len);
//主要调用官方API
fdb_tsl_append(&_global_tsdb, fdb_blob_make(&blob, str, len));
//实现后日志将会保存到flash中

③查询日志数据

全部查询

直接调用APIfdb_tsl_iter(&_global_tsdb, query_cb, &_global_tsdb);即可

根据日期区间查询

1、需要使用MSH_CMD_EXPORT把命令到处到MSH中，用户输入想要查询的日期区间

2、对输入的参数进行处理

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oA3Gmh1u-1615639547119)(C:\Users\user\AppData\Roaming\Typora\typora-user-images\1615260645666.png)]

将argv[]数据转成整型，初始化struct tm结构体，再将其转换为time_t格式

最后调用fdb_tsl_iter_by_time(&_global_tsdb,from_time,to_time,query_cb,&_global_tsdb);API即可查询输入的区间内的日志数据

还需要实现查询回调函数

把查询到的日志数据打印到控制台

static bool query_cb(fdb_tsl_t tsl, void *arg)
{
    
    struct fdb_blob blob;
    char str[FDB_MAX_TSL_LEN];
    fdb_tsdb_t db = arg;				
    fdb_blob_read((fdb_db_t) db, fdb_tsl_to_blob(tsl, fdb_blob_make(&blob, str, FDB_MAX_TSL_LEN)));
    FDB_INFO("queried a LOG: %s", str);
    return false;
}

④清空日志数据

直接调用APIfdb_tsl_clean(&_global_tsdb);即可

详细代码实现如下

#include <flashdb.h>
#include <string.h>
#include <stdlib.h>

#ifdef FDB_USING_TSDB

#define FDB_LOG_TAG "[tsdb log]"
#define FDB_MAX_TSL_LEN 256

static bool query_cb(fdb_tsl_t tsl, void *arg);
struct fdb_tsdb _global_tsdb = {
    0};
struct fdb_kvdb _global_kvdb = {
    0};

static fdb_time_t get_hw_rtc_time(void)
{
    
    time_t t = 0;
    time(&t);
    return t;
}

int ulog_tsdb_init(fdb_tsdb_t tsdb)
{
    
	fdb_err_t result;
	result = fdb_tsdb_init(&_global_tsdb, "log", "ts_area", get_hw_rtc_time, FDB_MAX_TSL_LEN, NULL);
	return result;
}

void ulog_tsdb_append(const char *str,size_t len)
{
    
		struct fdb_blob blob;
		fdb_tsl_append(&_global_tsdb, fdb_blob_make(&blob, str, len));
}

void ulog_add_tsl(int argc, char**argv)
{
    
	struct fdb_blob blob;
	if(argc >= 2)
	{
    
		fdb_tsl_append(&_global_tsdb, fdb_blob_make(&blob, argv[1], sizeof(argv[1])));
	}
}
MSH_CMD_EXPORT(ulog_add_tsl , add tsl);

static void ulog_tsdb_clr(void){
    
    
    fdb_tsl_clean(&_global_tsdb);
}
MSH_CMD_EXPORT(ulog_tsdb_clr , clean tsdb);

void ulog_tsdb_query(void)
{
    
		fdb_tsl_iter(&_global_tsdb, query_cb, &_global_tsdb);
}
MSH_CMD_EXPORT(ulog_tsdb_query,get all ulog from tsdb);

int ulog_tsdb_query_by_time(int argc, char**argv){
    
    if(argc >= 10){
    
        struct tm tm_from = {
     .tm_year = atoi((const char*)argv[1]) - 1900, 
															.tm_mon  = atoi((const char*)argv[2]) - 1, 		
															.tm_mday = atoi((const char*)argv[3]), 				
															.tm_hour = atoi((const char*)argv[4]), 				
															.tm_min  = atoi((const char*)argv[5]),					
															.tm_sec  = 0};								
        struct tm tm_to   = {
     .tm_year = atoi((const char*)argv[1]) - 1900, 
															.tm_mon  = atoi((const char*)argv[6]) - 1, 
															.tm_mday = atoi((const char*)argv[7]), 
															.tm_hour = atoi((const char*)argv[8]), 
															.tm_min  = atoi((const char*)argv[9]), 
															.tm_sec  = 0};
        //转换时间格式
        time_t from_time = mktime(&tm_from), to_time = mktime(&tm_to);
        FDB_INFO("from time = %ld,  to time = %ld\n",from_time,to_time);
        fdb_tsl_iter_by_time(&_global_tsdb,from_time,to_time,query_cb,&_global_tsdb);
    }else {
    
			rt_kprintf("Please input var:'time section [from_ymdh to_ymdh]'\n");
			rt_kprintf("sample : ulog_tsdb_query_by_time 2018 8 8 8 8 9 9 9 9\n");
			rt_kprintf("mean : query from 2018-08-08-8:00 to 2018-09-09-9:00\n");
		}
    return 0;
}
MSH_CMD_EXPORT(ulog_tsdb_query_by_time , tsdb search by time Please input var:time section [from_ymdh to_ymdh]);

static bool query_cb(fdb_tsl_t tsl, void *arg)
{
    
    struct fdb_blob blob;
    char str[FDB_MAX_TSL_LEN];
    fdb_tsdb_t db = arg;				
    fdb_blob_read((fdb_db_t) db, fdb_tsl_to_blob(tsl, fdb_blob_make(&blob, str, FDB_MAX_TSL_LEN)));
    FDB_INFO("queried a LOG: %s", str);
    return false;
}

三、测试

初始化成功

查询所有日志

日志在main函数中每20s增加一条

根据时间查询日志

查询2021-3-9-11：35 到 2021-3-9-11：40产生的日志