Redis aof文件过大处理办法 发表于 2019-12-25 | 分类于 Redis Redis AOF持久化机制有点类似于MySQL的binlog,不断的讲执行的命令记录到AOF文件中。 AOF持久化特点 Redis会不断地将被执行的命令记录到AOF文件里面,所以随着Redis不断运行,AOF文件的体积也会不断增长。在极端情况下,体积不断增大的AOF文件甚至可能会用完硬盘的所有可用 ... 阅读全文 »
使用CURL跟踪一个http请求的各段执行时间 发表于 2019-12-25 | 分类于 Linux系统管理 很多场景我们需要获取站点或者某个接口的各类响应时间,在不适用其他软件工具的情况下,系统命令CURL可以完美的帮我们打印出各段的响应时间。 命令演示1# curl -o /dev/null -s -w %{time_namelookup}::%{time_connect& ... 阅读全文 »
Python删除fastdfs图片 发表于 2019-12-25 | 分类于 分布式文件系统 , FastDFS 删除fastdfs图片及刷新七牛CDNpython环境 python2.7(linux本身所带环境) 使用前需要安装依赖库qiniu,fdfs-client-pyclient_file值为fastdfs的client配置文件,里面traker_server为要删除的fastdfs集群的tracker ... 阅读全文 »
kafka生产环境集群方案及参数配置 发表于 2019-12-10 | 分类于 数据分析 , KAFKA 写在前面本文主要聊一聊生产环境的kafka方案选型和重要集群参数配置相关的东西。生产环境的kafka集群部署方案前期的需要评估的东西还是挺多,比如kafka版本选择,操作系统选择,以及磁盘类型及磁盘容量相关的预估等。下面简单介绍一下: 部署方案操作系统kafka由scala语言和java开发,编译 ... 阅读全文 »
容器管理之Docker常用命令 发表于 2019-09-03 | 分类于 容器管理 , Docker 交互式运行容器docker run -i -t ubuntu:15.10 /bin/bash -t:在新容器内指定一个伪终端或终端。 -i:允许你对容器内的标准输入 (STDIN) 进行交互。 后台启动容器docker run -d ubuntu:15.10 /bin/sh -c “while ... 阅读全文 »
Elasticsearch常用API使用 发表于 2019-09-02 | 分类于 数据分析 , Elasticsearch 以下API的使用均为在Kinbana的DevTools上面的运行方式,如果你使用的的CURL命令请自行转换为对应格式。 Index相关APIES 有专门的index API ,用于创建,更新,删除索引配置等,创建API如下: 1put /test_index 查看现有索引1GET _cat/ind ... 阅读全文 »
Nginx容灾配置 发表于 2019-09-02 | 分类于 Nginx Nginx在对外提供服务的时候,很少只是用一个服务节点,大多都是部署多台服务器,上层通过一定机制保证容错和负载均衡。 通过max_fails和fail_timeout来动态摘除故障服务器1234upstream backend { server 192.168.0.1:8081 ... 阅读全文 »
ElasticSearch基础 发表于 2019-08-24 | 分类于 数据分析 , Elasticsearch 学前问题 什么是倒排索引?它的组成是什么? 常见的相关性算法分析有哪些? 为什么查询语句没有返回预期的文档? 常用的数据类型有哪些?text和keyword的区别是什么? ES集群是如何搭建起来的?是如何实现故障转移的? Shard具体是由什么组成的? Elasticseatch常见术语Docu ... 阅读全文 »