逐光の博客

一、Mmap基础概念Mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。 二、Mmap内存映射原理 mmap内存映射的实现过程，总的来说可以分为三个阶段： （一）进程启动映射过程，并在虚拟地址空间中为映射创建虚拟映射区域 1、进程在用户空间调用库函数mmap，原型：void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset); 2、在当前进程的虚拟地址空间中，寻找一段空闲的满足要求的连续的虚拟地址 3、为此虚拟区分配一个vm_area_struct结构，接着对这个结构的各个域进行了初始化 4、将新建的虚拟区结构（vm_area_s...

一、消息存储架构图 二、消息存储2.1 消息存储文件 文件名称 作用 文件大小 文件格式 说明 CommitLog 消息主体以及元数据的存储主体 单个文件大小默认1G 消息顺序写入文件，当文件满了，写入下一个文件 文件名为20位，如一个文件名为00000000000000000000代表以一个文件，起始偏移量为0，文件大小为1G=1073741824，后面新增文件的名称基于上一个文件名累加1G，起始偏移量从上一个文件继续累计。 ConsumeQueue 消息消费队列 每个条目20个字节，单个文件由30W个条目组成 每一个条目共20个字节，分别为8字节的commitlog物理偏移量、4字节的消息长度、8字节tag hashcode 单个文件由30W个条目组成，可以像数组一样随机访问每一个条目，每个ConsumeQueue文件大小约5.72M IndexFile 索引文件 固定的单个IndexFile文件大小约为400M，一个IndexFile可以保存 2000W个索引 IndexFile的底层存储设计为在文件系统中实现HashMap结构 rocketmq...

一、问题背景客户内网环境不允许应用服务器直接访问外网，必须通过跳板机访问外网，所在使用Nginx代理访问外网，部署架构图可参考Nginx反向代理HTTP header自定义参数丢失问题。在部署完成后，测试代理接口都正常，但是一段时间过后，就出现了外网接口访问超时的问题。 二、问题排查Nginx代理的外网接口都是通过域名进行访问，发现请求超时后，直接在服务器上ping请求地址中的域名，发现域名是可以ping通的，后面继续观察请求超时的情况，发现每次出现请求超时时，在服务器都是能直接ping通请求中的域名，但是服务器每次ping命令解析后的IP与上一次不同，在服务器则无法ping通上次解析后的IP，所以怀疑是不是Nginx缓存了DNS解析。通过查阅文档，发现Nginx在启动时会检查域名是否能够解析，在第一次请求时会缓存DNS解析记录，并且忽略了DNS中的TTL值永久缓存。 注意：在使用Nginx进行反向代理时，如果配置的是域名，突然出现了404问题时，可以查看域名绑定的IP是否发生了变更，如果这种变更不频繁，可以重启Nginx解决，重启Nginx后域名会重新进行解析。 三、问题分...

一、问题背景客户内网服务器不能直接访问外网，需要通过一台跳板机才能访问外网，在跳板机安装Nginx反向代理外网接口服务，架构图如下：代理设置完成后，在联调过程中请求外网接口返回参数错误，但是外网环境下不经过Nginx代理直接访问外网接口则能正常访问，说明在经过Nginx代理时，部分参数丢失了。 二、问题排查根据接口报错，定位到是HTTPheader中的一个自定义参数client_id参数经过Nginx代理时没有转发出去,问题出现在Nginx代理上。 Nginx主配置文件nginx.conf内容如下 user root; worker_processes 1; error_log logs/error.log; error_log logs/error.log notice; error_log logs/error.log info; pid logs/nginx.pid; events { worker_connections 1024; } http {...

一、问题背景 在测试web应用的时候，前端需要进行跨域访问后端接口，由于服务端跨域访问功能不完善，所以打算通过反向代理临时解决跨域问题，但是反向代理配置成功后，访问时浏览器端返回404，在nginx的访问日志中也提示404，Nginx配置如下。 1.1 Nginx反向代理配置server { listen 80; server_name h5-verify.mpoom.cn; location / { proxy_set_header Host $http_host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass http://127.0.0.1:8000; } } server { listen 8000; ser...

非原创，转载于：https://www.aneasystone.com/archives/2016/04/java-and-https.html 说起 HTTP 的那些事，则不得不提 HTTPS ，而说起 HTTPS ，则不得不提数字证书。这篇博客将从 Java 的角度，学习 HTTPS 和数字证书技术，并分享爬虫开发的过程中针对爬取 HTTPS 站点时可能遇到的一些问题。在前面的几篇博客里，其实已经略微提到过 HTTPS 了，譬如使用 HttpsURLConnection 类发送 HTTPS 请求，在使用代理时 HTTP 和 HTTPS 的一些差异等等。关于 HTTPS 的概念就不废话了，下面直接进入正题。 一、访问 HTTPS 站点在前面的第一篇博客《模拟 HTTP 请求》里，介绍了两种方法来模拟发送 HTTP 请求，访问 HTTP 站点。一种方式是通过 java.net 自带的 HttpURLConnection，另一种方式是通过 Apache 的 HttpClient，这两种方式各有各的优势。这里也使用这两种方式来访问 HTTPS 站点，从下面的代码可以看到，和前面访...

一、概览 服务器无法访问外网的情况下，Nginx只能离线安装，安装主要步骤如下： 安装gcc、g++ 安装pcre、zlib 安装nginx 二、安装gcc、g++gcc --version g++ --version 使用gcc --version g++ --version查看服务器是否已经安装过gcc、g++。 2.1 下载如果未安装，请下载gcc、**g++**及其依赖包进行安装，下面为Centos7 x86_64下 gcc 与 **g++ ** 4.8.5的依赖包: gcc依赖包详见:gcc-4.8.5-39.el7.x86_64.rpm g++依赖包详见：gcc-c++-4.8.5-39.el7.x86_64.rpm 根据上述依赖包列表下载安装包，下载地址：Centos Mirrors 、 阿里云 、网易,下载后的依赖包如下图所示： 上述安装包已分享至天翼云盘gcc g++ rpm安装包 注意 上图下载的依赖包有一些是gcc g++依赖包列表中不存在的，是因为那部分安装包是gcc g++ 依赖包的依赖包，这里参考网上下载了缺少的一些包 2....

一、SkyWalking 简介Apache SkyWalking 是一个开源的应用性能监控（APM）和可观测性分析平台，专为分布式系统、微服务、云原生和基于容器的架构而设计。 核心特性 分布式追踪：自动采集服务间调用链路，提供端到端的请求追踪 性能指标监控：实时收集应用性能指标（吞吐量、响应时间、错误率等） 服务拓扑分析：自动发现服务依赖关系，生成服务拓扑图 告警机制：支持基于规则的智能告警 多语言支持：Java、.NET Core、PHP、NodeJS、Golang、Python、Lua 等 服务网格支持：与 Istio、Envoy 等服务网格集成 架构组件SkyWalking 主要由以下核心组件构成： Agent（探针）：部署在应用程序中，负责数据采集 OAP Server（分析平台）：接收、分析、聚合数据 Storage（存储）：支持 ElasticSearch、H2、MySQL 等多种存储方案 UI（界面）：提供可视化展示和分析能力 二、核心概念1. Trace（调用链）一次完整的分布式请求调用过程，由多个 Span 组成。每个 Trace 有唯一的 TraceI...

MySQL调优案例分享——技术分享 您的浏览器不支持显示PDF文件 📥 点击这里下载PDF文件

JPA在不同数据库类下ID生成策略适配方案——技术解决方案 您的浏览器不支持显示PDF文件 📥 点击这里下载PDF文件