mjTree Blog

青春是一本太仓促的书，我们含着泪，一边翻一边笑。

celery的简单介绍

更新于：2024-04-20 20:00 一、Celery简介 Celery 是一个基于Python开发的分布式异步消息队列，可以实现任务的异步处理，适合一些并行任务。Celery采用多进程方式，能够有效利用多核 CPU，并且Celery封装了常见任务队列的各种操作。 Celery具备如下几个显著的优点： 简单：熟悉 Celery 的工作流程后，配置使用简单。 高可用：当任务执行...

Posted by mjTree on April 20, 2024

mysql知识点

更新于：2024-04-16 21:10 一、底层的数据结构 索引是排好序的数据结构；mysql的索引是文件，关于mysql底层所用的数据结构，有多种选择。分别是二叉树、红黑树、Hash、BTree、B+Tree选项，但是为什么底层只选了B+Tree结构。 1、二叉树 二叉树在顺序插入建树发时候会出现一边倒的情况发生，在使用二叉树索引查数据的时候是要对节点的数据进行I/O操作...

Posted by mjTree on April 16, 2024

向量空间识别验证码

更新于：2024-04-11 22:00 一、验证码识别 平时在登录一些网站账号时，会让进行验证码输入的操作，这步操作是为了防止机器人或者爬虫之类非人类角色的登录，避免服务器资源的浪费。但是早在几年前，破解验证码的方案就已经非常成熟了，网上还有很多开源免费的工具服务等。本篇文章要介绍一种识别验证码算法，但不涉及什么深度学习的CV算法，算法核心是采用了相似度对比逻辑，完成对验证码的识...

Posted by mjTree on April 11, 2024

图片隐写术

更新于：2024-04-11 16:40 一、图片隐写术 隐写术是一门信息隐藏的技巧与科学，所谓信息隐藏指的是不让除预期的接收者之外的任何人知晓信息的传递事件或者信息的内容。载体文件相对隐秘文件的大小（指数据含量）越大，隐藏后者就越加容易。因为这个原因，数字图像在因特网和其他传媒上被广泛用于隐藏消息。 传闻早期有一家公司B爬取了同行另一家公司A官网的照片挂在自己的网站主页上，最后...

Posted by mjTree on April 8, 2024

常见分布式锁方案

更新于：2024-04-07 22:10 一、分布式锁常见需求 锁的功能在于确保资源的合理竞争，而分布式锁则是为了处理不同服务器之间进程对资源的竞争情况。功能场景有避免重复操作（订单多次支付）、防止并发竞态条件（账户进行余额扣除）、保证数据一致性（控制业务顺序流程）、定时任务调度（执行一次）等等。这里我们通过介绍“定时任务调度”场景来介绍分布锁的常见方案。 二、分布式锁常见方案 ...

Posted by mjTree on April 7, 2024

分布式唯一ID

更新于：2024-04-07 20:00 一、分布式ID 分布式ID（Distributed ID）是在分布式系统中用于唯一标识和区分不同实体或数据的一种标识符。在分布式系统中，由于系统的分布性和并发性，通常需要为每个数据记录或实体分配一个唯一的标识符，以确保数据的唯一性和一致性。 二、常见方案 1、uuid uuid的底层是一组32位数的16进制数字构成，生成过程要用到ma...

Posted by mjTree on April 7, 2024

S3协议及各厂商适配

更新于：2024-03-12 21:00 一、S3协议 S3协议指的是 Amazon S3(Simple Storage Service) 的接口规范，它是一种基于 HTTP 协议的 Restful API，用于访问 Amazon Web Services(AWS) 提供的对象存储服务，目前市面上主流的存储厂商都支持S3协议接口。而 Amazon S3 产品作为一种对象存储服务，...

Posted by mjTree on March 12, 2024

提取文档中表格结构

更新于：2024-04-04 14:30 一、简介 在前面的文章当中，介绍了一些深度学习算法的模型，通过模型对文档对进行版面元素识别分类。对于文档中的一些元素（页眉、页脚、标题、段落、图片、脚注等）只需要模型的区域即可，但是Table元素无法只能依靠一个区域就能解决的，我们需要获取表格中的线条信息来构建完整的表格结构。 二、表格类型介绍 表格的基本组成单位是单元格，表格的基本组...

Posted by mjTree on February 29, 2024

基于算法的通用文档解析实现

更新于：2024-05-18 15:00 一、引言 上图所示，本篇文章主要对第三个处理单元的版面分析进行介绍，在 文档结构化解析 文章中就提到了多种方案，今天主要对《基于算法的通用文档解析实现》进行讨论。 这里所指的算法是深度学习的算法（CV方向），依靠深度学习的训练的模型在”通用”场景下能得到较满意的效果。而通过深度学习训练的模型进行文档版面识别的方法，已经成为当下版面解...

Posted by mjTree on February 3, 2024

国产ofd文件组成结构

更新于：2024-01-28 16:30 一、关于OFD格式 引用百度百科介绍： OFD(Open Fixed-layout Document) ，是由工业和信息化部软件司牵头中国电子技术标准化研究院成立的版式编写组制定的版式文档国家标准，属于中国的一种自主格式，要打破政府部门和党委机关电子公文格式不统一，以方便地进行电子文档的存储、读取以及编辑 。 2016-10-1...

Posted by mjTree on January 11, 2024

FEATURED TAGS
algorithm document-parse file-protocol python java
ABOUT ME

斗宗强者，恐怖如斯

✉️ mjtree@foxmail.com

FRIENDS