程序员面试冷知识:为什么grep查找效率这么快
liebian365 2025-01-15 15:06 13 浏览 0 评论
更多互联网新鲜资讯、工作奇淫技巧关注原创【飞鱼在浪屿】（日更新）
GNU的grep程序作者认为是有两个因素：fast search和fast input。
https://lists.freebsd.org/pipermail/freebsd-current/2010-August/019310.html
快速查找/fast search
grep是基于Boyer-Moore算法，该算法首先查找目标字符串的最后一个字母，并使用查找map表，当找到不匹配的字符，该map表告诉算法可以跳过多长的位置。
BM算法的wiki链接：
https://en.wikipedia.org/wiki/Boyer%E2%80%93Moore%E2%80%93Horspool_algorithm
BM还在于能够判断出一些不必要的内循环，加快运行速度。
在随机文本查找上，BM的平均时间复杂度是o(n)，最差情况是o(m*n)。其中m是搜索字符串长度，n是查找范围长度，
快速输入/fast input
- GNU grep使用原生的输入系统调用，而不用read，避免内存拷贝。
- grep内部没有行，而是用一块大缓冲区包括放置换行符，因为新行会变慢效率。
- 在查找中使用连续内存空间。
- 在输出写出有没有使用原生系统调用不是很重要，因为输出缓存空间相比输入往往小很多
进阶版的ripgrep（俗称rg）
那么grep做到了极致吗，显然不是。ripgrep（俗称rg）是grep的演进版。在一些场景比grep更快更好用。github链接在这：
https://github.com/BurntSushi/ripgrep
比如在读输入数据上的一个优化。有没有使用mmap来存放输入字符串，这里有一个探讨。
- 如果是在一堆连续内存空间的小文件查找，mmap没有优势。mmap 会导致连加载到内存的小文件连续缺页中断。
- 而如果是大文件查找，mmap是有优势的
$ rg --mmap zqzqzqzq big-file #比较快
$ rg --no-mmap zqzqzqzq big-file #比较慢glibc 的实现使用一种双向字符串匹配算法/Two-way_string-matching_algorithm。它是前进的Knuth-Morris-Pratt算法和后向运行的Boyer-Moore字符串搜索算法的组合。
https://en.wikipedia.org/wiki/Two-way_string-matching_algorithm
相关推荐
- 4万多吨豪华游轮遇险 竟是因为这个原因……
-
（观察者网讯）4.7万吨豪华游轮搁浅，竟是因为油量太低？据观察者网此前报道，挪威游轮“维京天空”号上周六（23日）在挪威近海发生引擎故障搁浅。船上载有1300多人，其中28人受伤住院。经过数天的调...
- “菜鸟黑客”必用兵器之“渗透测试篇二”
-
"菜鸟黑客"必用兵器之"渗透测试篇二"上篇文章主要针对伙伴们对"渗透测试"应该如何学习？"渗透测试"的基本流程？本篇文章继续上次的分享，接着介绍一下黑客们常用的渗透测试工具有哪些？以及用实验环境让大家...
- 科幻春晚丨《震动羽翼说“Hello”》两万年星间飞行，探测器对地球的最终告白
-
作者|藤井太洋译者|祝力新【编者按】2021年科幻春晚的最后一篇小说，来自大家喜爱的日本科幻作家藤井太洋。小说将视角放在一颗太空探测器上，延续了他一贯的浪漫风格。...
- 麦子陪你做作业(二):KEGG通路数据库的正确打开姿势
-
作者：麦子KEGG是通路数据库中最庞大的，涵盖基因组网络信息，主要注释基因的功能和调控关系。当我们选到了合适的候选分子，单变量研究也已做完，接着研究机制的时便可使用到它。你需要了解你的分子目前已有哪些...
- 知存科技王绍迪:突破存储墙瓶颈，详解存算一体架构优势
-
智东西（公众号：zhidxcom）编辑|韦世玮智东西6月5日消息，近日，在落幕不久的GTIC2021嵌入式AI创新峰会上，知存科技CEO王绍迪博士以《存算一体AI芯片：AIoT设备的算力新选择》...
- 每日新闻播报(September 14)_每日新闻播报英文
-
AnOscarstatuestandscoveredwithplasticduringpreparationsleadinguptothe87thAcademyAward...
- 香港新巴城巴开放实时到站数据 供科技界研发使用
-
中新网3月22日电据香港《明报》报道，香港特区政府致力推动智慧城市，鼓励公私营机构开放数据，以便科技界研发使用。香港运输署21日与新巴及城巴（两巴）公司签署谅解备忘录，两巴将于2019年第3季度，开...
- 5款不容错过的APP: Red Bull Alert，Flipagram，WifiMapper
-
本周有不少非常出色的app推出，鸵鸟电台做了一个小合集。亮相本周榜单的有WifiMapper's安卓版的app，其中包含了RedBull的一款新型闹钟，还有一款可爱的怪物主题益智游戏。一起来看看我...
- Qt动画效果展示_qt显示图片
-
今天在这篇博文中，主要实践Qt动画，做一个实例来讲解Qt动画使用，其界面如下图所示(由于没有录制为gif动画图片，所以请各位下载查看效果)：该程序使用应用程序单窗口，主窗口继承于QMainWindow...
- 如何从0到1设计实现一门自己的脚本语言
-
作者：dong...
- 三年级语文上册 仿写句子 需要的直接下载打印吧
-
描写秋天的好句好段1.秋天来了，山野变成了美丽的图画。苹果露出红红的脸庞，梨树挂起金黄的灯笼，高粱举起了燃烧的火把。大雁在天空一会儿写“人”字，一会儿写“一”字。2.花园里，菊花争奇斗艳，红的似火，粉...
- C++|那些一看就很简洁、优雅、经典的小代码段
-
目录0等概率随机洗牌：1大小写转换2字符串复制...
- 二年级上册语文必考句子仿写，家长打印，孩子照着练
-
二年级上册语文必考句子仿写，家长打印，孩子照着练。具体如下：...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- wireshark怎么抓包 (75)
- qt sleep (64)
- cs1.6指令代码大全 (55)
- factory-method (60)
- sqlite3_bind_blob (52)
- hibernate update (63)
- c++ base64 (70)
- nc 命令 (52)
- wm_close (51)
- epollin (51)
- sqlca.sqlcode (57)
- lua ipairs (60)
- tv_usec (64)
- 命令行进入文件夹 (53)
- postgresql array (57)
- statfs函数 (57)
- .project文件 (54)
- lua require (56)
- for_each (67)
- c#工厂模式 (57)
- wxsqlite3 (66)
- dmesg -c (58)
- fopen参数 (53)
- tar -zxvf -c (55)
- 速递查询 (52)