小心 base64 编码数据拖慢你的后台服务
liebian365 2024-10-24 14:33 23 浏览 0 评论
问题回顾
今天,同事小赵接到客户导入新闻数据要求,由客户提供新闻数据。于是小赵通过 SQL 脚本把新闻数据入库后,发现前台展示新闻特别慢。幸好当时是晚上凌晨1点,用户比较少,处理问题来得及,最终经过近半小时的排查问题,原来问题出在这里。
问题定位
在小赵导完数据后,测试小赵发现内容管理列表页访问特别慢,加载完数据需要 16 秒左右。
于是我用 F12 打开 chrome 调试工具,发现获取新闻内容列表数据的 API 接口:“getManageArticleList" 接收的数据有 7.1 M,接口响应时间长达 16 秒多,太不正常了。
但是同一个接口换一个查询条件,接收的数据只有 367 KB,响应时间 4.5 秒。
由此,这说明两个问题:
第一、API 接口的请求与响应是没问题的
第二、换查询条件后,接口响应时间差距近 12 秒之多,说明接收数据有问题
既然是数据问题,于是在和小赵对比入库前和入库后的新闻数据后,发现问题出在图片 base64 加密存储。
原来,客户提供的文章数据中包含图片,但由于客户原图不在了,只能从别的地方收集新闻时,把包含图片的新闻采用了 base64 加密串给了小赵。而这些 base64 加密的图片每张基本上在 1 M 左右,前端一次性分页加载 10 条共 7M 的数据,变慢就不足为怪了。
另外,为什么新闻列表页需要加载图片呢?
通过代码走查,发现图片是放在 contentText 字段里面,但是 新闻内容列表 select 分页语句却包含了 contentText 字段,明显 select 语句不合理。
select ..., contenText from article
解决方案
由于时间比较紧迫,本次发版又不涉及服务升级,只能从修改数据入手了。
第一步,用 like 模糊查询存在包含 base64 串的文章,共 34 条记录,数据比较少
select id,title,contenText from article where contenText like '%data:image%'
第二步, 从新闻详情页下载图片,用 fastdfs 分布式文件服务器上传图片后,得到图片的下载地址,替换 img 标签的 src 属性值。
图片地址格式如下:
group1/M00/00/00/rBIK6VcaP0aARXDSNFHrUgHEviQ663.jpg
10 个人 34 条新闻,花了近 20 分钟,完成 base64 图片地址替换后,问题解决。
问题总结
什么是 base64 编码?
base64 编码简单来说就是把一张图片数据加密成一串字符,使用该字符串代替图像地址。
用 base64 把图片加密成一串字符的好处是:“可以不需要单独用文件服务器存储文件,节省一个 http 图片请求。”
但是,如果不合理利用 base64 带来的问题是:“CSS 文件的体积变大,CSS 文件的体积直接影响渲染,导致用户会长时间注视空白屏幕。”
#index {
background: url(data:image/png;base64,xxxxx) no-repeat center;
}
所以,使用 base64 编码的前提是图片足够小,以一个 3kb 的 logo 图片为例:
一张 3.27 KB logo 图片,已经很小了,但是如果将其制作转化成 base64 编码,生成的 base64 字符串编码足足有 4406 个,也就是说,图片被编码之后,生成的字符串编码大小一般而言都会比原文件稍大一些。即便 base64 编码能够被 gzip 压缩,压缩率能达到 50% 以上,想象一下,一个元素的 css 样式编写居然超过了 2000个 字符,那对 css 整体的可读性将会造成十分大的影响,代码的冗余使得在此使用 base64 编码将得不偿失。
看似微不足道的问题,如果追踪溯源,还是能学习到一些技术有趣的一面,只是看你有心了。
延伸
CssSprites 与 base64 比较?
参考
https://www.jianshu.com/p/681e5e0933e3
喜欢就点个关注吧。
相关推荐
- 4万多吨豪华游轮遇险 竟是因为这个原因……
-
(观察者网讯)4.7万吨豪华游轮搁浅,竟是因为油量太低?据观察者网此前报道,挪威游轮“维京天空”号上周六(23日)在挪威近海发生引擎故障搁浅。船上载有1300多人,其中28人受伤住院。经过数天的调...
- “菜鸟黑客”必用兵器之“渗透测试篇二”
-
"菜鸟黑客"必用兵器之"渗透测试篇二"上篇文章主要针对伙伴们对"渗透测试"应该如何学习?"渗透测试"的基本流程?本篇文章继续上次的分享,接着介绍一下黑客们常用的渗透测试工具有哪些?以及用实验环境让大家...
- 科幻春晚丨《震动羽翼说“Hello”》两万年星间飞行,探测器对地球的最终告白
-
作者|藤井太洋译者|祝力新【编者按】2021年科幻春晚的最后一篇小说,来自大家喜爱的日本科幻作家藤井太洋。小说将视角放在一颗太空探测器上,延续了他一贯的浪漫风格。...
- 麦子陪你做作业(二):KEGG通路数据库的正确打开姿势
-
作者:麦子KEGG是通路数据库中最庞大的,涵盖基因组网络信息,主要注释基因的功能和调控关系。当我们选到了合适的候选分子,单变量研究也已做完,接着研究机制的时便可使用到它。你需要了解你的分子目前已有哪些...
- 知存科技王绍迪:突破存储墙瓶颈,详解存算一体架构优势
-
智东西(公众号:zhidxcom)编辑|韦世玮智东西6月5日消息,近日,在落幕不久的GTIC2021嵌入式AI创新峰会上,知存科技CEO王绍迪博士以《存算一体AI芯片:AIoT设备的算力新选择》...
- 每日新闻播报(September 14)_每日新闻播报英文
-
AnOscarstatuestandscoveredwithplasticduringpreparationsleadinguptothe87thAcademyAward...
- 香港新巴城巴开放实时到站数据 供科技界研发使用
-
中新网3月22日电据香港《明报》报道,香港特区政府致力推动智慧城市,鼓励公私营机构开放数据,以便科技界研发使用。香港运输署21日与新巴及城巴(两巴)公司签署谅解备忘录,两巴将于2019年第3季度,开...
- 5款不容错过的APP: Red Bull Alert,Flipagram,WifiMapper
-
本周有不少非常出色的app推出,鸵鸟电台做了一个小合集。亮相本周榜单的有WifiMapper's安卓版的app,其中包含了RedBull的一款新型闹钟,还有一款可爱的怪物主题益智游戏。一起来看看我...
- Qt动画效果展示_qt显示图片
-
今天在这篇博文中,主要实践Qt动画,做一个实例来讲解Qt动画使用,其界面如下图所示(由于没有录制为gif动画图片,所以请各位下载查看效果):该程序使用应用程序单窗口,主窗口继承于QMainWindow...
- 如何从0到1设计实现一门自己的脚本语言
-
作者:dong...
- 三年级语文上册 仿写句子 需要的直接下载打印吧
-
描写秋天的好句好段1.秋天来了,山野变成了美丽的图画。苹果露出红红的脸庞,梨树挂起金黄的灯笼,高粱举起了燃烧的火把。大雁在天空一会儿写“人”字,一会儿写“一”字。2.花园里,菊花争奇斗艳,红的似火,粉...
- C++|那些一看就很简洁、优雅、经典的小代码段
-
目录0等概率随机洗牌:1大小写转换2字符串复制...
- 二年级上册语文必考句子仿写,家长打印,孩子照着练
-
二年级上册语文必考句子仿写,家长打印,孩子照着练。具体如下:...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- wireshark怎么抓包 (75)
- qt sleep (64)
- cs1.6指令代码大全 (55)
- factory-method (60)
- sqlite3_bind_blob (52)
- hibernate update (63)
- c++ base64 (70)
- nc 命令 (52)
- wm_close (51)
- epollin (51)
- sqlca.sqlcode (57)
- lua ipairs (60)
- tv_usec (64)
- 命令行进入文件夹 (53)
- postgresql array (57)
- statfs函数 (57)
- .project文件 (54)
- lua require (56)
- for_each (67)
- c#工厂模式 (57)
- wxsqlite3 (66)
- dmesg -c (58)
- fopen参数 (53)
- tar -zxvf -c (55)
- 速递查询 (52)