前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >上传文件服务与web服务分离

上传文件服务与web服务分离

作者头像
编程随笔
发布于 2019-09-11 07:53:59
发布于 2019-09-11 07:53:59
2K00
代码可运行
举报
文章被收录于专栏:后端开发随笔后端开发随笔
运行总次数:0
代码可运行

业务场景: 1. 后端服务为java web应用,使用tomcat容器,多实例集群化部署。 2. 前端使用nginx作为后端应用的反向代理。 业务需求: 现在需要在java web应用端上传文件,同时还要能支持文件下载。 设计方案: 1. 文件应该专门使用文件服务器进行存储,在数据库中存储文件下载链接即可。 2. tomcat容器本身不擅长做文件上传下载的事情,所以最好将文件上传下载的功能与web服务分离,比如使用nginx作为文件服务器。 具体实现: 通常,针对简单的应用,可以使用NFS,在web端上传文件后直接写到文件服务器;或者将文件上传到web应用之后,再将文件同步到文件服务器。 不论是通过NFS或者任何其他同步工具的方式,都存在文件中转的过程,必须先将文件通过web应用进行上传保存,再同步到文件服务器。中间可能存在同步出错或延时,也存在扩展性不好的问题。 所以,设计实现方案如下: 1. 使用http协议通过web表单方式上传文件。 2. 在文件服务器上部署web服务器,专门用于文件上传。 3. 通常在web应用中上传文件时,除了上传文件数据,还需要传递一些文字。文字保存在数据库中,文件保存在服务器上,同时将生成文件下载链接保存在数据库。 4. 通过MD5校验文件内容,避免相同文件因为文件名不同而被恶意上传导致大量垃圾文件占满磁盘空间。

结合实际的业务需求,我们的上传文件流量不是很大,所以还是直接使用tomcat作为文件上传的web服务。文件下载使用nginx。 另外,为了避免需要通过在session中保存数据带来的问题,尽量将参数保存在request进行传递。举个例子: 通常在tomcat中会将用户登录的数据保存在session中,便于进行用户合法性验证,而文件上传时请求是在文件服务器上处理,无法获取到tomcat中的session对象。 为了解决这个问题,可以将session中的数据通过request传递到页面,在文件上传时又通过参数的方式传递给文件服务器。 直接传递参数存在安全漏洞,应该将参数进行加密处理。 特别注意: 经过验证,分离web服务和文件上传服务是可行的,但是因为存在跨域问题,所以在文件上传服务中必须要设置消息头:Access-Control-Allow-Origin。 具体的Servlet代码如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
public class FileUploadServlet extends HttpServlet {
    @Override
    protected void doOptions(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException {
        resp.setHeader("Access-Control-Allow-Origin", "*"); //在options方法中设置跨域消息头
        super.doOptions(req, resp);
    }

    @Override
    protected void doGet(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException {
        this.doPost(req, resp);
    }

    @Override
    protected void doPost(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException {
        //处理文件上传逻辑
    }
}

【参考】 https://segmentfault.com/q/1010000007377501 站点做动静分离,如何处理用户上传文件呢? http://www.cnblogs.com/rainy-shurun/p/5407085.html 上传文件服务器与web内容服务分离 http://www.cnblogs.com/xdp-gacl/p/4200090.html JavaWeb学习总结(五十)——文件上传和下载 https://stackoverflow.com/questions/304268/getting-a-files-md5-checksum-in-java Getting a File's MD5 Checksum in Java

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017-07-19 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
linux日志管理
程序执行的时候,可以通过标准输出(stdout, Standard Output)与标准错误输出 (stderr, Standard Error Output)来输送信息,用户就可以了解该程序执行时发生了什么状况;可是对于在后台执行的服务器程序,或者Linux 内核本身来说,就没有办法这样做了。服务与内核启动后,会切断与终端机(Terminal) 或控制台(Console)的联机,如此一来,即使有信息通过标准输出、标准错误输出传送出去,用户也未必能从屏幕上看到信息。
星哥玩云
2022/09/15
1.6K0
linux系统日志管理详解
日志文件记录了时间,地点,人物,事件四大信息,故系统出现故障时,可以查询日志文件。 系统的日志文件默认都集中放置到/var/log/目录内,其中又以message记录的信息最多。 日志文件的重要性主要体现在以下三方面:
咻一咻
2020/05/29
9.4K0
Linux系统日志分析与管理
Linux系统内核和许多程序会产生各种错误信息、警告信息和其他的提示信息,这些信息对管理员了解系统的运行状态是非常有用的,所以应该把它们写到日志文件中去,完成这个过程的程序就是syslog,syslog可以根据日志的类别和优先级将日志保存到不同的文件中.
王 瑞
2022/12/28
4.9K0
Linux 日志管理
CentOS7.6日志服务是rsyslogd ,CentOS6.x日志服务是syslogd 。rsyslogd功能更强大。rsyslogd的使用、日志文件的格式,和 syslogd 服务兼容的。原理示意图
用户9615083
2022/12/25
5.6K0
Linux 日志管理
Linux系统安全 | Linux日志分析和管理
日志的作用、分类、管理、轮转和级别 日志的作用: 用于记录系统、程序运行中发生的各种事件 通过阅读日志,有助于诊断,解决系统故障 日志文件的分类: 内核及系统日志:由系统服务 rsyslog 统一管理,日志格式相似 用户日志:记录系统用户登录及退出系统的相关信息 程序日志:由各种应用程序独立管理的日志文件,格式不统一 日志管理策略 日志也并不是完全可靠的,高级的黑客在入侵系统后,会删除相应的日志记录,因此需要做好日志的管理工作: 日志的备份和归档 延长日志的保存期限 控制日志的访问权限 集中管理日志。比如,将服务器的日志文件发送到统一到日志文件服务器,这样便于日志信息的统一收集、整理和分析,还可以杜绝日志信息的意外丢失、恶意修改和删除 日志的轮转和切割 随着时间的推移,日志文件肯定会越来越大,而且这个趋势是呈线性增长。所以,需要对之前的日志文件做一些处理。日志轮转和切割指的是实现对当前日志归档,开始新的日志,删除早期的日志。Linux中,日志轮转和切割这个服务是由 logrotate 提供的。logrotate这个程序的目录:/etc/cron.daily/logrotate 。logrotate 是作为 corn 的一个每日任务,周期性执行的。它具备自动轮转、压缩、搬迁 和 邮件通知到日志系统的多项功能。每一个日志文件都可以按照每天、每周、每月周期性处理,或是增长到多大而触发处理。 日志消息的级别 日志消息的级别 level等级 状况 0 EMERG(紧急) 会导致主机系统不可用的情况 1 ALERT (警告) 必须马上采取措施解决的情况 2 CRIT (严重) 比较严重的情况 3 ERR (错误) 运行出现错误 4 WARNING (提醒) 可能会影响系统功能的事件 5 NOTICE (注意) 不会影响系统但值得注意 6 INFO (注意) 一般信息 7 DEBUG(调试) 程序或系统调试信息等
谢公子
2022/01/19
8.6K0
Linux系统安全 | Linux日志分析和管理
【Linux】日志管理基本使用
1) 日志文件是重要的系统信息文件,其中记录了许多重要的系统事件,包括用户的登录信息、系统的启动信息、系统的安全信息、邮件相关信息、各种服务相关信息等。
兮动人
2022/02/27
1K0
linux的服务与如何建立自己的服务
我们在上章就曾经谈过『服务』这东西! 当时的说明是『常驻在记体体中的程序,且可以提供一些系统或网络功能,那就是服务』。而服务一般的英文说法是『 service 』。
小柒吃地瓜
2020/04/23
4.7K0
Linux系统管理—linux计划任务和日志的管理
一种是突发性的,就是这次做完了这个事,就没有下一次了,临时决定,只执行一次的任务
全栈程序员站长
2022/09/14
2.3K0
Linux系统管理—linux计划任务和日志的管理
Linux 文件系统与日志分析「建议收藏」
  Linux,全称 GNU/Linux,是一套免费使用和自由传播的类 Unix 操作系统,是一个基于 POSIX 的多用户、多任务、支持多线程和多 CPU 的操作系统。伴随着互联网的发展,Linux 得到了来自全世界软件爱好者、组织、公司的支持。它除了在服务器方面保持着强劲的发展势头以外,在个人电脑、嵌入式系统上都有着长足的进步。使用者不仅可以直观地获取该操作系统的实现机制,而且可以根据自身的需要来修改完善Linux,使其最大化地适应用户的需要。   Linux 的基本思想有两点:一切都是文件;每个文件都有确定的用途。其中第一条详细来讲就是系统中的所有都归结为一个文件,包括命令、硬件和软件设备、操作系统、进程等等对于操作系统内核而言,都被视为拥有各自特性或类型的文件。至于说 Linux 是基于 Unix 的,很大程度上也是因为这两者的基本思想十分相近。
全栈程序员站长
2022/08/24
2.2K0
Linux 文件系统与日志分析「建议收藏」
Linux日志管理「建议收藏」
> /nar/log/messages ##清空目录内容
全栈程序员站长
2022/06/27
1.5K0
Linux日志管理「建议收藏」
linux rsyslogd cpu占用资源过高
最近有几次,linux centos 7 服务停了后,重启,再起一些应用后,查看top后,rsyslogd cpu占用率高问题, 先说我这块怀疑导致的原因吧。
iginkgo18
2021/10/10
5.5K0
如何管理Linux日志服务
本文介绍了 rsyslog 日志服务,并将其与较新的 journald 系统进行了比较。它使用实际的命令示例来管理服务和更新配置文件。
云云众生s
2024/08/07
3180
如何管理Linux日志服务
日志管理系统功能_efk日志分析系统
rsyslog是一个开源的软件程序,它负责写入日志。 它记录绝大部分的日志记录,和系统有关的、安全、认证ssh,su、计划任务at,cron等日志。
全栈程序员站长
2022/08/03
1.2K0
日志管理系统功能_efk日志分析系统
计划任务及日志管理
crond的概念和crontab是不可分割的。crontab是一个命令,常见于Unix和类Unix的操作系统之中,用于设置周期性被执行的指令。该命令从标准输入设备读取指令,并将其存放于“crontab”文件中,以供之后读取和执行
Cyylog
2020/08/19
8260
linux下crontab与anacrontab的使用
每个人或多或少都有一些约会或者是工作,有的工作是例行性的,例如每年一次的加薪、每个月一次的工作报告、每周一次的午餐会报、每天需要的打卡等等; 有的工作则是临时发生的,例如刚好总公司有高官来访,需要你准备演讲器材等等! 用在生活上面,例如每年的爱人的生日、每天的起床时间等等、还有突发性的 3C 用品大降价等等。
小柒吃地瓜
2020/04/23
2.3K0
Linux下使用Rsyslog搭建集中日志服务器
ryslog 是一个快速处理收集系统日志的程序,提供了高性能、安全功能和模块化设计。rsyslog 是syslog 的升级版,它将多种来源输入输出转换结果到目的地。
星哥玩云
2022/07/13
3.3K0
Linux下使用Rsyslog搭建集中日志服务器
日志管理及日志轮询
日志对于安全来说,非常重要,他记录了系统每天发生的各种各样的事情,你可以通过他来检查错误发生的原因,或者受到攻击时攻击者留下的痕迹。
互联网老辛
2020/05/14
1.9K0
Linux进程管理与资源管理
16.3 进程管理 本章一开始就提到所谓的『进程』的概念,包括进程的触发、子进程与父进程的相关性等等,此外,还有那个『进程的相依性』以及所谓的『殭尸进程』等等需要说明的呢!为什么进程管理这么重要呢?
小柒吃地瓜
2020/04/23
1.4K0
日志轮转
日志重要性 Linux系统日志对管理员来说,是了解系统运行的主要途径,因此需要对 Linux 日志系统有个详细的了解。 Linux 系统内核和许多程序会产生各种错误信息、告警信息和其他的提示信息,这些各种信息都应该记录到日志文件中,完成这个过程的程序就是 rsyslog,rsyslog 可以根据日志的类别和优先级将日志保存到不同的文件中。 二、日志系统rsyslog 日志管理基础 rsyslog 日志管理 logrotate日志轮转 一、处理日志的进程 rsyslogd:绝大部分日志记录,和系统操作
用户8639654
2021/08/18
7800
Docker容器日志管理最佳实践
Docker 引擎日志一般是交给了 Upstart(Ubuntu 14.04) 或者 systemd (CentOS 7, Ubuntu 16.04)。前者一般位于 /var/log/upstart/docker.log 下,后者我们一般 通过 journalctl -u docker 来进行查看。
Criss@陈磊
2019/08/01
3.7K0
相关推荐
linux日志管理
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验