首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    消息服务框架使用案例之--大文件上传(断点续传)功能

    消息服务框架使用案例之--大文件上传(断点续传)功能 一、分块上传和断点续传原理 在我们的一个产品应用中,客户需要上传大量的文件到服务器,其中不乏很大的视频文件。虽然可以使用FTP这样成熟稳定的工具,但客户表示不会使用FTP工具,并且我们产品也觉得客户从我们软件在切换到FTP用户体验不好,如果做成后台脚本调用FTP上传那么进度信息很难呈现到我们软件上。最终,决定我们自己做文件上传功能。     大文件上传受限于服务器每次处理数据的能力,不能一次传输完成,所以分块上传是必然的了,由于上传时间可能较长,中途可能

    05

    上传文件服务与web服务分离

    业务场景: 1. 后端服务为java web应用,使用tomcat容器,多实例集群化部署。 2. 前端使用nginx作为后端应用的反向代理。 业务需求: 现在需要在java web应用端上传文件,同时还要能支持文件下载。 设计方案: 1. 文件应该专门使用文件服务器进行存储,在数据库中存储文件下载链接即可。 2. tomcat容器本身不擅长做文件上传下载的事情,所以最好将文件上传下载的功能与web服务分离,比如使用nginx作为文件服务器。 具体实现: 通常,针对简单的应用,可以使用NFS,在web端上传文件后直接写到文件服务器;或者将文件上传到web应用之后,再将文件同步到文件服务器。 不论是通过NFS或者任何其他同步工具的方式,都存在文件中转的过程,必须先将文件通过web应用进行上传保存,再同步到文件服务器。中间可能存在同步出错或延时,也存在扩展性不好的问题。 所以,设计实现方案如下: 1. 使用http协议通过web表单方式上传文件。 2. 在文件服务器上部署web服务器,专门用于文件上传。 3. 通常在web应用中上传文件时,除了上传文件数据,还需要传递一些文字。文字保存在数据库中,文件保存在服务器上,同时将生成文件下载链接保存在数据库。 4. 通过MD5校验文件内容,避免相同文件因为文件名不同而被恶意上传导致大量垃圾文件占满磁盘空间。

    01

    fastdfs工作原理(科学原理有哪些)

    1 功能简介 FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。 主页地址:https://github.com/happyfish100/fastdfs FastDFS从2008年7月发布至今,已推出31个版本,后续完善和优化工作正在持续进行中。目前已有多家公司在生产环境中使用FastDFS。 FastDFS是一款类Google FS的开源分布式文件系统,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问,不支持POSIX接口方式,不能mount使用。准确地讲,Google FS以及FastDFS、mogileFS、HDFS、TFS等类Google FS都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。

    02

    服务器性能监控神器nmon使用介绍

    Nmon (Nigel’s Monitor)是由IBM 提供、免费监控 AIX 系统与 Linux 系统资源的工具。该工具可将服务器系统资源耗用情况收集起来并输出一个特定的文件,并可利用 excel 分析工具(nmon analyser)进行数据的统计分析。 搜索下载nmon,上传到服务器解压。我用一个比较老的版本给大家演示一下。解压完有nmon16e_x86_rhel65,和nmon analyser v34a.xls。 nmon16e_x86_rhel65前面是可执行文件,会生成监控文件,监控文件里面就是采集的服务器硬件指标,后缀是.nmon。 nmon analyser v34a.xls用来将这个监控文件转化为容易读的Excel表格,带有图表。 这个工具启动后自动后台运行,可以长时间采集硬件指标,适用于采集一段时间,例如采集几天,然后汇总对比分析性能的场景。 通过分析硬件资源的占用变化原因,是会有很多新的发现,使我们对系统的掌握更加透彻。 启动nmon的命令如下 ./nmon16e_x86_rhel65 -f -s 10 -c 999999999 -m ./ 若首次执行失败提示Permission Denied,执行 chmod +x nmon16e_x86_rhel65 即可。 参数解释: -s 10 每 10 秒采集一次数据。 -c 999999999 采集 999999999 次硬件数据,表示我要长时间采集 -f 生成的数据文件名中包含文件创建的时间。 -m 生成的数据文件的存放目录为当前目录。

    01
    领券