docker安装minio(docker安装minio后下载的文件损坏)
本篇文章给大家谈谈docker安装minio,以及docker安装minio后下载的文件损坏对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。
本文目录一览:
基于Docker部署Spark和MinIO Server
使用Docker搭建Spark集群和MinIO云存储服务,并通过Spark访问MinIO,实现读写功能。
MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚肢谨马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。
MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合,类似 NodeJS, Redis 或者 MySQL。
详细资料参考 这里
本项目使用的docker-compose文件如下,根据docker-compose的内容,大致分为三个部分。
分布式MinIO可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式MinIO避免了单点故障。
详细参考 这里
Docker-compose中的 minio1-4 z组成MinIO分布式存储,哗饥岩对应存储服务的4个节点,每个节点使用相同的 MINIO_ACCESS_KEY 和 MINIO_SECRET_KEY 。部署成功后访问 ,输入 minio , minio123 即可看到如下界面(点击右下角可以创建bucket):
详细参考 这里
Docker-compose中的 spark-master , spark-worker 组成Spark集群。 spark-master 与 minio1 建立容器链接,后续需要Spark读写MinIO存储。部署成功后访问 即可看到如乱御下界面:
Saprk集群相关知识参考 这里
Docker-compose中的 minio-mc 对应MinIO Client。MinIO Client提供了一些命令如 ls, cat, cp, mirror, diff, find 等,实现与MinIO云存储服务的交互。 minio-mc 与 minio1 建立容器链接,后续需要使用 minio-mc 创建bucket。
MinIO Client的相关知识参考 链接1 , 链接2
Spark访问MinIO存储需要一些依赖包,具体参考 这里 。其中必须添加的两个jar包是: hadoop-aws-2.7.3 , aws-java-sdk-1.7.4 。
配置Spark集群参考 链接1 , 链接2 , 链接3 , 链接4 , 链接5
使用MinIO搭建对象存储服务
之凳姿链前我使用的是阿里云OSS,想了解阿里云OSS的小伙伴参考SpringBoot整合阿里云OSS
docker run -d -p 9000:9000 -p 9001:9001 --name minio -e MINIO_ACCESS_KEY=qbb -e MINIO_SECRET_KEY=startqbb -v /opt/minio/data:/data -v /opt/minio/config:/root/.minio minio/minio server /data --console-address ":9000" --address ":9001"
注意:9000是我们浏览器访问控制台的端口,而9001是SDK代码操作的端口
yum -y install ntp ntpdate :安装插件工具册握
hwclock --systohc :同步时间
docker restart minio镜像ID :重枣孙启镜像
[img]minio分布式存储真香,还不赶快了解下?
在开发中经常会用到的就是文件存储了,以前经常都是在服务器目录上映射一个目录用来存储文件,这个拦枯孙当然也没有问题,如果存储量不大的话。当然还有的会选败岩择使用第三方存储比如七牛云、阿里云的oss云储存方案,自己搭建常用的可能会使用fastdfs或其他的,我接触minio后发现这个还是很不错,使用简单,支持多种语言SDK开发起来特别方便,多的就不说了,赶快上车了解下。
文档地址: minio相关文档
docker快速安装单机版:(默认你已经安装了docker环境,不清楚先了解docker安装使用再简链来吧!)
GNU/Linux 和 macOS
Windows
特别提醒:(-v 映射路径一定要是绝对路径,不然启动会报错)
启动成功后访问浏览器: :{port} 进行访问,不指定key和secret默认都是minioadmin,访问后进入登陆页面,输入key和secret即可登陆,登陆成功页面如下:
接下来点击红色按钮创建一个存储桶,即可上传文件,比如创建一个test
关于docker安装minio和docker安装minio后下载的文件损坏的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。