Pro-JobSync

介绍 Prost 的分布式批处理系统 Pro-JobSync。

分布式任务
调度
解决方案

全面
系统支持

高可用性
解决方案

多种
支持范围

任务进度
监控

基于现代架构（MA）的分布式任务调度解决方案，核心设计目标是快速开发、简单学习、轻量级和易扩展性。

JOB-SYNC 分布式任务调度系统提供从架构设计到数据管理、安全和监控的全面系统支持。
该系统通过直观的工具解决问题并优化用户体验，使高效的数据处理和分析工作成为可能。

JOB-SYNC 是一个高可用性解决方案，用于自动化数据处理和分析任务，能够通过周期性或事件驱动的方式分布式处理海量数据，
并且可以进行集中管理。

包括通过网页进行简单的任务管理、动态管理功能、高可用性（HA）、分布式处理和HA、注册中心、弹性扩展、各种触发策略、
调度到期策略、阻塞处理策略、任务超时控制、任务失败重试与通知、路由策略、任务进度监控等。

主要功能

动态管理功能

用户可以通过网页轻松创建、读取、修改和删除作业，并实时更改作业状态，立即停止正在运行的作业。

调度中心的高可用性(HA)及Executor的分布式处理

调度中心可通过集中式设计部署为集群，实现高可用性。此外，Executor任务以分布式方式执行，并可作为集群部署，以确保执行的可靠性。

多种触发器及调度策略

Executor会定期自动注册任务，调度中心会检测并触发执行。支持手动输入Executor地址。当新的Executor添加或删除时，作业将在下一个调度周期重新分配。此外，提供Cron触发器、固定间隔触发器、API触发器、手动触发器、父子作业触发器、调度过期策略、阻塞处理策略等，使用户能够灵活安排作业计划以满足各种需求。

失败通知及重试机制

当作业失败时，系统会通过电子邮件、SMS、KakaoTalk等方式提供通知。用户可以配置自定义的失败重试次数，从而提高系统可靠性并减少错误响应时间。

作业进度监控及日志

作业进度可实时监控，并通过滚动实时日志功能在线查看调度结果，并以滚动方式实时查看执行日志。

架构

현행 아키텍처
现行架构

Job Scheduler: 一个强大的Web应用程序，用于调度和管理作业。用户可以轻松创建、修改和删除作业，并监控批处理执行器的状态。日志管理功能可实时跟踪和分析系统执行状态，提供关键见解。如果作业执行失败，可以配置警报以立即发送通知。此外，可以定义作业依赖关系，以自动化复杂的工作流和调度。

Task Executor: 提供作业执行所需的运行环境。它针对Java开发环境进行了优化，使开发人员能够实现灵活的批处理流程。每个Task Handler执行特定的作业单元，并分布在多个实例中，以确保高可用性。当工作负载增加或系统扩展时，该系统允许高效的作业分配和管理。通过Task Executor，开发人员可以有效管理复杂的数据处理任务。

목표 아키텍처
目标架构

Vue.js: 采用Vue.js框架开发客户端界面，实现响应式UI。

Prometheus和Grafana: Prometheus收集数据进行系统监控，Grafana进行数据可视化。

ELK Stack: Elasticsearch存储日志数据，Logstash收集日志，Kibana进行数据可视化。

Kubernetes: 自动化容器化应用的部署、扩展和管理。

Docker: 通过Outscaling和负载均衡优化应用程序的扩展性和系统稳定性。

用户界面

??contents.service.jobsync.dashboard_reports_zh??

作业状态： 将所有已注册的作业分为运行中、计划中、已完成和已禁用，以提供实时运行状态概览。

处理历史： 显示特定时间段内的作业处理趋势，不同颜色表示成功、失败、运行中等状态，便于时间对比分析。

系统健康状态： 可实时检查应用程序、数据库、磁盘、外部服务器等关键组件的运行状态及服务器运行时间。

系统状态： 实时查看CPU、内存、磁盘等主要系统资源的使用率，提前识别资源瓶颈或过载的风险。

一般作业

作业列表： 以列表形式显示所有已注册的作业，可一目了然地查看作业名称、计划类型、处理器、状态等信息。

计划类型： 显示每个作业是手动执行（NONE）还是定时自动执行（CRON），用于了解其执行周期。

处理器 / GLUE 类型： 展示作业关联的处理器类名和执行方式（如 BEAN），方便理解作业的执行流程。

状态控制开关： 可快速切换每个作业的启用/禁用状态（on/off），实现高效管理。

搜索与筛选： 通过选择作业组、关键词搜索和状态筛选，快速定位并管理所需作业。

处理器管理

处理器列表： 以列表形式显示所有已注册的处理器，并提供作业名称和功能说明。

标题 / 批处理名称： 显示处理器的用途或测试目的，并通过关联的批处理名称了解其执行环境。

搜索与筛选： 可通过处理器名称搜索和作业组筛选快速找到所需处理器。

修改时间： 可查看处理器的最后修改时间，便于追踪最近的更改记录。

作业执行状态

作业列表面板： 查看每个作业的执行状态、处理器名称、创建人等信息，并可选择作业查看详细执行信息。

执行指标摘要： 汇总所选作业的平均CPU和内存使用率、近期成功率、平均执行时间和最后执行时间。

执行历史标签： 查看作业的实际开始/结束时间、耗时（秒）和执行结果（成功/失败），以快速识别问题。

性能 / 错误 / 日志信息标签： 通过标签查看作业执行相关的性能指标、错误记录、服务器日志和处理器日志等详细信息。

用户操作审计

操作记录列表： 以表格形式显示用户ID、用户名、操作类型（如查看、访问页面等）、详细内容、API路径、执行时间和IP地址。

搜索筛选： 可通过时间范围、操作类型、关键词、分组筛选快速定位所需日志。

查看参数： 可单独查看每次请求传递的参数值，便于分析用户访问方式及请求内容。

审计追踪功能： 记录包括登录在内的系统关键功能访问日志，用于安全审计、异常行为检测和用户责任追踪等用途。

服务器资源报告

处理器列表： 以列表形式显示所有已注册的处理器，并提供作业名称和功能说明。

标题 / 批处理名称： 显示处理器的用途或测试目的，并通过关联的批处理名称了解其执行环境。

搜索与筛选： 可通过处理器名称搜索和作业组筛选快速找到所需处理器。

修改时间： 可查看处理器的最后修改时间，便于追踪最近的更改记录。

개인정보처리방침

  1. 수집하는 개인정보의 항목 및 수집방법
    1. 수집항목
    2. 수집방법
    3. DSA Full Course
  2. 개인정보의 수집 및 이용목적
  3. 수집한 개인정보의 제공
  4. 수집한 개인정보의 보유
    1. 프로스트 정책에 따른 정보 보유
    2. 관련 법령에 따른 정보의 보유
  5. 수집한 개인정보의 국외이전
  6. 개인정보의 파기 절차 및 방법
  7. 개인정보 자동 수집 장치의 설치ㆍ운영 및 그 거부에 관한 사항
  8. 개인정보의 안전성 확보 조치
  9. 이용자의 권리와 그 행사방법
  10. 개인정보보호책임자 및 고객서비스에 관한 사항
    1. 고객서비스 담당부서
    2. 개인정보보호책임자
  11. 고지의 의무

이메일주소무단수집거부

본 홈페이지에 게시된 이메일 주소가 전자우편 수집 프로그램이나 그 밖의 기술적 장치를 이용하여 무단으로 수집되는 것을 거부하며, 이를 위반 시 정보통신망법에 의해 형사 처벌됨을 유념하시기 바랍니다.

게시일: 2023년 3월 25일

Credits

Home
  1. DevOpsSec: Image by Wayhomestudio on Freepik
  2. Mis: Image by Wayhomestudio on Freepik
  3. PC/Mobile: Image by Benzoix on Freepik
  4. Specialist: Image by Freepik
  5. Team: Image by rawpixel.com on Freepik
  6. Software: Image by rawpixel.com on Freepik
Membership
  1. Login: Image by rawpixel.com on Freepik
  2. Join: Image by rawpixel.com on Freepik
Company Intro
  1. About: Image by Pixabay
  2. Profile: Image by Image by rawpixel.com on Freepik
Culture
  1. Work Life: Image by Andrey Popov on Adobe Stock
  2. Heal Family: Image by Rawpixel.com on Adobe Stock
  3. Horizontal: Image by Pixabay
  4. Trust: Image by Jon Anders Wiken on Adobe Stock
MIS/ERP/EIP
  1. ERP: Image by Freepik
  2. EIP: Image by Freepik
DevSecOps
  1. Security: Image by rawpixel.com on Freepik
  2. Automation: Image by Freepik
  3. Monitoring: Image by rawpixel.com on Freepik
  4. Culture: Image by Murrstock on Adobe Stock
Web/Mobile
  1. Front-end: Image by Freepik
  2. Back-end: Image by Freepik
  3. Database: Image by DCStudio on Freepik
  4. API: Image by Freepik
Recruit Notice
  1. Join Our Team: Image by Freepik
Recent
Favorite