プロストの分散バッチ処理システム「Pro-JobSync」を紹介します。

分散ジョブ
スケジューリング
ソリューション

全般的な
システムサポート

高可用性
ソリューション

多様な
サポート範囲

ジョブ進行
モニタリング

モダンアーキテクチャ(MA)に基づく分散ジョブスケジューリングソリューションで、迅速な開発、簡単な学習、軽量、拡張性の容易さを設計のコア目標としています。

JOB-SYNC分散ジョブスケジューリングシステムは、アーキテクチャ設計からデータ管理、セキュリティ、モニタリングまで全般的なシステムサポートを提供します。
このシステムは、問題解決とユーザーエクスペリエンス最適化のための直感的なツールを通じて、効率的なデータ処理と分析作業を可能にします。

JOB-SYNCは、データ処理と分析作業を自動化するための高可用性ソリューションで、定期的またはイベントベースで大量のデータを分散処理し、
中央集中管理が可能です。

ウェブページを介した簡単なジョブ管理、動的管理機能、高可用性(HA)、分散処理およびHA、登録センター、弾力的な拡張性、さまざまなトリガー戦略、
スケジューリング期限戦略、ブロッキング処理戦略、ジョブタイムアウト制御、ジョブ失敗のリトライと通知、ルーティング戦略、ジョブ進行状況のモニタリングを含みます。


主な機能

動的管理機能

ユーザーはウェブページを通じて作業を簡単に作成、読み取り、更新、削除でき、リアルタイムで作業ステータスを変更し、実行中の作業を即座に停止することができます。

スケジューリングセンターの高可用性(HA)およびExecutorの分散処理

中央集約型の設計を通じてスケジューリングセンターをクラスタとして展開でき、高可用性を達成します。また、Executorのタスクは分散して実行され、クラスタとして展開可能であり、実行の可用性を保証します。


多様なトリガーおよびスケジューリング戦略

Executorは定期的に作業を自動登録し、スケジューリングセンターがこれらの作業を検出して実行をトリガーします。Executorアドレスの手動入力もサポートされます。また、新しいExecutorが追加または削除されると、次のスケジューリングで作業が再分配されます。さらに、Cronトリガー、固定間隔トリガー、APIトリガー、手動トリガー、親子作業トリガー、スケジューリング期限戦略、ブロック処理戦略などを提供し、ユーザーが様々なニーズに合わせて柔軟に作業をスケジューリングできるようにします。


失敗通知および再試行メカニズム

作業が失敗した場合、メール、SMS、KakaoTalkなどの方法で通知が提供され、ユーザーはカスタムの失敗作業再試行回数を設定できます。これにより、システムの信頼性が向上し、エラー対応時間が短縮されます。

作業進行状況の監視およびログ

作業進行状況をリアルタイムで監視でき、ローリングリアルタイムログ機能を通じてスケジューリング結果をオンラインで確認し、ローリング方式で実行ログをリアルタイムで確認できます。


アーキテクチャ

현행 아키텍처
現行アーキテクチャ

Job Scheduler: ジョブをスケジューリングし管理するための強力なウェブアプリケーションです。ユーザーはジョブを簡単に作成、変更、削除でき、バッチ実行機の状態を監視できます。ログ管理機能は、システムの実行状態をリアルタイムで追跡・分析し、重要なインサイトを提供します。ジョブの実行が失敗した場合、即座に通知を送信するアラートを設定できます。また、ジョブの依存関係を定義し、複雑なワークフローやスケジュールを自動化することが可能です。

Task Executor: 実際のジョブ実行に必要なランタイム環境を提供します。Java開発環境に最適化されており、開発者は柔軟なバッチ処理を実装できます。各Task Handlerは特定のジョブ単位を実行し、複数のインスタンスに分散配置されることで高可用性を保証します。本システムは、作業負荷の増加やシステムの拡張時に、効率的なジョブ配分と管理を可能にします。Task Executorを使用することで、開発者は複雑なデータ処理タスクを効果的に管理できます。

목표 아키텍처
目標アーキテクチャ

Vue.js: Vue.jsフレームワークを適用し、クライアントインターフェースの開発およびレスポンシブUIの実装を行います。

PrometheusとGrafana: Prometheusがデータを収集し、Grafanaが可視化を行います。

ELK Stack: Elasticsearchがログデータを保存し、Logstashがログを収集、Kibanaがデータを可視化します。

Kubernetes: コンテナ化されたアプリケーションのデプロイ、スケーリング、および管理を自動化します。

Docker: Outscalingとロードバランシングを通じてアプリケーションの拡張性とシステム安定性を最適化します。


ユーザーインターフェース

??contents.service.jobsync.dashboard_reports_ja??

ジョブステータス: 登録されたすべてのジョブを実行中、予定、完了、無効の状態に分類して、リアルタイムで運用状況を提供します。

処理履歴: 一定期間のジョブ処理の傾向を示し、色分けされた表示で成功、失敗、実行中などの状態を時間の流れに沿って比較できます。

システムの正常性: サーバーの稼働時間と共に、アプリケーション、データベース、ディスク、外部サーバーなどの主要コンポーネントの動作状況をリアルタイムで確認できます。

システム状況: CPU、メモリ、ディスクなどの主要なシステムリソースの使用率をリアルタイムで確認でき、ボトルネックや過負荷の兆候を早期に察知できます。

一般ジョブ

ジョブ一覧: 登録されたすべてのジョブが一覧形式で表示され、ジョブ名、スケジュールタイプ、ハンドラー、ステータスなどを一目で確認できます。

スケジュールタイプ: 各ジョブが手動実行(NONE)か、指定時間に自動実行(CRON)かなど、実行周期を確認できます。

ハンドラー / GLUE タイプ: ジョブ実行時に連携されるハンドラークラス名と実行方法(BEANなど)を確認し、処理ロジックを把握できます。

ステータス制御スイッチ: 各ジョブの待機状態(on/off)を切り替えて、迅速に有効・無効を管理できます。

検索とフィルター: ジョブグループの選択、キーワード検索、ステータス別フィルターにより、目的のジョブを素早く見つけて管理できます。

ハンドラー管理

ハンドラー一覧: 登録されたすべてのハンドラーをリスト形式で表示し、ジョブ名や機能の説明も併せて確認できます。

タイトル / バッチ名: ハンドラーの用途やテスト目的などをタイトルとして表示し、接続されたバッチ名から実行環境を把握できます。

検索とフィルター: ハンドラー名の検索やジョブグループの選択により、目的のハンドラーを素早く見つけることができます。

最終更新日時: ハンドラーが最後に更新された日時を確認でき、最近の変更履歴を追跡するのに役立ちます。

ジョブ実行状況

ジョブ一覧パネル: ジョブごとの実行状況、ハンドラー名、作成者などを確認し、ジョブを選択して詳細な実行情報を確認できます。

実行指標の要約: 選択されたジョブの平均CPU・メモリ使用量、最近の成功率、平均実行時間、最終実行時刻を要約して表示します。

実行履歴タブ: 実行開始・終了時刻、所要時間(秒)、結果(成功/失敗)を確認でき、問題の有無を素早く把握できます。

パフォーマンス / エラー / ログ情報タブ: 実行に関連する指標、エラー履歴、サーバーログ、ハンドラーログなどをタブで詳細に確認できます。

ユーザー履歴監査

履歴リスト: ユーザーID、氏名、実行されたアクションの種類(閲覧、ページ訪問など)、詳細内容、APIパス、実行時間、IPアドレスを表形式で確認できます。

検索フィルター: 期間指定、アクションタイプ、キーワード検索、グループフィルターを使って目的のログを迅速に抽出できます。

パラメータ表示: 各リクエストで送信されたパラメータの値を個別に確認でき、アクセス方法やリクエスト内容の詳細分析に役立ちます。

監査追跡機能: ログインを含むシステム内の主要機能のアクセス記録を保存し、セキュリティ監査、異常検知、ユーザー責任追跡に活用されます。

サーバーリソースレポート

ハンドラー一覧: 登録されたすべてのハンドラーをリスト形式で表示し、ジョブ名や機能の説明も併せて確認できます。

タイトル / バッチ名: ハンドラーの用途やテスト目的などをタイトルとして表示し、接続されたバッチ名から実行環境を把握できます。

検索とフィルター: ハンドラー名の検索やジョブグループの選択により、目的のハンドラーを素早く見つけることができます。

最終更新日時: ハンドラーが最後に更新された日時を確認でき、最近の変更履歴を追跡するのに役立ちます。

개인정보처리방침

  1. 수집하는 개인정보의 항목 및 수집방법
    1. 수집항목
    2. 수집방법
    3. DSA Full Course
  2. 개인정보의 수집 및 이용목적
  3. 수집한 개인정보의 제공
  4. 수집한 개인정보의 보유
    1. 프로스트 정책에 따른 정보 보유
    2. 관련 법령에 따른 정보의 보유
  5. 수집한 개인정보의 국외이전
  6. 개인정보의 파기 절차 및 방법
  7. 개인정보 자동 수집 장치의 설치ㆍ운영 및 그 거부에 관한 사항
  8. 개인정보의 안전성 확보 조치
  9. 이용자의 권리와 그 행사방법
  10. 개인정보보호책임자 및 고객서비스에 관한 사항
    1. 고객서비스 담당부서
    2. 개인정보보호책임자
  11. 고지의 의무

이메일주소무단수집거부

본 홈페이지에 게시된 이메일 주소가 전자우편 수집 프로그램이나 그 밖의 기술적 장치를 이용하여 무단으로 수집되는 것을 거부하며, 이를 위반 시 정보통신망법에 의해 형사 처벌됨을 유념하시기 바랍니다.

게시일: 2023년 3월 25일

Credits

Home
  1. DevOpsSec: Image by Wayhomestudio on Freepik
  2. Mis: Image by Wayhomestudio on Freepik
  3. PC/Mobile: Image by Benzoix on Freepik
  4. Specialist: Image by Freepik
  5. Team: Image by rawpixel.com on Freepik
  6. Software: Image by rawpixel.com on Freepik
Membership
  1. Login: Image by rawpixel.com on Freepik
  2. Join: Image by rawpixel.com on Freepik
Company Intro
  1. About: Image by Pixabay
  2. Profile: Image by Image by rawpixel.com on Freepik
Culture
  1. Work Life: Image by Andrey Popov on Adobe Stock
  2. Heal Family: Image by Rawpixel.com on Adobe Stock
  3. Horizontal: Image by Pixabay
  4. Trust: Image by Jon Anders Wiken on Adobe Stock
MIS/ERP/EIP
  1. ERP: Image by Freepik
  2. EIP: Image by Freepik
DevSecOps
  1. Security: Image by rawpixel.com on Freepik
  2. Automation: Image by Freepik
  3. Monitoring: Image by rawpixel.com on Freepik
  4. Culture: Image by Murrstock on Adobe Stock
Web/Mobile
  1. Front-end: Image by Freepik
  2. Back-end: Image by Freepik
  3. Database: Image by DCStudio on Freepik
  4. API: Image by Freepik
Recruit Notice
  1. Join Our Team: Image by Freepik