rgw bucket相關操做解析

1、list bucket。數據結構

一、讀取bucket信息處理流程。app

RGWListBucket::execute()函數

|__RGWRados::Bucket::List::list_objects()spa

    |__RGWRados::cls_bucket_list()對象

|__RGWRados::open_bucket_index()rem

|__CLSRGWIssueBucketList::issue_op()get

    |__issue_bucket_list_op()string

         |__librados::IoCtxImpl::aio_operate()op is rgw.bucket_listit

              |__cls_rgw.cc::rgw_bucket_list()io

        |__cls_rgw.cc::read_bucket_header()讀取struct rgw_bucket_dir的header信息

        |__cls_rgw.cc::get_obj_vals()讀取struct rgw_bucket_dir的entry信息

|__將讀取到的struct rgw_bucket_dir信息轉換成RGWObjEnt結構

    |__檢查讀取到的RGWObjEnt結構的合法性


實際保存到ceph集羣中bucket信息的數據結構是struct rgw_bucket_dir,該結構內容以下:

Struct rgw_bucket_dir {

Struct rgw_bucket_dir_header header;保存bucket dir的頭部信息

std::map<string, struct rgw_bucket_dir_entry> m;保存bucket中文件或子bucket的名稱和entry的對應關係

};

二、讀取到的bucket信息返回給調用者。

RGWListBucket_ObjStore_S3::send_response()

拼接HTTP響應頭而且將讀取到的List信息RGWObjEnt放在Contents標籤內返回給調用者;


2、stat bucket。

一、讀取bucket stat信息處理流程。

RGWStatBucket::execute()

|__RGWRados::update_containers_stats()

    |__RGWRados::cls_bucket_head()

    |__遍歷讀取到的bucket head信息且從bucket head中更新count/size/size_rounded信息

二、讀取到的bucket stat信息返回給調用者。

RGWStatBucket_ObjStore_S3::send_response()


3、create bucket。

一、建立bucket的處理流程。

RGWCreateBucket::execute()

|__rgw_make_bucket_entry_name()建立bucket_entry_name=tenant_name + bucket_name

|__RGWRados::get_bucket_info()獲取指定用戶的bucket info信息

|__RGWRados::create_bucket()建立bucket

    |__RGWRados::select_bucket_placement()肯定bucket.data_pool和bucket.index_pool名稱

    |__RGWRados::init_bucket_index()

|__CLSRGWIssueBucketIndexInit::issue_op()

    |__issue_bucket_index_init_op()

|__rgw_bucket_init_index()

    |__write_bucket_header()

|__cls_cxx_map_write_header()設置bucket的header信息

    |__RGWRados::put_linked_bucket_info()

|__RGWRados::put_bucket_instance_info()

    |__get_bucket_instance_entry()

    |__rgw_bucket_instance_store_info()更新bucket instance信息

|__RGWRados::put_bucket_entrypoint_info()

    |__rgw_make_bucket_entry_name()

    |__rgw_bucket_store_info()更新bucket metadata信息

|__rgw_link_bucket()建立bucket的連接

    |__rgw_get_bucket_obj()

    |__RGWRados::cls_user_add_bucket()

|__RGWRados::cls_user_update_buckets()

    |__cls_user_set_buckets()

|__cls_user.cc::cls_user_set_buckets_info()

    |__read_header()讀取bucket的header結構

    |__get_key_by_bucket_name()

    |__get_existing_bucket_entry()讀取bucket中指定的entry

    |__apply_entry_stats()更新entry的stats

    |__write_entry()從新寫bucket中指定的entry

    |__add_header_stats() 更新bucket的header的stat結構

    |__cls_cxx_map_write_header()更新bucket的header結構

    |__RGWRados::put_bucket_entrypoint_info()

|__rgw_make_bucket_entry_name()

|__rgw_bucket_store_info()更新bucket metadata

二、建立bucket的返回處理函數。

RGWCreateBucket_ObjStore_S3::send_response()


4、delete bucket。

一、刪除bucket的處理流程。

RGWDeleteBucket::execute()

|__rgw_bucket_sync_user_stats()

    |__rgw_get_buckets_obj()

    |__RGWRados::cls_user_sync_bucket_stats()

|__cls_bucket_head()讀取bucket的header信息

|__統計用戶全部buckets的stats信息並保存到cls_user_bucket_entry結構中

|__RGWRados::cls_user_update_buckets()

    |__cls_user_set_buckets()

    |__cls_user_set_buckets_info()更新bucket header和entry信息

|__RGWRados::delete_bucket()

    |__rgw_bucket_delete_bucket_obj()

|__librados::meta_mgr->remove_entry()刪除bucket metadata信息

    |__rgw_bucket_instance_remove_entry()

|__librados::meta_mgr->remove_entry()刪除bucket instance metadata信息

|__rgw_unlink_bucket()

    |__RGWRados::cls_user_remove_bucket()

|__cls_user_remove_bucket()

|__cls_user_remove_bucket()

    |__read_header()

    |__get_key_by_bucket_name()

    |__get_existing_bucket_entry()

    |__remove_entry()

|__cls_cxx_map_remove_key()

    |__RGWRados::get_bucket_entrypoint_info()

    |__RGWRados::put_bucket_entrypoint_info()

|__rgw_make_bucket_entry_name()

|__rgw_bucket_store_info()更新bucket metadata信息

二、刪除bucket的返回處理函數。

RGWDeleteBucket_ObjStore_S3::send_reponse()


5、bucket metadata。

一、RGWBucketMetadataHandler。

該類負責bucket metadata的get/put/delete操做。bucket metadata核心數據結構是struct RGWBucketEntryPoint。

Struct RGWBucketEntryPoint {

Rgw_bucket bucket;

Rgw_user owner;

Ceph::real_time creation_time;

Bool linked;

Bool has_bucket_info;

RGWBucketInfo old_bucket_info;

};

RGWBucketMetadataHandler類還負責遍歷bucket中全部對象名稱的方法:list_keys_init()/list_keys_next()/list_keys_complete()。其中bucket中全部對象名稱使用struct RGWObjEnt結構描述。

二、RGWBucketInstanceMetadataHandler。

該類負責bucket instance metadata的get/put/delete操做。在執行put操做更新bucket info時,首先獲取bucket location所在,以後根據獲得的bucket location更新bucket info信息,最後調用RGWRados::init_bucket_index()函數來建立bucket的header信息。

RGWBucketMetadataHandler類還負責遍歷bucket中全部對象名稱的方法:list_keys_init()/list_keys_next()/list_keys_complete()。其中bucket中全部對象名稱使用struct RGWObjEnt結構描述。

相關文章
相關標籤/搜索