通知
清除全部

如何使用Python boto3创建EMR群集

RSS

(@ganesh)
贵族成员
加入:2年前
帖子:1362
13/05/2021 12:55 PM

有人可以帮助我使用Python代码来创建EMR群集吗?任何帮助都将受到赞赏。


引用
(@ganesh)
贵族成员
加入:2年前
帖子:1362
13/05/2021 12:56 PM

用于创建EMR群集的Python boto3代码如下: -

import boto3 connection = boto3.client('emr',region_name='us-east-1',aws_access_key_id='Access Key',aws_secret_access_key='Secret Key',) cluster_id = connection.run_job_flow(Name='test_emr_job_boto3',LogUri='s3://priyaj'creleaseleabel='emr-5.18.0',applications = [{'name':'spark'},],instances = {'instanceGroups':[''name':“ master”:“ master”,“市场”:“ on_demand','instancerole':'master','instanceType':'m1.xlarge','instanceCount':1,},{'name':“ slave”:“ slave”,'''''''''''':'on_demand on_demand','instancerole':'core','instanceType':'m1.xlarge','instanceCount':1,}],'ec2keyname':'键名','keepjobflowalivewhennosteps':true true,true,termination termination':falseprotected':falseprotected':falseprotectect':falseproteptect,'ec2subnetid':'subnet-id',},steps = [{'name':'file-copy-step','actiononfailure':'contine','contine','hadoopjarstep':{'jar'':'s3://snapshot-jar-with dependencies.jar','args':['test.xml','emr-test','kula-emr-test-2']}}}}],visibletoallusers = true,jobflowrole ='''''emr_ec2_defaultrole',servicerole ='emr_defaultrole',tags = [{'key':'tag_name_1','value':'tab_value_1',},{'key':'tag_name_2','value':'tag_value_2',},],),),)

这样,您可以使用1个主和1个从节点创建一个EMR群集。


回复引用
分享:
Baidu